数据湖探索 DLI-新建Flink Jar作业:请求消息

时间：2024-11-04 19:08:44

数据湖探索 DLI

请求消息

表2 参数说明
参数名称	是否必选	参数类型	说明
name	是	String	作业名称。长度限制：1-57个字符。
desc	否	String	作业描述。长度限制：0-512个字符。
queue_name	否	String	队列名称。长度限制：0-128个字符。
cu_number	否	Integer	用户为作业选择的CU数量。
manager_cu_number	否	Integer	用户为作业选择的管理节点CU数量，对应为flink jobmanager数量。默认值为“1”。
parallel_number	否	Integer	用户为作业选择的并发量。
log_enabled	否	Boolean	是否开启作业日志。开启：true 关闭：false 默认：false
obs_bucket	否	String	当“log_enabled”为“true”时, 用户授权保存作业日志的OBS桶名。
smn_topic	否	String	当作业异常时，向该 SMN 主题推送告警信息。
main_class	否	String	作业入口类。
entrypoint_args	否	String	作业入口类参数，多个参数之间空格分隔。
restart_when_exception	否	Boolean	是否开启异常重启功能，默认值为“false”。
entrypoint	否	String	用户已上传到 DLI 资源管理系统的程序包名，用户自定义作业主类所在的jar包。
dependency_jars	否	Array of Strings	用户已上传到DLI资源管理系统的程序包名，用户自定义作业的其他依赖包。示例“myGroup/test.jar,myGroup/test1.jar”。
dependency_files	否	Array of Strings	用户已上传到DLI资源管理系统的资源包名，用户自定义作业的依赖文件。示例："myGroup/test.cvs,myGroup/test1.csv"。通过在应用程序中添加以下内容可访问对应的依赖文件。其中，“fileName”为需要访问的文件名，“ClassName”为需要访问该文件的类名。 ClassName.class.getClassLoader().getResource("userData/fileName")
tm_cus	否	Integer	每个taskmanager的CU数，默认值为“1”。
tm_slot_num	否	Integer	每个taskmanager的slot数，默认值为“(parallel_number*tm_cus)/(cu_number-manager_cu_number)”。
feature	否	String	作业特性。表示用户作业使用的Flink镜像类型。 basic：表示使用DLI提供的基础Flink镜像。 custom：表示使用用户自定义的Flink镜像。
flink_version	否	String	Flink版本。当用户设置“feature”为“basic”时，该参数生效。用户可通过与“feature”参数配合使用，指定作业运行使用的DLI基础Flink镜像的版本。
image	否	String	自定义镜像。格式为：组织名/镜像名:镜像版本。当用户设置“feature”为“custom”时，该参数生效。用户可通过与“feature”参数配合使用，指定作业运行使用自定义的Flink镜像。关于如何使用自定义镜像，请参考《数据湖探索用户指南》。
resume_checkpoint	否	Boolean	异常重启是否从checkpoint恢复。
resume_max_num	否	Integer	异常重试最大次数，单位：次/小时。取值范围：-1或大于0。默认值为“-1”，表示无限次数。
checkpoint_path	否	String	用户Jar中checkpoint的储存地址，不同作业路径需要保持不同。
tags	否	Array of Objects	Flink jar作业的标签。具体请参考表3。
runtime_config	否	String	Flink作业运行时自定义优化参数。

表3 tags参数
参数名称	是否必选	参数类型	说明
key	是	String	标签的键。说明：标签的键的最大长度为128个字符，标签的键可以包含任意语种字母、数字、空格和_ . : =+-@ ,但首尾不能含有空格，不能以_sys_开头。
value	是	String	标签的值。说明：标签值的最大长度为255个字符，标签的值可以包含任意语种字母、数字、空格和_ . : =+-@ ,但首尾不能含有空格。