数据湖探索 DLI-新建SQL作业:请求消息
请求消息
参数名称 |
是否必选 |
参数类型 |
说明 |
---|---|---|---|
name |
是 |
String |
作业名称。长度限制:1-57个字符。 |
desc |
否 |
String |
作业描述。长度限制:0-512个字符。 |
template_id |
否 |
Integer |
模板ID。 如果“template_id”和“sql_body”都不为空,优先选择“sql_body”的内容;如果“template_id”不为空,“sql_body”为空,选择“template_id”的内容填充“sql_body”。 |
queue_name |
否 |
String |
队列名称。长度限制:0-128个字符。 |
sql_body |
否 |
String |
Stream SQL语句,至少包含source, query, sink三个部分。长度限制:1024*1024个字符。 |
run_mode |
否 |
String |
作业运行模式:
默认值为“shared_cluster”。 |
cu_number |
否 |
Integer |
用户为作业选择的CU数。默认值为“2”。 CU数量为 DLI 的计算单元数量和管理单元数量总和,CU也是DLI的计费单位,1CU=1核4G。当前配置的CU数量为运行作业时所需的CU数,不能超过其绑定队列的CU数量。管理单元参数设置详见:manager_cu_number。 |
parallel_number |
否 |
Integer |
用户设置的作业并行数目。默认值为“1”。 并行数是指同时运行Flink SQL作业的最大任务数。适度增加并行数会提高作业整体算力,但也须考虑线程增多带来的切换开销。最大并行数不能大于计算单元(CU数量-管理单元)的4倍。 管理单元参数设置详见:manager_cu_number。 |
checkpoint_enabled |
否 |
Boolean |
是否开启作业自动快照功能。
|
checkpoint_mode |
否 |
Integer |
快照模式,。两种可选:
默认值为1。 |
checkpoint_interval |
否 |
Integer |
快照时间间隔。单位为秒,默认值为“10”。 |
obs_bucket |
否 |
String |
当“checkpoint_enabled”为“true”时,该参数是用户授权保存快照的OBS桶名。 当“log_enabled” 为“true”时,该参数是用户授权保存作业日志的OBS桶名。 |
log_enabled |
否 |
Boolean |
是否开启作业的日志上传到用户的OBS功能。默认为“false”。 |
smn_topic |
否 |
String |
当作业异常时,向该 SMN 主题推送告警信息。 |
restart_when_exception |
否 |
Boolean |
是否开启作业异常自动重启。默认为“false”。 |
idle_state_retention |
否 |
Integer |
空闲状态保留时间。单位为秒,默认值为“3600”。 |
job_type |
否 |
String |
作业类型:flink_sql_job、flink_opensource_sql_job。 默认值:“flink_opensource_sql_job”。
|
edge_group_ids |
否 |
Array of Strings |
边缘计算组ID列表, 多个ID以逗号分隔。 |
dirty_data_strategy |
否 |
String |
作业脏数据策略。
默认值为“0”。 |
udf_jar_url |
否 |
String |
用户已上传到DLI资源管理系统的资源包名,用户sql作业的udf jar包通过该参数传入。 |
manager_cu_number |
否 |
Integer |
用户为作业选择的管理单元(jobmanager)CU数量,默认值为“1”。 |
tm_cus |
否 |
Integer |
每个taskmanager的CU数,默认值为“1”。 |
tm_slot_num |
否 |
Integer |
每个taskmanager的slot数,默认值为“(parallel_number*tm_cus)/(cu_number-manager_cu_number)”。 |
resume_checkpoint |
否 |
Boolean |
异常重启是否从checkpoint恢复。 |
resume_max_num |
否 |
Integer |
异常重试最大次数,单位:次/小时。取值范围:-1或大于0。默认值为“-1”,表示无限次数。 |
tags |
否 |
Array of Objects |
Flink SQL作业的标签。具体请参考表3。 |
runtime_config |
否 |
String |
Flink作业运行时自定义优化参数。 |
flink_version |
否 |
String |
Flink版本。 |
- 什么是Spark SQL作业_数据湖探索DLISpark SQL作业
- 什么是Flink OpenSource SQL_数据湖探索_Flink OpenSource SQL
- 什么是数据湖探索服务_数据湖探索DLI用途与特点
- 什么是跨源连接-数据湖探索DLI跨源连接
- 数据治理中心_数据质量评估_质量规则和质量报告-华为云
- 华为云内容审核服务_内容审核有什么作用_华为云内容审核的优势
- 什么是弹性资源池_数据湖探索DLI弹性资源池
- 数据治理中心_数据开发_数据开发示例_使用教程-华为云
- ModelArts模型训练_创建训练作业_如何创建训练作业
- 数据治理中心_数据开发_数据开发能力_脚本和节点介绍-华为云