Flink作业相关API-华为云

数据湖探索 DLI-更新SQL作业:请求示例

请求示例更新已有的SQL作业，更新后的作业名称为myjob，以共享模式运行在testQueue上。 { "name": "myjob", "desc": "这是我的第一个作业", "queue_name": "testQueue", "sql_body": "select * from source_table", "run_mode": "shared_cluster", "cu_number": 4, "parallel_number": 4, "checkpoint_enabled": false, "checkpoint_mode": "exactly_once", "checkpoint_interval": 10, "obs_bucket": "", "log_enabled": false, "smn_topic": "", "restart_when_exception": false, "idle_state_retention": 3600, "edge_group_ids": [ "62de1e1c-066e-48a8-a79d-f461a31b2ee1", "2eb00f85-99f2-4144-bcb7-d39ff47f9002" ], "dirty_data_strategy": "0", "udf_jar_url": "group/test.jar" }

数据湖探索 DLI Flink作业相关API

数据湖探索 DLI-更新SQL作业:请求消息

请求消息表2 请求参数说明参数名称是否必选参数类型说明 name 否 String 作业名称。长度限制：0-57个字符。 desc 否 String 作业描述。长度限制：0-512个字符。 queue_name 否 String 队列名称。长度限制：0-128个字符。 sql_body 否 String Stream SQL语句，至少包含source, query, sink三个部分。长度限制：0-1024*1024个字符。 run_mode 否 String 作业运行模式： shared_cluster：共享。 exclusive_cluster：独享。 edge_node：边缘节点。默认值为“shared_cluster”。 cu_number 否 Integer 用户为作业选择的CU数量。默认值为“2”。 parallel_number 否 Integer 用户设置的作业并行数目。默认值为“1”。 checkpoint_enabled 否 Boolean 是否开启作业自动快照功能。开启：true 关闭：false 默认：false checkpoint_mode 否 Integer 快照模式,。两种可选： 1：表示exactly_once，数据只被消费一次。 2：at_least_once，数据至少被消费一次。默认值为1。 checkpoint_interval 否 Integer 快照时间间隔。单位为秒，默认值为“10”。 obs_bucket 否 String 当“checkpoint_enabled”为“true”时，该参数是用户授权保存快照的OBS桶名称。当“log_enabled” 为“true”时，该参数是用户授权保存作业日志的OBS桶名称。 log_enabled 否 Boolean 是否开启作业的日志上传到用户的OBS功能。默认为“false”。 smn_topic 否 String 当作业异常时，向该 SMN 主题推送告警信息。 restart_when_exception 否 Boolean 是否开启作业异常自动重启。默认为“false”。 idle_state_retention 否 Integer 空闲状态过期周期，单位为秒，默认值为“3600”。 edge_group_ids 否 Array of Strings 边缘计算组ID列表, 多个ID以逗号分隔。 dirty_data_strategy 否 String 作业脏数据策略。 “2:obsDir”：保存，obsDir表示脏数据存储路径。 “1”：抛出异常。 “0”：忽略。默认值为“0”。 udf_jar_url 否 String 用户已上传到 DLI 资源管理系统的资源包名，用户sql作业的udf jar通过该参数传入。 manager_cu_number 否 Integer 用户为作业选择的管理单元（jobmanager）CU数量，默认值为“1”。 tm_cus 否 Integer 每个taskmanager的CU数，默认值为“1”。 tm_slot_num 否 Integer 每个taskmanager的slot数，默认值为“(parallel_number*tm_cus)/(cu_number-manager_cu_number)”。 operator_config 否 String 算子的并行度配置。 resume_checkpoint 否 Boolean 异常重启是否从checkpoint恢复。 resume_max_num 否 Integer 异常重试最大次数，单位：次/小时。取值范围：-1或大于0。默认值为“-1”，表示无限次数。 static_estimator_config 否 String 每个算子的流量/命中率配置，json格式的字符串。例如： {"operator_list":[{"id":"0a448493b4782967b150582570326227","rate_factor":0.55},{"id":"6d2677a0ecc3fd8df0b72ec675edf8f4","rate_factor":1},{"id":"ea632d67b7d595e5b851708ae9ad79d6","rate_factor":0.55},{"id":"bc764cd8ddf7a0cff126f51c16239658","output_rate":2000}]} runtime_config 否 String Flink作业运行时自定义优化参数。 flink_version 否 String Flink版本。当前只支持1.10和1.12。

数据湖探索 DLI Flink作业相关API

数据湖探索 DLI-查询作业监控信息（废弃）:响应消息

响应消息表3 响应参数说明参数名称是否必选参数类型说明 is_success 否 Boolean 请求是否成功。 message 否 String 消息内容。 metrics 否 Object 作业列表信息。具体请参考表4。表4 payload参数说明参数名称是否必选参数类型说明 jobs 否 Array of Objects 所有作业监控信息。具体请参考表5。表5 jobs参数说明参数名称是否必选参数类型说明 job_id 否 Long 作业ID。 metrics 否 Object 作业的所有输入输出监控信息。具体请参考表6。表6 metrics参数说明参数名称是否必选参数类型说明 sources 否 Array of Objects 所有输入流。请参见表7。 sinks 否 Array of Objects 所有输出流。请参见表7。 total_read_rate 否 Double 总输入速率。 total_write_rate 否 Double 总输出速率。表7 source/sinks参数说明参数名称是否必选参数类型说明 name 否 String 输入流或输出流名称。 records 否 Long 总记录数。 corrupted_records 否 Long 脏数据记录数。

数据湖探索 DLI Flink作业相关API（废弃）

数据湖探索 DLI-查询作业监控信息（废弃）:示例

示例请求样例 { "job_ids": [298765, 298766] } 响应样例 { "is_success": true, "message": "消息内容", "metrics": { "jobs": [ { "job_id": 0, "metrics": { "sources": [ { "name": "Source: KafKa_6070_KAFKA_SOURCE", "records": 0, "corrupted_records": 0 } ], "sinks": [ { "name": "Source: KafKa_6070_KAFKA_SOURCE", "records": 0, "corrupted_records": 0 } ], "total_read_rate": 100, "total_write_rate": 100 } } ] } }

数据湖探索 DLI Flink作业相关API（废弃）

数据湖探索 DLI-新建SQL作业:请求示例

请求示例使用ID为100000的模板创建名为myjob的Flink SQL作业，该作业执行在testQueue队列上以独享的模式运行。 { "name": "myjob", "desc": "这是个做字符记数的作业", "template_id": 100000, "queue_name": "testQueue", "sql_body": "select * from source_table", "run_mode": "exclusive_cluster", "cu_number": 2, "parallel_number": 1, "checkpoint_enabled": false, "checkpoint_mode": "exactly_once", "checkpoint_interval": 0, "obs_bucket": "my_obs_bucket", "log_enabled": false, "restart_when_exception": false, "idle_state_retention": 3600, "job_type": "flink_sql_job", "dirty_data_strategy": "0", "udf_jar_url": "group/test.jar" }

数据湖探索 DLI Flink作业相关API

数据湖探索 DLI-新建SQL作业:请求消息

请求消息表2 请求参数说明参数名称是否必选参数类型说明 name 是 String 作业名称。长度限制：1-57个字符。 desc 否 String 作业描述。长度限制：0-512个字符。 template_id 否 Integer 模板ID。如果“template_id”和“sql_body”都不为空，优先选择“sql_body”的内容；如果“template_id”不为空，“sql_body”为空，选择“template_id”的内容填充“sql_body”。 queue_name 否 String 队列名称。长度限制：0-128个字符。 sql_body 否 String Stream SQL语句，至少包含source, query, sink三个部分。长度限制：1024*1024个字符。 run_mode 否 String 作业运行模式： shared_cluster：共享。 exclusive_cluster：独享。 edge_node：边缘节点。默认值为“shared_cluster”。 cu_number 否 Integer 用户为作业选择的CU数。默认值为“2”。 CU数量为DLI的计算单元数量和管理单元数量总和，CU也是DLI的计费单位，1CU=1核4G。当前配置的CU数量为运行作业时所需的CU数，不能超过其绑定队列的CU数量。管理单元参数设置详见：manager_cu_number。 parallel_number 否 Integer 用户设置的作业并行数目。默认值为“1”。并行数是指同时运行Flink SQL作业的最大任务数。适度增加并行数会提高作业整体算力，但也须考虑线程增多带来的切换开销。最大并行数不能大于计算单元（CU数量-管理单元）的4倍。管理单元参数设置详见：manager_cu_number。 checkpoint_enabled 否 Boolean 是否开启作业自动快照功能。开启：true 关闭：false 默认：false checkpoint_mode 否 Integer 快照模式,。两种可选： 1：表示exactly_once，数据只被消费一次。 2：表示at_least_once，数据至少被消费一次。默认值为1。 checkpoint_interval 否 Integer 快照时间间隔。单位为秒，默认值为“10”。 obs_bucket 否 String 当“checkpoint_enabled”为“true”时，该参数是用户授权保存快照的OBS桶名。当“log_enabled” 为“true”时，该参数是用户授权保存作业日志的OBS桶名。 log_enabled 否 Boolean 是否开启作业的日志上传到用户的OBS功能。默认为“false”。 smn_topic 否 String 当作业异常时，向该SMN主题推送告警信息。 restart_when_exception 否 Boolean 是否开启作业异常自动重启。默认为“false”。 idle_state_retention 否 Integer 空闲状态保留时间。单位为秒，默认值为“3600”。 job_type 否 String 作业类型：flink_sql_job、flink_opensource_sql_job。默认值：“flink_opensource_sql_job”。 “run_mode”为“exclusive_cluster”时，作业类型须为“flink_sql_job”或“flink_opensource_sql_job”。 “run_mode””为“shared_cluster”时作业类型必须为”flink_sql_job“。 edge_group_ids 否 Array of Strings 边缘计算组ID列表, 多个ID以逗号分隔。 dirty_data_strategy 否 String 作业脏数据策略。 “2:obsDir”：保存，obsDir表示脏数据存储路径。 “1”：抛出异常。 “0”：忽略。默认值为“0”。 udf_jar_url 否 String 用户已上传到DLI资源管理系统的资源包名，用户sql作业的udf jar包通过该参数传入。 manager_cu_number 否 Integer 用户为作业选择的管理单元（jobmanager）CU数量，默认值为“1”。 tm_cus 否 Integer 每个taskmanager的CU数，默认值为“1”。 tm_slot_num 否 Integer 每个taskmanager的slot数，默认值为“(parallel_number*tm_cus)/(cu_number-manager_cu_number)”。 resume_checkpoint 否 Boolean 异常重启是否从checkpoint恢复。 resume_max_num 否 Integer 异常重试最大次数，单位：次/小时。取值范围：-1或大于0。默认值为“-1”，表示无限次数。 tags 否 Array of Objects Flink SQL作业的标签。具体请参考表3。 runtime_config 否 String Flink作业运行时自定义优化参数。 flink_version 否 String Flink版本。表3 tags参数参数名称是否必选参数类型说明 key 是 String 标签的键。说明：标签的键的最大长度为128个字符，标签的键可以包含任意语种字母、数字、空格和_ . : =+-@ ,但首尾不能含有空格，不能以_sys_开头。 value 是 String 标签的值。说明：标签值的最大长度为255个字符，标签的值可以包含任意语种字母、数字、空格和_ . : =+-@ ,但首尾不能含有空格。

数据湖探索 DLI Flink作业相关API

数据湖探索 DLI-新建SQL作业:响应消息

响应消息表4 响应参数说明参数名称是否必选参数类型说明 is_success 否 String 执行请求是否成功。“true”表示请求执行成功。 message 否 String 消息内容。 job 否 Object 作业状态信息。具体请参考表5。表5 job参数说明参数名称是否必选参数类型说明 job_id 是 Long 作业ID。 status_name 否 String 当前状态名称。参数说明可以参考查询作业详情中status作业状态字段说明。 status_desc 否 String 当前状态描述。包含异常状态原因及建议。

数据湖探索 DLI Flink作业相关API

云服务器内容精选

Flink作业相关API

7*24

备案

专业服务

退订

建议反馈

售前咨询热线