数据湖探索 DLI-生成Flink SQL作业的静态流图:请求消息

时间:2024-05-14 09:40:02

请求消息

表2 请求参数说明

参数名称

是否必选

参数类型

说明

sql_body

String

SQL。

cu_number

Integer

是在作业编辑页面配置的作业占用资源总CU数,需配置与实际占用资源一致,作业实际占用资源根据算子并行数按需申请。

cu_number = 管理单元 + (算子总并行数 / 单TM Slot数) * 单TM所占CU数

manager_cu_number

Integer

管理单元CU数。

parallel_number

Integer

最大并行度。

并行数为作业每个算子的并行数,适度增加并行数会提高作业整体算力,但也须考虑线程增多带来的切换开销,上限是计算单元CU数的4倍,最佳实践为计算单元CU数的1-2倍。

tm_cus

Integer

单个taskManagerCU数量。

tm_slot_num

Integer

单个taskManager Slot数量。

operator_config

String

算子的配置。

可先行调用该接口获取算子ID,即响应消息中stream_graph包含的operator_list中的id即为算子ID。

static_estimator

Boolean

是否静态资源预估。

配置为true时,即根据算子ID和流量预估作业消耗资源。

static_estimator_config

String

每个算子的流量/命中率配置,json格式的字符串。

当static_estimator为true时需要配置该参数,配置时传入算子ID和算子流量配置。

  • 可先行调用该接口获取算子ID,即响应消息中stream_graph包含的operator_list中的id即为算子ID。
  • 算子流量根据用户业务实际情况预估。

job_type

String

作业类型。

只支持flink_opensource_sql_job类型作业。

graph_type

String

流图类型。当前支持以下两种流图类型。

  • 简化流图:simple_graph
  • 静态流图:job_graph

flink_version

String

Flink版本。当前只支持1.10和1.12。

support.huaweicloud.com/api-dli/dli_02_0316.html