数据湖探索 DLI-生成Flink SQL作业的静态流图:请求消息
请求消息
参数名称 |
是否必选 |
参数类型 |
说明 |
---|---|---|---|
sql_body |
是 |
String |
SQL。 |
cu_number |
否 |
Integer |
是在作业编辑页面配置的作业占用资源总CU数,需配置与实际占用资源一致,作业实际占用资源根据算子并行数按需申请。 cu_number = 管理单元 + (算子总并行数 / 单TM Slot数) * 单TM所占CU数 |
manager_cu_number |
否 |
Integer |
管理单元CU数。 |
parallel_number |
否 |
Integer |
最大并行度。 并行数为作业每个算子的并行数,适度增加并行数会提高作业整体算力,但也须考虑线程增多带来的切换开销,上限是计算单元CU数的4倍,最佳实践为计算单元CU数的1-2倍。 |
tm_cus |
否 |
Integer |
单个taskManagerCU数量。 |
tm_slot_num |
否 |
Integer |
单个taskManager Slot数量。 |
operator_config |
否 |
String |
算子的配置。 可先行调用该接口获取算子ID,即响应消息中stream_graph包含的operator_list中的id即为算子ID。 |
static_estimator |
否 |
Boolean |
是否静态资源预估。 配置为true时,即根据算子ID和流量预估作业消耗资源。 |
static_estimator_config |
否 |
String |
每个算子的流量/命中率配置,json格式的字符串。 当static_estimator为true时需要配置该参数,配置时传入算子ID和算子流量配置。
|
job_type |
否 |
String |
作业类型。 只支持flink_opensource_sql_job类型作业。 |
graph_type |
否 |
String |
流图类型。当前支持以下两种流图类型。
|
flink_version |
否 |
String |
Flink版本。当前只支持1.10和1.12。 |
- 什么是Spark SQL作业_数据湖探索DLISpark SQL作业
- 什么是Flink OpenSource SQL_数据湖探索_Flink OpenSource SQL
- 什么是数据湖探索服务_数据湖探索DLI用途与特点
- 数据治理中心_数据开发_数据开发示例_使用教程-华为云
- 华为云内容审核服务_内容审核有什么作用_华为云内容审核的优势
- 大数据应用范围有哪些_大数据技术与应用要学习什么课程
- 数据治理中心_数据开发_数据开发能力_脚本和节点介绍-华为云
- 什么是跨源连接-数据湖探索DLI跨源连接
- MapReduce服务_什么是Flink_如何使用Flink
- 什么是弹性资源池_数据湖探索DLI弹性资源池