检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参数说明 表1 URI参数说明 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 请求消息 表2 请求参数说明 参数名称 是否必选 参数类型 说明 job_ids 是 Array of Long 作业ID列表。
作业一个算子反压高(红色),而其后续的多个并行算子都不存在反压(绿色) 该场景说明性能瓶颈在Vertex2或者Vertex3,为了进一步确定具体瓶颈点算子,可以在FlinkUI页面开启inPoolUsage监控。如果某个算子并发对应的inPoolUsage长时间为100%,则该算子大概率为性能瓶颈点,需分析该算子以进行下一步优化。
件而非文件夹。建议创建OBS对象时,在同一级中不要出现同名的文件和文件夹。 提交作业 DLI提供查询作业的接口。您可以使用该接口执行查询并获取查询结果。示例代码如下: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
程序包。 在DLI管理控制台的左侧导航栏中,单击作业管理>“Flink作业”,在需要编辑作业对应的“操作”列中,单击“编辑”,进入作业编辑页面。 在“运行参数设置”页签,“UDF Jar”选择创建的程序包,单击“保存”。 选定JAR包以后,SQL里添加UDF声明语句,就可以像普通函数一样使用了。
参数说明 表1 URI参数说明 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 请求消息 表2 请求参数说明 参数名称 是否必选 参数类型 说明 name 是 String 模板名称。长度限制:1-64个字符
程序包。 在DLI管理控制台的左侧导航栏中,单击作业管理>“Flink作业”,在需要编辑作业对应的“操作”列中,单击“编辑”,进入作业编辑页面。 在“运行参数设置”页签,“UDF Jar”选择创建的程序包,单击“保存”。 选定JAR包以后,SQL里添加UDF声明语句,就可以像普通函数一样使用了。
elastic_resource_pool_name 是 String 弹性资源池名称。 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 Integer 每页的数量。默认为100。 offset
-records 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 elastic_resource_pool_name 是 String 弹性资源池名称。 长度限制:1~128个字符。 表2
参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 请求参数 无 响应参数 表2 响应参数 参数 参数类型 说明 is_success Boolean 请求执行是否成功。“true”表示请求执行成功。
是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 job_id 是 Long 作业ID。具体可以从新建Flink Jar作业中获取。 请求消息 表2 参数说明 参数名称 是否必选 参数类型 说明 name 否 String
持的数据源与输出源,如Kafka、Hbase、ElasticSearch等。 自拓展生态 用户可通过编写代码实现从想要的云生态或者开源生态获取数据,作为Flink作业的输入数据。 DLI Flink Connector支持列表请参考Connector概述。 父主题: Flink作业开发指南
SDK(服务自研):是DLI服务自行开发的SDK,本手册介绍DLI 自研SDK的使用方法。相关开发包请从华为云DLI 开发工具包(SDK)获取。 Java SDK操作指导请参考Java SDK Python SDK操作指导请参考Python SDK DLI SDK调用接口使用https进行访问,有服务端使用证书。
程序包。 在DLI管理控制台的左侧导航栏中,单击作业管理>“Flink作业”,在需要编辑作业对应的“操作”列中,单击“编辑”,进入作业编辑页面。 在“运行参数设置”页签,“UDF Jar”选择创建的程序包,单击“保存”。 选定JAR包以后,SQL里添加UDF声明语句,就可以像普通函数一样使用了。
例模板”,在“tpchQuery”下找到“Q1_价格摘要报告查询”样例模板,单击操作列的“执行”进入“SQL编辑器”。 在“SQL编辑器”页面右侧的编辑窗口上方,“执行引擎”选择“spark”,“队列”选择“default”,“数据库”选择“default”,单击“执行”。 SQ
enable.https' = 'true' 'doris.ignore.https.ca' = 'true' 请在Flink“作业编辑”页面选择“运行参数配置”,选择“开启Checkpoint”,否则会导致Doris结果表无法写入数据,且写入Doris的延时取决于设置的Checkpoint的间隔时间。
按需配置弹性资源池的相关参数,完成弹性资源池的购买。 在弹性资源池中创建队列。 创建完弹性资源池后,弹性资源池可以添加一个或多个队列用于后续作业的运行。 在弹性资源池管理页面。 选择要操作的弹性资源池,在“操作”列,单击“添加队列”。 在“添加队列”界面,完成队列的基础信息配置。单击“确定”完成添加队列配置。 创建作业。
是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 job_id 是 Long 作业ID。具体可以从新建SQL作业中获取。 请求消息 表2 请求参数说明 参数名称 是否必选 参数类型 说明 name 否 String
参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 请求消息 表2 请求参数说明 参数 是否必选 参数类型 描述 elastic_resource_pool_name 是 String
flink-doris-connector 迭代所需的 RowBatch。 doris.deserialize.queue.size 64 否 异步转换 Arrow 格式的内部处理队列,当doris.deserialize.arrow.async 为 true 时生效。 doris.read.field -- 否
ols 参数说明 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 Integer 每页的数量。默认为100。 name