检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
(推荐)介绍的API。 URI URI格式: POST /v1.0/{project_id}/queues/{queue_name}/jobs/submit-job 参数说明 表1 URI参数 名称 是否必选 说明 project_id 是 项目编号,用于资源隔离。获取方式请参考获取项目ID。
OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 如果JDBC结果表定义了主键,则连接器以upsert模式运行,否则,连接器以Append模式运行。 upser
在Flink作业进行动态扩缩时后台作业需要停止继而从savepoint恢复,因此未恢复成功前,作业无法处理数据。 因扩缩容过程中需要触发savepoint,因此必须配置obs桶,并保存日志,同时请注意开启checkpoint。 扩缩容检测周期不要设置过小,避免频繁启停作业。 扩缩容作业恢复过程中的时间长短受sa
by a1, a2 with cube spark.sql.distinct.aggregator.enabled false dli.jobs.sql.resubmit.enable null 通过设置该参数可以控制在driver故障、队列重启时Spark SQL作业是否重新提交。
“default”队列只用于用户体验DLI,是所有人共享的公共资源,使用时可能会出现用户间抢占资源的情况,不能保证每次都可以得到资源执行相关操作。建议使用自建队列执行生产作业。 使用方法:default队列仅适用于提交SQL作业,在DLI管理控制台提交SQL作业时选择"default队列"即可。
OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 所有 HBase 表的列簇必须定义为ROW类型,字段名对应列簇名(column family),嵌套的字段名对应列限定符名(column
OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险,建议使用DEW管理凭