检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
而弹性资源池缩容可能会触发缩容含有shuffle数据的节点，会导致Spark Task重算，引起Spark作业和SQL作业内部自动重试，当作业重试超过限制会导致作业执行失败，需用户重新执行作业。 Spark2.3版本作业需要升级作业版本后才能支持运行中动态缩容功能。
在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。
该步骤用户可以配置如下可选功能： 作业失败重试：如果作业执行失败，可选择是否自动重试，这里保持默认值“不重试”。 作业分组：选择作业所属的分组，默认分组为“DEFAULT”。在CDM“作业管理”界面，支持作业分组显示、按组批量启动作业、按分组导出作业等操作。
在DLI作业中使用DEW中创建的凭据 以Flink作业为例介绍使用DEW凭据的方法。 参考Flink Opensource SQL使用DEW管理访问凭据的语法格式，在作业中配置凭据信息。
Spark异步任务执行表compaction参数设置规范 写作业未停止情况下，禁止手动执行run schedule命令生成compaction计划。 错误示例： run schedule on dsrTable 如果还有别的任务在写这张表，执行该操作会导致数据丢失。
原因分析 客户作业存在并发操作，同时对一张表执行两个insert overwrite操作。
问题现象 客户在DWS建表，然后在DLI创建跨源连接读写该表，突然出现如下异常，报错信息显示DLI向该表某非空字段写入了空值，因为非空约束存在导致作业出错。
注意事项 创建Flink OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 数据类型的使用，请参考Format章节。
该步骤用户可以配置如下可选功能： 作业失败重试：如果作业执行失败，可选择是否自动重试，这里保持默认值“不重试”。 作业分组：选择作业所属的分组，默认分组为“DEFAULT”。在CDM“作业管理”界面，支持作业分组显示、按组批量启动作业、按分组导出作业等操作。
注意事项 创建Flink OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.12”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 数据类型的使用，请参考Format章节。
页面查看作业运行的情况。
Java SDK Java SDK概述 Java SDK环境配置 OBS授权 队列相关 资源相关 SQL作业相关 Flink作业相关 Spark作业相关 Flink作业模板相关
该步骤用户可以配置如下可选功能： 作业失败重试：如果作业执行失败，可选择是否自动重试，这里保持默认值“不重试”。 作业分组：选择作业所属的分组，默认分组为“DEFAULT”。在CDM“作业管理”界面，支持作业分组显示、按组批量启动作业、按分组导出作业等操作。
使用客户端工具连接DLI 使用JDBC提交SQL作业 使用Spark-submit提交Spark Jar作业 使用Livy提交Spark Jar作业
创建flink opensource sql作业，输入以下作业脚本，提交运行作业。
DLI不再支持边缘作业场景的API调用。 调试 您可以在API Explorer中调试该接口。
SQL作业相关 介绍数据库相关、表相关、作业相关的Python SDK使用说明。 Spark作业相关 介绍提交Spark作业、取消Spark作业、删除Spark作业等Python SDK使用说明。 父主题： Python SDK
创建Flink OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 数据类型的使用，请参考Format章节。
job_id 否 String 返回作业的ID，可用于获取作业状态和作业结果。 job_type 否 String 作业类型。
扩容任务提交后，可以选择“作业管理 > SQL作业”，查看“SCALE_POOL”类型SQL作业的状态。 如果作业状态为“规格变更中”，表示弹性资源池规格正在扩容中。等待作业状态变为“已成功”表示当前变更操作完成。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
