检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
了解数据目录、数据库和表 数据库和表是SQL作业、Spark作业场景开发的基础，在执行作业前您需要根据业务场景定义数据库和表。 Flink支持动态数据类型，可以在运行时定义数据结构，不需要事先定义元数据。 数据目录 数据目录（Catalog）是元数据管理对象，它可以包含多个数据库。 DLI当前支持DLI
在Connect Cluster页面中，填写作业运行的相关信息。 图3 Connect Cluster 表1 Connect Cluster 参数名称 说明 配置样例 Service Type 连接的服务名称。 DLI Pool Name Notebook作业运行所在队列对应的弹性资源池。 本例
况、业务的运行状况，并及时收到异常告警做出反应，保证业务顺畅运行。 DLI服务提供基于云监控服务CES的资源监控能力 DLI已对接云监控服务，提供基于云监控服务的资源监控能力，帮助用户监控账号下的DLI队列，执行自动实时监控、告警和通知操作。用户可以实时掌握队列中的运行作业网络流
调整弹性资源池中队列的扩缩容策略 弹性资源池上可以添加多个不同队列用于作业运行，具体添加弹性资源池添加队列的操作可以参考创建弹性资源池并添加队列。添加完队列后，可以根据不同队列计算资源使用量的波峰和波谷和优先级来配置要扩缩容的CU数，从而来保障作业的稳定运行。 注意事项 建议对流批业务实施资源池的精细化管
是否必选 参数类型 说明 duration 否 Long 作业运行时长，单位毫秒。 id 否 String 批处理作业的id。 state 否 String 批处理作业的状态。 appId 否 String 批处理作业的后台app id。 log 否 Array of Strings
在default队列执行DLI SQL失败，提示超时异常怎么办？ 问题现象 使用default队列提交SQL作业，作业运行异常，排查作业日志显示Execution Timeout异常。异常日志参考如下： [ERROR] Execute DLI SQL failed. Please
理效率。 例如观察到SQL执行时间较长，进入SparkUI查看对应SQL的执行状态，如图1所示，查看到一个stage运行时间超过20分钟且只剩余一个task在运行，即为数据倾斜的情况。 图1 数据倾斜样例 常见数据倾斜场景 Group By聚合倾斜 在执行Group By聚合操作
队列规格变更（扩容/缩容）。 状态 作业的状态信息，包括如下。 提交中 运行中 已成功 已取消 已失败 规格变更中 执行语句 作业的具体SQL语句以及导出、建表的操作，此处展示操作的描述。 单击可复制对应的语句。 运行时长 作业的运行时长。 创建时间 每个作业的创建时间，可按创建时间顺序或倒序显示作业列表。
SQL作业Kafka分区数增加或减少，怎样不停止Flink作业实现动态感知？ 在Flink SQL作业中创建表使用EL表达式，作业运行提示DLI.0005错误怎么办？ Flink作业输出流写入数据到OBS，通过该OBS文件路径创建的DLI表查询无数据 Flink SQL作业运行失败，日志中有connect to
update h0 set price = price *2, name = 'a2' where id = 2; 系统响应 可以确认任务状态成功，运行QUERY语句查看表中数据已被更新。 父主题： Hudi DML语法说明
权限配置详见LakeFormation文档。 示例 ALTER TABLE table1 RENAME TO table2 系统响应 通过运行SHOW TABLES查看新的表名。 父主题： Schema演进语法说明
行各个节点。然后单击左上角 “保存” 和 “提交”。 步骤5：测试作业运行 作业编排完成后，单击“测试运行”，测试运行作业。 运行结束后，可打开“select_analyze_data”SQL脚本，单击“运行”，查询分析销售明细。 如果查询结果符合预期，可以继续执行步骤6：设置作业周期调度设置作业周期调度。
table1 DROP COLUMNS a.b.c, x, y a.b.c 表示嵌套列全路径，嵌套列具体规则见ADD COLUMNS。 系统响应 通过运行DESCRIBE命令，可查看删除列。 父主题： Schema演进语法说明
查询批处理作业日志（废弃） 功能介绍 该API用于查询批处理作业的后台日志。 当前接口已废弃，不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式： GET /v2.0/{project_id}/batches/{batch_id}/log 参数说明
`obs://bucket_name0/db0/delta_table0` add columns(new_col string); 系统响应 通过运行DESCRIBE命令，可显示新添加的列。 父主题： Schema演进语法说明
会增加“dli.table.lifecycle.status”这一属性。 约束限制 表生命周期处于公测阶段，如果有需要请联系客服申请开通白名单。 表生命周期功能支持Hive、DataSource语法创建表、多版本表，暂不支持跨源表、Carbon表。 生命周期单位为天，取值为正整数。
）/（CU数量 - 管理单元）”。 保存作业日志 设置是否将作业运行时的日志信息保存到OBS桶。 勾选“保存作业日志”时，还需要设置OBS桶信息。 注意： 该参数建议勾选，否则作业运行完成后不会生成运行日志，后续如果作业运行异常则无法获取运行日志进行定位。 开启Checkpoint Check
创建并提交Spark作业 场景描述 本章节指导用户通过API创建并提交Spark作业。 约束限制 新队列第一次运行作业时，需要一定的时间，通常为6~10分钟。 涉及接口 创建弹性资源池：创建弹性资源池。 创建队列：在弹性资源池中添加队列。 上传分组资源：上传Spark作业所需的资源包。
弹性资源池中任意一个队列的最大CU必须小于等于弹性资源池的最大CU。 弹性资源池至少可以满足弹性资源池中所有队列按最小CU运行，尽量满足队列按最大CU运行。 规格（包周期CU）：购买弹性资源池时选择的CU范围的最小值即弹性资源池规格。规格是包周期弹性资源池特有的。规格部分以包周期的计费，规格之外的部分按需计费。
队列相关 约束限制 当前使用SDK创建的作业不支持在default队列上运行。 查询所有队列 DLI提供查询队列列表接口，您可以使用该接口并选择相应的队列来执行作业。示例代码如下： 1 2 3 4 5 6 7 8 9 def list_all_queues(dli_client):
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
