检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DML语法定义 DML语句 语法定义 INSERT INTO table_name [PARTITION part_spec] query part_spec: (part_col_name1=val1 [, part_col_name2=val2, ...]) query:
DataGen 功能描述 DataGen主要用于生成随机数据，可用于调试以及测试等场景。 表1 支持类别 类别 详情 支持表类型 源表 注意事项 创建DataGen表时，表字段类型不支持Array，Map和Row复杂类型，可以通过CREATE TABLE语句中的“COMPUTED
查询Spark作业日志 操作场景 DLI作业桶用于存储DLI作业运行过程中产生的临时数据，例如：作业日志、作业结果。 本节操作指导您在DLI管理控制台配置DLI作业桶，并获取Spark作业日志的操作方法。 使用须知 请勿将该DLI作业桶绑定的OBS桶用作其它用途，避免出现作业结果混乱等问题。
OPTIMIZE 命令功能 OPTIMIZE命令用于优化数据在存储中的布局，提高查询速度。 注意事项 由于Optimize是一项耗时的活动，因此需要根据更好的最终用户查询性能与优化计算时间之间的权衡来确定运行Optimized的频率。 分区表优化需要设置参数spark.sql.f
java样例代码 开发说明 本样例只适用于MRS的HBase。 前提条件 在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。
scala样例代码 开发说明 支持对接CloudTable的OpenTSDB和MRS的OpenTSDB。 前提条件 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件
DLI支持的Prometheus基础监控指标 表1提供了DLI支持的Prometheus基础监控指标，AOM Prometheus支持免费存储基础指标。 除基础指标外，AOM Prometheus提供的自定义指标按计费规则付费使用。 表1 DLI支持的Prometheus监控指标
查询SQL作业日志 操作场景 DLI作业桶用于存储DLI作业运行过程中产生的临时数据，例如：作业日志、作业结果。 本节操作指导您在DLI管理控制台配置DLI作业桶，并获取SQL作业日志的操作方法。 使用须知 请勿将该DLI作业桶绑定的OBS桶用作其它用途，避免出现作业结果混乱等问题。
java样例代码 开发说明 mongo只支持增强型跨源。只能使用包年包月队列。 DDS即文档数据库服务，兼容MongoDB协议。 前提条件 在DLI管理控制台上已完成创建增强跨源连接，并绑定包年/包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代
Hudi表模型设计规范 规则 Hudi表必须设置合理的主键。 Hudi表提供了数据更新和幂等写入能力，该能力要求Hudi表必须设置主键，主键设置不合理会导致数据重复。主键可以为单一主键也可以为复合主键，两种主键类型均要求主键不能有null值和空值，可以参考以下示例设置主键： SparkSQL：
查询作业模板列表 功能介绍 该API用于查询作业模板列表。 调试 您可以在API Explorer中调试该接口。 URI URI格式： GET /v3/{project_id}/templates?type=spark 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述
在DLI使用Hudi提交Flink SQL作业 本节操作介绍在DLI使用Hudi提交Flink SQL作业的操作步骤。 具体语法说明请参考Flink OpenSource SQL1.15语法概览。 进入DLI控制台，随后单击左侧菜单的“作业管理 > Flink作业”，进入Flink作业的界面。
pyspark样例代码 开发说明 支持对接CloudTable的HBase和MRS的HBase。 前提条件 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。
pyspark样例代码 开发说明 mongo只支持增强型跨源。只能使用包年包月队列。 DDS即文档数据库服务，兼容MongoDB协议。 前提条件 在DLI管理控制台上已完成创建增强跨源连接，并绑定包年/包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编
pyspark样例代码 开发说明 redis只支持增强型跨源。只能使用包年包月队列。 前提条件 在DLI管理控制台上已完成创建增强跨源连接，并绑定包年包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置
扫描量计费 按扫描量计费 按扫描量计费即：按运行查询作业扫描的数据量付费，如果扫描字节数量少于10M， 按10M计算。 且数据定义语言（DDL）语句（如 CREATE、ALTER、DROP TABLE等语句）、管理分区语句、失败的查询语句无需付费。 对于取消的查询，按取消查询时扫描的总数据量计费。
VACUUM 命令功能 VACUUM命令用于删除表目录中不由 Delta 管理的所有文件，并删除不再处于表事务日志最新状态且超过保留期阈值的数据文件。默认阈值为 7 天。 注意事项 RETAIN num HOURS表示保留期阈值，建议设置为至少 7 天。 如果对 Delta 表运
在Spark SQL作业中使用UDAF 操作场景 DLI支持用户使用Hive UDAF（User Defined Aggregation Function，用户定义聚合函数）可对多行数据产生作用，通常与groupBy联合使用；等同于SQL中常用的SUM()，AVG()，也是聚合函数。
查看Flink作业详情 创建作业后，您可以在DLI管理控制台查看Flink作业的基本信息、作业详情、任务列表、执行计划等信息。 本节操作介绍怎样查看Flink作业相关信息。 表1 查看Flink作业相关信息 类型 说明 操作指导 Flink作业基本信息 包括Flink作业的ID、作业类型、作业执行状态等信息。
Spark作业相关 前提条件 已参考Java SDK概述配置Java SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化，参考队列相关完成队列创建等操作。 提交批处理作业 DLI提供执行批处理作业的接口。您可以使用该接口执行批处理作业。示例代码如下： 1
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
