检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
执行查询语句报错：The current account does not have permission to perform this operation,the current account was restricted. Restricted for no budget
使用相同的类名，导致功能相互冲突，影响作业执行。 如需使用UDF热加载功能请提交工单开通白名单。 关键字 USING <resources>：需要加载的资源。可以是JAR、文件或者URI的列表。 OR REPLACE：支持自定义函数热加载功能。 如果创建自定义函数时不携带OR REPLACE，则需要注意以下场景：
参数 参数说明 队列 作业所属队列的名称。 执行引擎 SQL作业支持Spark和HetuEngine两种引擎。 Spark：显示执行引擎为“Spark”的作业。 HetuEngine：显示执行引擎为“HetuEngine”的作业。 用户名 执行该作业的用户名。 类型 作业的类型，包括如下。
Ogg Format 功能描述 Oracle GoldenGate (a.k.a ogg) 是一个实现异构 IT 环境间数据实时数据集成和复制的综合软件包。 该产品集支持高可用性解决方案、实时数据集成、事务更改数据捕获、运营和分析企业系统之间的数据复制、转换和验证。Ogg 为变更日志提供了统一的格式结构，并支持使用
table_name 表名称。 col_name 列字段名称。 col_type 列字段类型。 col_comment 列描述。 注意事项 该SQL不建议并发执行，并发情况下添加列结果可能互相覆盖。 示例 1 ALTER TABLE t1 ADD COLUMNS (column2 int, column3
sql.shuffle.partitions参数提高并行度 操作场景 Spark作业在执行shuffle类语句，包括group by、join等场景时，常常会出现数据倾斜的问题，导致作业任务执行缓慢。 该问题可以通过设置spark.sql.shuffle.partitions提高shuffle
”参数。 图1 保存作业日志 是，则执行3。 否，则运行日志不会转储OBS桶，需要先执行2保存作业运行日志。 在作业运行界面勾选“保存作业日志”，在“OBS桶”参数选择存储运行日志的OBS桶。单击“启动”重新运行作业。作业重新运行完成后再执行3及后续步骤。 在Flink作业列表单
查看计划 功能描述 执行该语句将返回该SQL语句的逻辑计划与物理执行计划。 语法格式 1 EXPLAIN [EXTENDED | CODEGEN] statement; 关键字 EXTENDED：指定该关键字后，会同时输出逻辑计划与物理执行计划。 CODEGEN：指定该关键字后
迁移数据：使用INSERT INTO ... SELECT语句将旧表的数据迁移到新表中。 删除旧表：在确保新表完全替代旧表并且数据迁移完成后，您可以删除旧表以避免表数据混淆。 父主题： DLI产品咨询类
INSERT 命令功能 INSERT命令用于将SELECT查询结果加载到Delta表中。 命令格式 追加模式： INSERT INTO [database_name.]table_name|DELTA.`obs://bucket_name/tbl_path` select query;
给OBS分区表插入对应的分区数据，数据插入成功后OBS表才会生成分区元数据信息，后续则可以根据对应分区列进行查询等操作。 手工拷贝分区目录和数据到OBS分区表路径下，执行本章节介绍的分区添加命令生成分区元数据信息，后续即可根据对应分区列进行查询等操作。 本章节重点介绍使用ALTER TABLE命令添加分区的基本操作和使用说明。
h1; run clean on "obs://bucket/path/h1"; 注意事项 对表执行clean操作时需要表的owner才可以执行。 如果需要修改clean默认的参数，需要在执行SQL时，在设置中配置需要保留的commit数量等参数，参见Hudi常见配置参数。 使用由D
INTO命令，根据一张表或子查询的连接条件对另外一张表进行查询，连接条件匹配上的进行UPDATE或DELETE，无法匹配的执行INSERT。这个语法仅需要一次全表扫描就完成了全部同步工作，执行效率要高于INSERT＋UPDATE。 命令格式 MERGE INTO tableIdentifier AS
INTO命令，根据一张表或子查询的连接条件对另外一张表进行查询，连接条件匹配上的进行UPDATE或DELETE，无法匹配的执行INSERT。这个语法仅需要一次全表扫描就完成了全部同步工作，执行效率要高于INSERT＋UPDATE。 注意事项 分区表合并需要设置参数spark.sql.forcePa
commits + 20 执行compaction后再执行clean和archive，由于clean和archivelog对资源要求较小，为避免资源浪费，使用DataArts调度的话可以compaction作为一个任务，clean、archive作为一个任务分别配置不同的资源执行来节省资源使用。
客户在DLI中创建了DWS跨源连接和DWS跨源表，然后对DWS中的源表schema进行更新，执行DLI作业，发现DWS中源表schema被修改为更新前的形式，导致schema不匹配，作业执行失败。 原因分析 DLI跨源表执行insert操作时，会将DWS源表删除重建，客户没有对应更新DLI端跨源表建表语句，导致更新的DWS源表被替换。
INSERT命令用于将SELECT查询结果加载到Hudi表中。 命令格式 INSERT INTO tableIndentifier select query; 参数描述 表1 INSERT INTO参数 参数 描述 tableIndentifier 需要执行INSERT命令的Hudi表的名称。
consume.end.timestamp=20210308212318 // 指定增量拉取结束commit，如果不指定的话采用最新的commit 随后执行SQL select * from tableName where `_hoodie_commit_time`>'20201227153030'
已参考初始化DLI客户端完成客户端DLIClient的初始化，参考队列相关完成队列创建等操作。 提交批处理作业 DLI提供执行批处理作业的接口。您可以使用该接口执行批处理作业。示例代码如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
队列属性设置 操作场景 DLI支持在队列创建完成后设置队列的属性。 当前支持设置队列的Spark driver的相关参数：通过设置队列的Spark driver，以提升队列资源的调度效率。 本节操作介绍在管理控制台设置队列属性的操作步骤。 约束与限制 仅Spark引擎的SQL队列支持配置队列属性。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
