检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
队列属性设置 操作场景 DLI支持在队列创建完成后设置队列的属性。 当前支持设置队列的Spark driver的相关参数：通过设置队列的Spark driver，以提升队列资源的调度效率。 本节操作介绍在管理控制台设置队列属性的操作步骤。 约束与限制 仅Spark引擎的SQL队列支持配置队列属性。
问题出现时Flink读取的时间和RDS数据库的时间会相差13小时。 请在RDS数据库内执行如下语句 show variables like '%time_zone%' 执行结果如下： 图1 执行结果 表1 参数说明 参数 说明 system_time_zone 数据库时区。 这里它指向
解决方案 手动添加分区数据后，需要刷新OBS表的元数据信息。具体操作如下： MSCK REPAIR TABLE table_name; 执行完上述命令后，再执行对应OBS分区表的数据查询即可。 父主题： DLI数据库和表类
问题现象 使用DLI插入数据到OBS临时表文件，数据量有差异。 根因分析 出现该问题可能原因如下： 作业执行过程中，读取数据量错误。 验证数据量的方式不正确。 通常在执行插入数据操作后，如需确认插入数据量是否正确，建议通过查询语句进行查询。 如果OBS对存入的文件数量有要求，可
应作业“操作”列“更多 > 导出结果”，可导出执行查询后的结果。 在“SQL编辑器”页面，查询语句执行成功后，在“查看结果”页签右侧，单击“导出结果”，可导出执行查询后的结果。 如果查询结果中无数值列，则无法导出查询结果。 确保执行导出作业结果的用户具备该OBS桶的读写权限。 表1
Spark作业相关 完整样例代码和依赖包说明请参考：Python SDK概述。 提交批处理作业 DLI提供执行批处理作业的接口。您可以使用该接口执行批处理作业。示例代码如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
如何合并小文件 使用SQL过程中，生成的小文件过多时，会导致作业执行时间过长，且查询对应表时耗时增大，建议对小文件进行合并。 推荐使用临时表进行数据中转 自读自写在突发异常场景下存在数据丢失的风险 执行SQL： INSERT OVERWRITE TABLE tablename select
在大数据分析的日常工作中，合理分配和管理计算资源，可以提供良好的作业执行环境。 您可以根据作业的计算需求和数据规模分配资源、调整任务执行顺序，调度不同的弹性资源池或队列资源以适应不同的工作负载。待提交作业所需的CUs需小于等于弹性资源池的剩余可用CUs，才可以确保作业任务的正常执行。 本节操作介绍查看弹性资源池计算
传到OBS和加载到DLI服务端资源列表。当相关资源文件已经加载到DLI服务资源列表中，可以使用该参数跳过该步骤。 不携带该参数时，默认会上传和加载命令中的所有资源文件到DLI服务中。 all：跳过所有资源文件的上传和加载 app：跳过Spark应用程序文件的上传和加载 deps：跳过所有依赖文件的上传和加载
1版本停止服务后，正在使用该版本的作业有哪些影响？ 在Spark 3.1.1 EOS时间后创建的队列，在执行作业时不支持选择已经EOS的计算引擎。 历史创建的队列仍然可以使用Spark 2.3.2执行作业，但作业执行过程中出现的错误，不再提供该版本的任何技术服务支持，请您尽快更换至新版本的计算引擎。
cross join 和 theta join。 Join 的顺序没有进行优化，join 会按照 FROM 中所定义的顺序依次执行。请确保 join 所指定的表在顺序执行中不会产生不支持的 cross join （笛卡儿积）以致查询失败。 流查询中可能会因为不同行的输入数量导致计算结果的
cross join 和 theta join。 Join 的顺序没有进行优化，join 会按照 FROM 中所定义的顺序依次执行。请确保 join 所指定的表在顺序执行中不会产生不支持的 cross join （笛卡儿积）以致查询失败。 流查询中可能会因为不同行的输入数量导致计算结果的
enable=true 完成后单击连接，等待右上方的connect变成队列名称，名称前面小圆点变绿后代表连接成功，即可执行相关notebook作业。 图4 Notebook实例完成连接。 单击“Connect”测试连接。 等待实例初始化完成后即可在Notebook执行在线的数据分析操作。通常实例初始化需要2分钟左右。
cross join 和 theta join。 Join 的顺序没有进行优化，join 会按照 FROM 中所定义的顺序依次执行。请确保 join 所指定的表在顺序执行中不会产生不支持的 cross join （笛卡儿积）以致查询失败。 流查询中可能会因为不同行的输入数量导致计算结果的
2版本停止服务后，正在使用该版本的作业有哪些影响？ 在Spark 2.3.2 EOS时间后创建的队列，在执行作业时不支持选择已经EOS的计算引擎。 历史创建的队列仍然可以使用Spark 2.3.2执行作业，但作业执行过程中出现的错误，不再提供该版本的任何技术服务支持，请您尽快更换至新版本的计算引擎。
使用模板提交SQL作业 执行模板操作步骤如下： 在管理控制台左侧，单击“作业模板”>“SQL模板”。 在“SQL模板”页面，勾选相应的模板，单击“操作”列的“执行”，将跳转至“SQL编辑器”页面，并在SQL作业编辑窗口中自动输入对应的SQL语句。 在SQL作业编辑窗口右上方，单击“执行”运行SQ
在“tpchQuery”下找到适合您业务场景的样例模板，单击操作列的“执行”进入SQL编辑器页面。 在SQL编辑器页面右侧的编辑窗口上方，“执行引擎”选择“spark”，“队列”选择“default”，“数据库”选择“default”，单击“执行”。 SQL作业编辑窗口下方“查看结果”页签查看查询结果。
清理多版本数据 功能描述 多版本数据保留周期是在表每次执行insert overwrite或者truncate语句时触发，所以当表的多版本数据在保留周期时间外但是后续该表不会再执行insert overwrite或者truncate语句时，多版本保留周期外的数据不会自动清理。可以
显示绑定到该用户的所有角色。 1 SHOW ROLES; 显示project下的所有角色。 1 SHOW ALL ROLES; 只有管理员才有权限执行show all roles语句。 显示绑定到用户名为user_name1的所有角色。 1 SHOW ROLES user_name1;
clean作业每天至少执行一次，可以2~4小时执行一次。 Hudi的MOR表和COW表都需要保证每天至少1次Clean，MOR表的Clean可以参考2.2.1.6小节和Compaction放在一起异步去执行。COW的Clean可以在写数据时自动判断是否执行。 父主题： Hudi数据表管理操作规范
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
