检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
修改弹性资源池的主机信息 操作场景 主机信息用于配置主机的IP与域名的映射关系，在作业配置时只需使用配置的域名即可访问对应的主机。在跨源连接创建完成后，支持修改主机信息。 常见的访问MRS的HBase集群时需要配置实例的主机名（即域名）与主机对应的IP地址。 约束限制 已获取MRS主机信息。请参考怎样获取MRS主机信息
清理多版本数据 功能描述 多版本数据保留周期是在表每次执行insert overwrite或者truncate语句时触发，所以当表的多版本数据在保留周期时间外但是后续该表不会再执行insert overwrite或者truncate语句时，多版本保留周期外的数据不会自动清理。可以
r，使得join快速完成。但同时该操作会增加executor的内存消耗，如果executor内存不够时，导致作业运行失败。 解决措施 排查执行的SQL中是否有使用“/*+ BROADCAST(u) */”强制做broadcastjoin。如果有，则需要去掉该标识。 设置spark
clean作业每天至少执行一次，可以2~4小时执行一次。 Hudi的MOR表和COW表都需要保证每天至少1次Clean，MOR表的Clean可以参考2.2.1.6小节和Compaction放在一起异步去执行。COW的Clean可以在写数据时自动判断是否执行。 父主题： Hudi数据表管理操作规范
实时任务接入 实时作业一般由Flink Sql或Sparkstreaming来完成，流式实时任务通常配置同步生成compaction计划，异步执行计划。 Flink SQL作业中sink端Hudi表相关配置如下： create table hudi_sink_table ( //
数，例如，non-active为508，说明当前有大量的空闲连接。 解决方案 出现该问题时建议通过以下操作步骤解决。 登录DWS命令执行窗口，执行以下SQL命令，临时将所有non-active的连接释放掉。 SELECT PG_TERMINATE_BACKEND(pid) from
'obs://bucket/path/hudi_table'; 等待下方执行历史显示作业执行成功，代表建表成功，此时创建了一张Hudi的COW分区表。 可以执行 SHOW TABLES 检查建表是否成功： SHOW TABLES; 执行SQL写入刚才创建的Hudi表： INSERT INTO hudi_table
长期混用不同版本的Flink引擎会导致代码在新旧版本之间不兼容，影响作业的执行效率。 当作业依赖于特定版本的库或组件，长期混用不同版本的Flink引擎可能会导致作业因依赖冲突而执行失败。 委托 使用Flink 1.15版本执行作业时，按需配置自定义委托用于授予DLI访问其他服务的操作权限。
对于批量初始化后需要接Flink或Spark流作业实时写入的场景，一般建议通过对上有消息进行过滤，从一个指定的时间范围开始消费来控制数据的重复接入量（例如Spark初始化完成后，Flink消费Kafka时过滤掉2小时之前的数据），如果无法对kafka消息进行过滤，则可以考虑先实时接入生成offset，再truncate
字符码不一致导致数据乱码怎么办？ 在DLI执行作业时，为了避免因字符编码不一致导致的乱码问题，建议您统一数据源的编码格式。 DLI服务只支持UTF-8文本格式，因此在执行创建表和导入操作时，用户的数据需要以UTF-8编码。 在将数据导入DLI之前，确保源数据文件（如CSV、JSO
CLUSTERING 命令功能 对Hudi表进行clustering操作，具体作用可以参考Hudi Clustering操作说明章节。 命令格式 执行clustering： call run_clustering(table=>'[table]', path=>'[path]', pre
要的老版本数据文件 (parquet文件或者log文件)，减轻存储压力，提升list操作效率。 如何执行Clean 写完数据后clean Spark SQL（设置如下参数，随后执行任意写入SQL时，在满足条件时触发） hoodie.clean.automatic=true hoodie
LI的“SQL队列”。 解决方案 登录DLI管理控制台，选择“队列管理”，在队列管理界面查看是否有“SQL队列”类型的队列。 是，执行3。 否，执行2购买“SQL队列”类型的队列。 选择“资源管理 > 弹性资源池”，选择已购买的弹性资源池，单击操作列的“添加队列”，其中队列类型选
您可以在左侧的数据库导航面板中选择数据库对象，然后在中间的查询编辑器中编写SQL语句。 编写完查询后，可以单击工具栏上的“运行”按钮（通常是一个绿色的播放图标）来执行查询。 查询执行后，结果将显示在查询编辑器下方的数据网格中。 图5 在DBeaver编写SQL查询 父主题： 使用BI工具连接DLI分析数据
JAVA_HOME=/usr/local/jdk-1.8.0_261 export PATH=$PATH:$JAVA_HOME/bin 执行以下命令应用环境变量。 source ~/.bashrc 执行命令java -version，检查是否安装成功，如下显示版本号信息说明java环境安装成功。 java version
算子运行结束时间。 查看Flink作业执行计划 用户通过查看执行计划了解到运行中的作业的算子流向。 在DLI管理控制台的左侧导航栏中，单击“作业管理”>“Flink作业”，进入Flink作业管理页面。 单击需要查看的作业名称，进入“作业详情”页面。 单击“执行计划”，在“执行计划”页签可以查看作业的算子流向。
登录登录DLI管理控制台，创建SQL队列和数据库。 登录DLI管理控制台，单击“SQL编辑器”，执行引擎选择“spark”，选择已创建的SQL队列和数据库。 在SQL编辑区域输入下列命令创建UDAF函数，单击“执行”提交创建。 如果该客户开启了自定义函数热加载功能，注册语句会发生变化。 详情可参考注册函数。 CREATE
Spark 2.4.5。 表1 Spark 2.4.5版本优势 特性 说明 支持配置小文件合并 使用SQL过程中，生成的小文件过多时，会导致作业执行时间过长，且查询对应表时耗时增大，建议对小文件进行合并。 参考如何合并小文件完成合并小文件。 支持修改非分区表或分区表的列注释 修改非分区表或分区表的列注释。
编辑DLI SQL节点属性 属性编辑完成后，单击“保存”，保存属性配置信息。 将这两个节点编排成一个pipeline。DataArt会按照编排好的pipeline顺序执行各个节点。然后单击左上角 “保存” 和 “提交”。 步骤5：测试作业运行 作业编排完成后，单击“测试运行”，测试运行作业。
怎样查看DLI的数据扫描量？ 登录DLI管理控制台。 选择“作业管理 > SQL作业”。 筛选执行队列为default队列，查看相应的作业。 单击展开作业，查看已扫描的数据。如图1所示。 图1 查看作业扫描量 父主题： 计费相关问题
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
