检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
略选择：允许，协议选择：TCP，端口值不填，类型：IPv4，源地址为：10.0.0.0/16，单击“确定”完成安全组规则添加。 Kafka和DWS实例属于同一VPC和子网下？ 是，执行7。Kafka和DWS实例在同一VPC和子网，不用再重复创建增强型跨源连接。 否，执行5。Kaf
问题现象 使用DLI插入数据到OBS临时表文件，数据量有差异。 根因分析 出现该问题可能原因如下： 作业执行过程中，读取数据量错误。 验证数据量的方式不正确。 通常在执行插入数据操作后，如需确认插入数据量是否正确，建议通过查询语句进行查询。 如果OBS对存入的文件数量有要求，可
opensource sql作业，输入以下作业运行脚本，提交运行作业。 注意：创建作业时，在作业编辑界面的“运行参数”处，“Flink版本”选择“1.12”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。如下脚本中的加粗参数请根据实际环境修改。 CREATE
清理多版本数据 功能描述 多版本数据保留周期是在表每次执行insert overwrite或者truncate语句时触发，所以当表的多版本数据在保留周期时间外但是后续该表不会再执行insert overwrite或者truncate语句时，多版本保留周期外的数据不会自动清理。可以
通常在Spark作业执行注册viewManager时，会校验该数据库在metastore是否存在，如果该数据库存在则会导致Spark作业执行失败。 因此当Spark3.x的作业日志中如果出现一条访问catalog查询该数据库，并提示数据库不存在是为了确保Spark作业正常运行，无需执行其他操作。
已参考初始化DLI客户端完成客户端DLIClient的初始化，参考队列相关完成队列创建等操作。 提交批处理作业 DLI提供执行批处理作业的接口。您可以使用该接口执行批处理作业。示例代码如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
该场景作业需要运行在DLI的独享队列上，因此要与HBase建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。 如果使用MRS Doris，
Hudi表模型设计规范 规则 Hudi表必须设置合理的主键。 Hudi表提供了数据更新和幂等写入能力，该能力要求Hudi表必须设置主键，主键设置不合理会导致数据重复。主键可以为单一主键也可以为复合主键，两种主键类型均要求主键不能有null值和空值，可以参考以下示例设置主键： SparkSQL： //
在提交导入作业前，可选择设置导入数据的格式，如样例所示，调用ImportJob对象的setStorageType接口设置数据存储类型为csv，数据的具体格式通过调用ImportJob对象的setCsvFormatInfo接口进行设置。 在提交导入作业前，可选择设置导入数据的分区并配置
Compaction是MOR表非常重要且必须执行的维护手段，对于实时任务来说，要求Compaction执行合并的过程必须和实时任务解耦，通过周期调度Spark任务来完成异步Compaction，这个方案的关键之处在于如何合理的设置这个周期，周期如果太短意味着Spark任务可能会
策略选择：允许，协议选择：TCP，端口值不填，类型：IPv4，源地址为：10.0.0.0/16，单击“确定”完成安全组规则添加。 RDS和DWS实例属于同一VPC和子网下？ 是，执行7。RDS和DWS实例在同一VPC和子网，不用再重复创建增强型跨源连接。 否，执行5。RDS和D
策略选择：允许，协议选择：TCP，端口值不填，类型：IPv4，源地址为：10.0.0.0/16，单击“确定”完成安全组规则添加。 RDS和DWS实例属于同一VPC和子网下？ 是，执行7。RDS和DWS实例在同一VPC和子网，不用再重复创建增强型跨源连接。 否，执行5。RDS和D
略选择：允许，协议选择：TCP，端口值不填，类型：IPv4，源地址为：10.0.0.0/16，单击“确定”完成安全组规则添加。 Kafka和RDS实例属于同一VPC和子网下？ 是，执行7。Kafka和RDS实例在同一VPC和子网，不用再重复创建增强型跨源连接。 否，执行5。Kaf
写入数据时，每一批次写入数据的记录数，默认值1000。设置越大性能越好，但占用内存越多，该值设置过大会有内存溢出的风险。 truncate 执行overwrite时是否不删除原表，直接执行清空表操作，取值范围： true false 默认为“false”，即在执行overwrite操作时，先将原表删除再重新建表。
OpenSource作业，创建flink opensource sql作业，输入以下作业脚本，提交运行作业。该作业脚本将Kafka为数据源，Redis作为维表，数据写入到Kafka结果表中。 如下脚本中的加粗参数请根据实际环境修改。 CREATE TABLE orders ( order_id
opensource sql作业，输入以下作业脚本，提交运行作业。该作业脚本将Kafka为数据源，Redis作为维表，数据写入到Kafka结果表中。 注意：创建作业时，在作业编辑界面的“运行参数”处，“Flink版本”选择“1.12”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续
在“tpchQuery”下找到适合您业务场景的样例模板，单击操作列的“执行”进入SQL编辑器页面。 在SQL编辑器页面右侧的编辑窗口上方，“执行引擎”选择“spark”，“队列”选择“default”，“数据库”选择“default”，单击“执行”。 SQL作业编辑窗口下方“查看结果”页签查看查询结果。
头查看在指定数据保留期之前创建的版本。确认清理可在console页面设置中添加参数spark.databricks.delta.retentionDurationCheck.enabled值为false。 执行rename/drop column报错DLI.0005: DeltaAnalysisException:
优先级可选范围为1-100，默认值为1，即最高优先级。优先级数字越小，规则优先级级别越高。 1 策略 安全组规则策略。 允许 协议端口 网络协议。目前支持“All”、“TCP”、“UDP”、“ICMP”和“GRE”等协议。 端口：允许远端地址访问指定端口，取值范围为：1～65535。 本例中选择TCP协议，端口值不填
里保持默认值“否”即可，不记录脏数据。 图7 任务配置 单击“保存并运行”，CDM立即开始执行作业。 图8 作业执行 步骤5：查看数据迁移结果 作业完成后，可以查看作业执行结果及最近90天内的历史信息，包括写入行数、读取行数、写入字节、写入文件数和日志等信息。 在CDM查看迁移作业运行情况
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
