检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CDM集群与云上服务同区域情况下，同虚拟私有云、同子网、同安全组的不同实例默认网络互通；如果同虚拟私有云但是子网或安全组不同，还需配置路由规则及安全组规则，配置路由规则请参见如何配置路由规则章节，配置安全组规则请参见如何配置安全组规则章节。 此外，您还必须确保该云服务的实例与DataArts Studio工作空间所属
图3 选择连接器类型 连接器类型选择“对象存储服务（OBS）”后，单击“下一步”配置OBS连接参数，如图5所示。 名称：用户自定义连接名称，例如“obslink”。 OBS服务器、端口：配置为OBS实际的地址信息。 访问标识（AK）、密钥（SK）：登录OBS的AK、SK。 您可以通过如下方式获取访问密钥。
单击左侧导航“质量作业”。 单击“新建”，配置质量作业的基本信息，如下图所示。 单击“下一步”，进入规则配置页面。您需要单击规则卡片中的，然后配置规则信息，如下图所示。 单击“下一步”，配置告警信息，如下图所示。 单击“下一步”，配置订阅信息，如下图所示。 单击“下一步”，配置调度信息，如下图所示。
单击左侧导航“业务场景管理”。 单击页面上方的“新建”，输入场景的基本配置参数，如下图所示。 单击“下一步”，输入规则组的配置参数，如下图所示。 单击“下一步”，配置订阅信息，如下图所示。 单击“下一步”，配置调度信息，如下图所示。 单击“提交”，完成作业场景的创建。 在业务场景
否：默认值，不重新执行节点。 说明： 如果作业节点配置了重试，并且配置了超时时间，该节点执行超时后，系统支持再重试。 当节点运行超时导致的失败不会重试时，您可前往“默认项设置”修改此策略。 当“失败重试”配置为“是”才显示“超时重试”。 当前节点失败后，后续节点处理策略 是 节点执行失败后的操作：
节点参考 节点概述 节点数据血缘 CDM Job Data Migration DIS Stream DIS Dump DIS Client Rest Client Import GES MRS Kafka Kafka Client ROMA FDI Job DLI Flink Job
和表名，其中表匹配策略必须包含#{source_table_name}。 DWS参数配置。 其余DWS目的端参数说明请参考下表。 图6 DWS配置项 表7 DWS配置项 配置项 默认值 单位 配置说明 写入模式 UPSERT - UPSERT MODE：批量更新入库模式。 COPY
终端节点Endpoint 获取终端节点 终端节点（Endpoint）即调用API的请求地址，不同服务不同区域的终端节点不同。 数据治理中心的终端节点Endpoint构造规则如下，请您根据业务需要选择对应区域的终端节点。 CDM数据集成接口：cdm.{region_id}.myhuaweicloud
配置增量元数据采集任务 配置、运行采集任务是构建数据资产的前提，下面举例说明如何通过配置采集任务达到灵活采集元数据的目的。 场景一：仅添加新元数据 用户的数据库中新增的数据表，采集任务仅采集新增的表。 例如新增table4的情况下： 采集前的数据表元数据：table1，table2，table3
能越长，请耐心等待。 图6 逻辑表预览 配置目的端参数。 图7 Kafka目的端配置项 目标Topic名称规则。 配置源端MySQL库表与目的端Kafka Topic的映射规则 表6 目标Topic名称规则 同步场景 配置方式 整库 配置源端MySQL库表与目的端Kafka To
消费组。 Kafka源端属性配置 支持设置Kafka的配置项，需要增加 properties. 前缀，作业将自动移除前缀并传入底层Kafka客户端，具体参数可参考Apache Kafka官方文档中的配置说明。 配置目的端参数。 图6 目的端OBS配置 文件存储格式 写入OBS的文
400 图1 配置节点并发数 单击“保存”，完成配置。 查看历史节点并发数 在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。 选择“节点并发数”。 在历史节点并发数界面，选择历史时间段。 单击“确定”。 查看历史节点并发数的时间区间最大为24小时。 父主题： 配置
配置完成SQL语句后，在子作业中配置作业参数。此处仅需要配置参数名，用于主作业ForeachDemo_master中的For Each节点识别子作业参数；参数值无需填写。 图4 配置子作业参数 配置完成后保存作业。 创建For Each节点所在的主作业ForeachDemo_master。 进入DataArts
Kafka源端属性配置 支持设置Kafka的配置项，需要增加 properties. 前缀，作业将自动移除前缀并传入底层Kafka客户端，具体参数可参考 Apache Kafka官方文档 中的配置说明。 配置目的端参数。 图5 Kafka目的端配置项 目标Topic名称规则。 配置源端MySQL库表与目的端Kafka
目标端库名：数据将同步至指定的DWS Schema中。 表匹配策略：默认与源端配置中填写的逻辑表同名。 图8 分库分表场景下源库表和目标匹配策略 DWS参数配置。 其余DWS目的端参数说明请参考下表。 图9 DWS配置项 表7 DWS配置项 配置项 默认值 单位 配置说明 写入模式 UPSERT MODE - UPSERT
是否需要测试Hive JDBC连通。 否 是否使用集群配置 您可以通过使用集群配置，简化Hadoop连接参数配置。 否 集群配置名 仅当“是否使用集群配置”为“是”时，此参数有效。此参数用于选择用户已经创建好的集群配置。 集群配置的创建方法请参见管理集群配置。 hive_01 单击“保存”回到连接管理界面。
和表名，其中表匹配策略必须包含#{source_table_name}。 DWS参数配置。 其余DWS目的端参数说明请参考下表。 图6 DWS配置项 表7 DWS配置项 配置项 默认值 单位 配置说明 写入模式 UPSERT MODE - UPSERT MODE：批量更新入库模式。
账作业”。 单击“新建”，配置对账作业的基本信息，如下图所示。 图1 配置基本信息 单击“下一步”，进入规则配置页面。您需要单击规则卡片中的，然后配置对账规则，如下图所示。 需要分别配置源端和目的端的信息。配置源端连接请参见DWS数据连接参数说明，配置目的端连接请参见DLI数据连接参数说明。
表匹配策略必须包含#{source_table_name}。 Hudi参数配置。 其余Hudi目的端参数说明请参考下表。 图7 Hudi目的端配置项 表6 Hudi目的端配置项 配置项 默认值 单位 配置说明 数据存储路径 - - Hudi自动建表时的warehouse路径，每张
如需了解更多SMN的配置说明，请参见《消息通知服务用户指南》的发布主题消息简介。 表2 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将会再次重试。 失败重试 是 节点执行失败后，是否重新执行节点。 是：重新执行节点，请配置以下参数。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
