检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
C内的子网共享给当前账号，由当前账号在购买DataArts Studio时选择共享VPC子网。通过共享VPC子网功能，可以简化网络配置，帮助您统一配置和运维多个账号下的资源，有助于提升资源的管控效率，降低运维成本。如何共享VPC子网，请参考《共享VPC》。 子网 subnet-1
写入数据的目标表名，单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据，详细说明请参见使用时间宏变量完成增量同步。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移
配置Redis目的端参数 表1 Redis作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 redis键前缀 对应关系数据库的表名。 TABLENAME 值存储类型 存储类型分STRING、hash、list、set和zset。 STRING 写入前将相同的键删除
Broker连接地址视做域名不断进行解析，导致性能消耗。建议修改CDM集群对应的ECS主机（通过集群IP查找对应的ECS主机）中的“/etc/hosts”文件，为其添加Broker连接地址的自映射，以便客户端能够快速解析实例的Broker。例如Kafka Broker地址配置为10.154
STANDALONE 是否使用集群配置 用户可以在“连接管理”处创建集群配置，用于简化Hadoop连接参数配置。 否 集群配置名 仅当“是否使用集群配置”为“是”时，此参数有效。此参数用于选择用户已经创建好的集群配置。 集群配置的创建方法请参见管理集群配置。 hbase_01 单击“显
adb_link 连接器 默认为关系数据库，不可更改。 - 数据库服务器 配置为要连接的数据库的IP地址或域名，多个值以;分隔。 192.168.0.1;192.168.0.2 端口 配置为要连接的数据库的端口。 3306 数据库名称 配置为要连接的数据库名称。 dbname 用户名 待连接数据库的用户。
ClickHouse > 实例”，配置ClickHouseBalancer的默认端口，非安全模式MRS集群配置“lb_http_port”参数对应的端口，安全模式MRS集群配置“lb_https_port”参数对应的端口。 如果MRS ClickHouse是安全集群，则需配置为https默认端口。
于记忆、区分的连接名。 st_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”，可获取用户的数据库实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 3306 数据库名称 配置为要连接的数据库名称。 dbname 用户名
问控制页面。 图1 进入行级访问控制页面 单击“新建”，进入新建行级访问控制策略页面，参数配置参考表1。 图2 新建行级访问控制策略参数配置 创建行级访问控制策略参数配置说明： 表1 配置策略参数 参数名 参数说明 *策略名称 行级访问控制策略的标识，同一个数据表上不能有同名的行访问控制策略。
作为key，通过配置@{column1}--@{column2}。 例如：目的端字段为id、name，需要使用这两个字段值，则配置成@{id}--@{name}。 schema：该参数会显示在写入的数据的消息体中，此处配置该参数时后续显示为设置的参数；如果没有配置，默认使用原表的schema值。
“数据格式”选择为“CSV格式”时配置。默认为空格，使用Tab键作为分隔符请输入“\t”。 , 记录分隔符 “数据格式”选择为“CSV格式”、“JSON”时配置。默认为空格，使用Tab键作为分隔符请输入“\t”。 , 高级参数 使用配置文件 “数据格式”选择为“CDC场景”时配置，用于配置OBS文件。
/bucket/dir”。 obs://bucket/dir/test.txt 属性配置 需要集成的表名，多个表名使用英文逗号“,”分开，请务必配置，不要有空格，默认无需配置。 - 父主题： 配置连接参数
配置MRS ClickHouse源端参数 作业中源连接为MRS ClickHouse连接时，源端作业参数如表1所示。 表1 MRS ClickHouse作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源连接名称 选择已配置的MRS ClickHouse连接。 ck_from_cdm
清除全部数据：写入数据前会清除目标表中数据。 清除部分数据：需要配置“where条件”参数，CDM根据条件选择性删除目标表的数据。 清除部分数据 where条件 “导入开始前”参数选择为“清除部分数据”时配置，配置后导入前根据where条件删除目的表的数据。 age > 18 and
目标端库名：数据将同步至指定的Hudi库中。 表匹配策略：默认与源端配置中填写的逻辑表同名。 图9 分库分表场景下源库表和目标匹配策略 Hudi参数配置。 其余Hudi目的端参数说明请参考表7。 图10 Hudi目的端配置项 表7 Hudi目的端配置项 配置项 默认值 单位 配置说明 数据存储路径 - - Hud
创建CDM作业的节点属性 配置“运行作业”节点。 创建CDM作业的节点配置完后，还需要在后面添加运行CDM作业的REST节点，具体请参见《云数据迁移API参考》中的“启动作业”章节。配置RestAPI节点的属性如下 ： 节点名称：运行作业。 URL地址：其中project_id、cluster_id和2
集群，请参考创建CDM集群进行创建。 数据集成配置 测试地址 是 测试连通性地址，返回200则视为连接认证成功。 例如：/test 测试请求方法 是 测试请求方法，GET/POST。 例如：GET 高级属性 否 高级属性配置，常用配置如下： maxTotal：连接池最大值，默认200。
清除全部数据：写入数据前会清除目标表中数据。 清除部分数据：需要配置“where条件”参数，CDM根据条件选择性删除目标表的数据。 清除部分数据 where条件 “导入开始前”参数选择为“清除部分数据”时配置，配置后导入前根据where条件删除目的表的数据。 age > 18 and
配置HBase 目的端参数 表1 Hbase作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 表名 写入数据的目标表名，单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实
消费组。 Kafka源端属性配置 支持设置Kafka的配置项，需要增加 properties. 前缀，作业将自动移除前缀并传入底层Kafka客户端，具体参数可参考Apache Kafka官方文档中的配置说明。 配置目的端参数。 图6 目的端OBS配置 文件存储格式 写入OBS的文
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
