检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Elasticsearch连接适用于第三方云的Elasticsearch服务，以及用户在本地数据中心或ECS上自建的Elasticsearch。 Elasticsearch连接器仅支持非安全模式的Elasticsearch集群。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。
连接的参数配置完成后单击“测试”，可测试连接是否可用。或者直接单击“保存”，保存时也会先检查连接是否可用。 受网络和数据源的影响，部分连接测试的时间可能需要30～60秒。 管理连接 CDM支持对已创建的连接进行以下操作： 删除：支持删除未被任何作业使用的连接，也支持批量删除连接。
FTP/SFTP连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 ftp_link 主机名或IP FTP或SFTP服务器的IP地址或者主机名。 ftp.apache.org 端口 FTP或SFTP服务器的端口，FTP默认值为21；SFTP默认值为22。
连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 mrs_hbase_link Manager IP MRS Manager的浮动IP地址，可以单击输入框后的“选择”来选定已创建的MRS集群，CDM会自动填充下面的鉴权参数。 说明： 当前DataArts Studio不支持对
CDM集群对应的ECS主机（通过集群IP查找对应的ECS主机）中的“/etc/hosts”文件，为其添加Broker连接地址的自映射，以便客户端能够快速解析实例的Broker。例如Kafka Broker地址配置为10.154.48.120时，hosts文件中的自映射配置为： 10
CDM迁移性能如何？ 单个cdm.large规格实例理论上可以支持1TB～8TB/天的数据迁移，实际传输速率受公网带宽、集群规格、文件读写速度、作业并发数设置、磁盘读写性能等因素影响。更多详情请参见性能白皮书。 父主题： 通用类
300以上版本不支持Cassandra。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 Cassandra连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 mongodb_link
配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”，可获取用户的MySQL数据库实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 3306 数据库名称 配置为要连接的数据库名称。 dbname 用户名 待连接数据库的用户。该数据库用户需要有数据表的读写权限，以及对元数据的读取权限。
MongoDB连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 mongodb_link 服务器列表 MongoDB服务器地址列表，输入格式为“数据库服务器域名或IP地址：端口”。多个服务器列表间以“;”分隔。 192.168
作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 Hudi连接参数 参数名 说明 取值样例 名称 连接名称。 Hudilink Manager IP MRS Manager的浮动IP地址，可以单击输入框后的“选择”来选定已创建的MRS集群，CDM会自动填充下面的鉴权参数。
可选参数，连接引用表名或列名时的分隔符号，参考对应数据库的产品文档进行配置。 ` 驱动版本 上传所需的驱动版本。 - 单次请求行数 可选参数，单击“显示高级属性”后显示。 指定每次请求获取的行数，根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。 1000 单次提交行数
待连接数据库的用户。该数据库用户需要有数据表的读写权限，以及对元数据的读取权限。 cdm 密码 用户名密码。 - SSL加密 可选参数，支持通过SSL加密方式连接数据库，暂不支持自建的数据库。 否 引用符号 可选参数，连接引用表名或列名时的分隔符号，参考对应数据库的产品文档进行配置。
Manager的IP地址，可以单击输入框后的“选择”来选定已创建的MRS集群，CDM会自动填充下面的鉴权参数。 用户名：选择KERBEROS鉴权时，需要配置MRS Manager的用户名和密码。 从HDFS导出目录时，如果需要创建快照，这里配置的用户需要HDFS系统的管理员权限。 密码：访问MRS
Manager的IP地址，可以单击输入框后的“选择”来选定已创建的MRS集群，CDM会自动填充下面的鉴权参数。 用户名：选择KERBEROS鉴权时，需要配置MRS Manager的用户名和密码。 从HDFS导出目录时，如果需要创建快照，这里配置的用户需要HDFS系统的管理员权限。 密码：访问MRS
初步怀疑是源端和目标端在字段类型转换出现异常。 将目标端表字段类型biginit改为 string，重新跑作业还是失败，报错内容跟之前一样。 配置开启脏数据，重跑作业后作业依旧失败，但是有3条数据已迁移到目标表。 通过对比迁移失败的数据记录和成功的距离，怀疑是类型为boolean的字段导致的。 解决方案
配置字段转换器，将日期字段的格式转换为云搜索服务的目的端格式。 解决方案 编辑作业，进入作业的字段映射步骤，在源端的时间格式字段后面，选择新建转换器，如图3所示。 图3 新建转换器 转换器类型选择“表达式转换”，目前表达式转换支持字符串和日期类型的函数，语法和Java的字符串和时
多个数据段联合做主键的场景，建议设置所有主键作为分布列。 在没有主键的场景下，如果没有选择分布列，DWS会默认第一列作为分布列，可能会有数据倾斜风险。 CDM支持字段内容转换，如果需要可单击操作列下，进入转换器列表界面，再单击“新建转换器”。 图4 新建转换器 CDM支持以下转换器： 脱敏：隐藏字符串中的关键数据。
配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”，可获取用户的实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 1688 数据库名称 配置为要连接的数据库名称。 dbname 用户名 待连接数据库的用户。该数据库用户需要有数据表的读写权限，以及对元数据的读取权限。 cdm
自动建表原理介绍 CDM将根据源端的字段类型进行默认规则转换成目的端字段类型，并在目的端建数据表。 自动建表时的字段类型映射 CDM在数据仓库服务（Data Warehouse Service，简称DWS）中自动建表时，DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM
删除已存在的记录。 关键配置：文件/路径过滤器+定时执行作业。 前提条件：源端目录或文件名带有时间字段。 增量导出指定时间以后的文件 适用场景：源端数据源为文件类型（OBS/HDFS/FTP/SFTP）。这里的指定时间，是指文件的修改时间，当文件的修改时间大于等于指定的起始时间，CDM才迁移该文件。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
