检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
客户作业中配置的并发数大于1，CDM会选择分区列进行分区迁移，默认情况：取主键字段，如果没有主键字段取的是从元数据里面的第一个字段作为分区字段。 由于客户作业中设置的并发数是8，程序选择IsDef作为分区字段，但是IsDef的类型是bit，不支持min运算所以会报错。 解决方案 通过
DLI连接参数说明 连接数据湖探索（DLI）服务时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 迁移数据到DLI时，DLI要在OBS的dli-trans*内部临时桶生成数据文件，因此在需要赋予
否 扩大字符字段长度 当选择自动创表时，迁移过程中可将字符类型的字段长度扩大为原来的3倍，再写入到目的表中。如果源端数据库与目的端数据库字符编码不一样，但目的表字符类型字段与源表一样，在迁移数据时，可能会有出现长度不足的错误。 应用场景主要是将有中文内容的字符字段导入到DWS时，需要自动将字符长度放大3倍。
hits”，然后在作业第二步添加转换器，操作步骤如下： 单击添加字段，新增一个字段。 图2 添加字段 在添加的新字段后面，单击添加字段转换器。 图3 添加字段转换器 创建“表达式转换”的转换器，表达式输入“1.0”，然后保存。 图4 配置字段转换器 二进制格式 如果想要在文件系统间按原样复制文
单击“下一步”进入字段映射界面，CDM会自动匹配源和目的字段，如图5所示。 如果字段映射顺序不匹配，可通过拖拽字段调整。 如果选择在目的端自动创建类型，这里还需要配置每个类型的字段类型、字段名称。 CDM支持迁移过程中转换字段内容，详细请参见字段转换。 图5 云搜索服务的字段映射 单击“
单击“下一步”进入字段映射界面，CDM会自动匹配源和目的字段，如图5所示。 如果字段映射顺序不匹配，可通过拖拽字段调整。 如果选择在目的端自动创建类型，这里还需要配置每个类型的字段类型、字段名称。 CDM支持迁移过程中转换字段内容，详细请参见字段转换。 图5 云搜索服务的字段映射 单击“
配置连接参数 OBS连接参数说明 PostgreSQL/SQLServer连接参数说明 数据仓库服务（DWS）连接参数说明 云数据库MySQL/MySQL数据库连接参数说明 Oracle数据库连接参数说明 DLI连接参数说明 Hive连接参数说明 HBase连接参数说明 HDFS连接参数说明
FusionInsight Hive Apache Hive 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 MRS Hive 用户具有MRS Hive连接的表的访问权限时，才能在字段映射时看到表。 MRS Hive连接适用于华为云上的MapReduce服务。MRS
作业中目的连接为DDS连接时，即导入数据到文档数据库服务（DDS）时，目的端作业参数如表1所示。 表1 DDS作为目的端时的作业参数 参数名 说明 取值样例 数据库名称 选择待导入数据的数据库。 ddsdb 集合名称 选择待导入数据的集合，相当于关系数据库的表名。单击输入框后面的按钮可进入表的选择界面，用户也可以直接输入表名称。
数据保护技术 数据存储安全 为了确保您的个人敏感数据（例如用户名、密码、手机号码等）不被未经过认证、授权的实体或者个人获取，CDM对用户数据的存储和传输进行加密保护，以防止个人数据泄露，保证您的个人数据安全。 数据销毁机制 用户删除CDM集群后，存储在集群上的用户个人敏感数据会随之删除。
应用场景 大数据迁移上云 本地数据是指存储在用户自建或者租用的IDC中的数据，或者第三方云环境中的数据，包括关系型数据库、NoSQL数据库、OLAP数据库、文件系统等。 这个场景是用户希望利用云上的计算和存储资源，需要先将本地数据迁移上云。该场景下，需要保证本地网络与云上网络是连通的。
创建连接的时间。 connector-name 是 String 连接器名称，对应的连接参数如下：generic-jdbc-connector：关系数据库连接。obs-connector：OBS连接。hdfs-connector：HDFS连接。hbase-connector：HBase连接、
创建连接的时间。 connector-name 是 String 连接器名称，对应的连接参数如下：generic-jdbc-connector：关系数据库连接。obs-connector：OBS连接。hdfs-connector：HDFS连接。hbase-connector：HBase连接、
CDM是否支持增量迁移？ 解决方案 CDM支持增量数据迁移。 利用定时任务配置和时间宏变量函数等参数，可支持以下场景的增量数据迁移： 文件增量迁移 关系数据库增量迁移 HBase/CloudTable增量迁移 详情请参见增量迁移。 父主题： 功能类
Hive连接适用于MapReduce服务，本最佳实践为您介绍如何创建MRS Hive连接器。 MySQL数据迁移到OBS CDM支持表到OBS的迁移，本最佳实践介绍如何通过CDM将MySQL表数据迁移到OBS中。 参数传递 通过数据开发使用参数传递灵活调度CDM作业 如果CDM作业
种： MRS HBase FusionInsight HBase Apache HBase 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 MRS HBase 连接MRS上的HBase数据源时，相关参数如表1所示。 当
CDM任务检查网络连通性，源端数据库连接问题，测试连通性提示如下问题： “请检查IP、主机名、端口填写是否正确，检查网络安全组和防火墙配置是否正确，参考数据库返回消息进行定位。” 故障分析 查询集群信息，获取公网IP，从CDM集群curl源端数据库的地址，如下所示。 从结果看考虑
目前CDM支持连接的HDFS数据源有以下几种： MRS HDFS FusionInsight HDFS Apache HDFS 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 MRS HDFS 连接MRS上的HDFS数据源时，相关参数如表1所示。 当前暂
28752 / RDS（Postgresql） 4U32G（主备模式） Postgresql 13.12 128865 1351351（并发度：30） 表2 写入性能实测数据 数据源 数据源规格 版本 单并发写入速率 （行/s） 多并发写入速率 （行/s） 云数据库 MySQL 8U 32G
Data Migration，以下简称CDM）的基础使用方法，通过CDM迁移RDS for MySQL数据到数据仓库服务DWS的具体操作，帮助您了解、熟悉CDM服务，具体场景如图1所示。 图1 MySQL迁移到DWS CDM的基本使用流程如下： 创建CDM集群 创建连接 创建并执行作业
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
