检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
移。 事务模式迁移 支持当CDM作业执行失败时，将数据回滚到作业开始之前的状态，自动清理目的表中的数据。 字段转换 支持去隐私、字符串操作、日期操作等常用字段的数据转换功能。 文件加密 在迁移文件到文件系统时，CDM支持对写入云端的文件进行加密。 MD5校验一致性 支持使用MD5
在没有主键的场景下，如果没有选择分布列，DWS会默认第一列作为分布列，可能会有数据倾斜风险。 如CDM不支持源端迁移字段类型，请参见不支持数据类型转换规避指导将字段类型转换为CDM支持的类型。 父主题： 关键操作指导
6.0版本的CDM集群作业可以迁移成功，2.8.6版本的集群迁移失败。报错作业日志如下图所示。 原因分析 初步怀疑是源端和目标端在字段类型转换出现异常。 将目标端表字段类型biginit改为 string，重新跑作业还是失败，报错内容跟之前一样。 配置开启脏数据，重跑作业后作业依旧失败，但是有3条数据已迁移到目标表。
SAP HANA连接参数说明 连接SAP HANA时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 SAP HANA连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。
在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 在本地数据中心和云服务VPC之间建立VPN通道。 通过NAT（网络地址转换，Network Address Translation）或端口转发，以代理的方式访问。 这里重点介绍如何通过端口转发工具来实现访问内部数据，流程如下：
托管的在线分布式搜索服务，CSS连接适用于将各类日志文件、数据库记录迁移到CSS，Elasticsearch引擎进行搜索和分析的场景。 导入数据到CSS推荐使用Logstash，请参见使用Logstash导入数据到Elasticsearch。 作业运行中禁止修改密码或者更换用户。
密钥加密：用户在CDM上创建连接输入的各种数据源的密钥，CDM均采用高强度加密算法保存在CDM数据库。 无中间存储：数据在迁移的过程中，CDM只处理数据映射和转换，而不会存储任何用户数据或片段。 父主题： 通用类
功能类 是否支持增量迁移？ 是否支持字段转换？ Hadoop类型的数据源进行数据迁移时，建议使用的组件版本有哪些？ 数据源为Hive时支持哪些数据格式？ 是否支持同步作业到其他集群？ 是否支持批量创建作业？ 是否支持批量调度作业？ 如何备份CDM作业？ 如何解决HANA集群只有部分节点和CDM集群网络互通？
迁移Mysql到DWS报错“Lost connection to MySQL server during query”怎么处理？ 迁移MySql到DLI字段类型转换报错For input string："false"怎么处理？ 迁移MySql到DWS，TINYINT类型迁移报错 数据迁移前后数据量不一致是什么问题？
时间宏变量使用解析 事务模式迁移 迁移文件时加解密 MD5校验文件一致性 字段转换器配置指导 新增字段操作指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍 不支持数据类型转换规避指导 自动建表原理介绍
然后再重新创建该表。 说明： 自动建表只同步列注释，表注释不会被同步。 自动建表不支持同步主键。 不自动创建 源端null值转换值 将源端null值转换为其他值。 TO_NULL TO_EMPTY_STRRING TO_NULL_STRING TO_NULL 导入前清空数据 选择目的端表中数据的处理方式。
动匹配源和目的字段。 如果字段映射顺序不匹配，可通过拖拽字段调整。 CDM的表达式已经预置常用字符串、日期、数值等类型的字段内容转换，详细请参见字段转换。 单击“下一步”配置任务参数，一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能： 作业失败重试：如果作业执行失败，
动匹配源和目的字段。 如果字段映射顺序不匹配，可通过拖拽字段调整。 CDM的表达式已经预置常用字符串、日期、数值等类型的字段内容转换，详细请参见字段转换。 单击“下一步”配置任务参数，一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能： 作业失败重试：如果作业执行失败，
如果字段映射顺序不匹配，可通过拖拽字段调整。 如果选择在目的端自动创建类型，这里还需要配置每个类型的字段类型、字段名称。 CDM支持迁移过程中转换字段内容，详细请参见字段转换。 图5 云搜索服务的字段映射 单击“下一步”配置任务参数，一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能：
如果字段映射顺序不匹配，可通过拖拽字段调整。 如果选择在目的端自动创建类型，这里还需要配置每个类型的字段类型、字段名称。 CDM支持迁移过程中转换字段内容，详细请参见字段转换。 图5 云搜索服务的字段映射 单击“下一步”配置任务参数，一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能：
Redis连接不支持SSL加密的Redis数据源。 连接本地Redis数据库时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 Redis连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的
需要先在kibana中创建管道ID，这里才可以选择，该参数用于数据传到云搜索服务/Elasticsearch后，通过Elasticsearch的数据转换pipeline进行数据格式变换。 toJobConfig.createIndexStrategy 否 枚举 对于持续写入数据到Elast
的字段，如图5所示。 如果字段映射顺序不匹配，可通过拖拽字段调整。 CDM的表达式已经预置常用字符串、日期、数值等类型的字段内容转换，详细请参见字段转换。 图5 表到表的字段映射 单击“下一步”配置任务参数，一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能： 作业失败
的字段，如图5所示。 如果字段映射顺序不匹配，可通过拖拽字段调整。 CDM的表达式已经预置常用字符串、日期、数值等类型的字段内容转换，详细请参见字段转换。 图5 表到表的字段映射 单击“下一步”配置任务参数，一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能： 作业失败
进阶实践 增量迁移原理介绍 时间宏变量使用解析 事务模式迁移 迁移文件时加解密 MD5校验文件一致性 字段转换器配置指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
