检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
now()}”用来标识当前日期字符串。 新建转换器 CDM支持字段内容转换，如果需要可单击操作列下，进入转换器列表界面，再单击“新建转换器”。 图2 新建转换器 CDM可以在迁移过程中对字段进行转换，目前支持以下字段转换器： 脱敏 隐藏字符串中的关键信息，例如要将“12345678910”转换为“123****8910”，则配置如下：
段。由于没有源表字段直接对应，需要配置表达式从源表的StartDate字段抽取。 图7 Hive字段映射 单击进入转换器列表界面，再选择“新建转换器 > 表达式转换”，如图8所示。 y、ym、ymd字段的表达式分别配置如下： DateUtils.format(DateUtils.parseDate(row[2]
段。由于没有源表字段直接对应，需要配置表达式从源表的StartDate字段抽取。 图7 Hive字段映射 单击进入转换器列表界面，再选择“新建转换器 > 表达式转换”，如图8所示。 y、ym、ymd字段的表达式分别配置如下： DateUtils.format(DateUtils.parseDate(row[2]
期格式。需要通过CDM配置字段转换器，将日期字段的格式转换为云搜索服务的目的端格式。 解决方案 编辑作业，进入作业的字段映射步骤，在源端的时间格式字段后面，选择新建转换器，如图3所示。 图3 新建转换器 转换器类型选择“表达式转换”，目前表达式转换支持字符串和日期类型的函数，语法
登录统一身份认证服务IAM控制台。 在左侧导航窗格中，选择“权限管理>权限”页签，单击右上方的“创建自定义策略”。 图1 创建自定义策略 在自定义策略配置页面，策略配置方式切换至JSON视图，然后按照如下策略内容，创建obs_dli-trans自定义策略。 { "Version": "1.1", "Statement":
导入数据到CSS推荐使用Logstash，请参见使用Logstash导入数据到Elasticsearch。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 连接云搜索服务(CSS)时，相关参数如表1所示。 表1 云搜索服务(CSS)连接参数
时间宏变量使用解析 事务模式迁移 迁移文件时加解密 MD5校验文件一致性 字段转换器配置指导 新增字段操作指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍 不支持数据类型转换规避指导 自动建表原理介绍
（cn-north-1）中设置相关权限，并且该权限仅对此项目生效。如果需要所有区域都生效，则需要在所有项目都设置权限。访问CDM时，需要先切换至授权区域。 权限根据授权精细程度分为角色和策略。 角色：IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为粒
自动建表原理介绍 CDM将根据源端的字段类型进行默认规则转换成目的端字段类型，并在目的端建数据表。 自动建表时的字段类型映射 CDM在数据仓库服务（Data Warehouse Service，简称DWS）中自动建表时，DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM
6.0版本的CDM集群作业可以迁移成功，2.8.6版本的集群迁移失败。报错作业日志如下图所示。 原因分析 初步怀疑是源端和目标端在字段类型转换出现异常。 将目标端表字段类型biginit改为 string，重新跑作业还是失败，报错内容跟之前一样。 配置开启脏数据，重跑作业后作业依旧失败，但是有3条数据已迁移到目标表。
列，可能会有数据倾斜风险。 CDM支持字段内容转换，如果需要可单击操作列下，进入转换器列表界面，再单击“新建转换器”。 图4 新建转换器 CDM支持以下转换器： 脱敏：隐藏字符串中的关键数据。 例如要将“12345678910”转换为“123****8910”，则参数配置如下： “起始保留长度”为“3”。
移。 事务模式迁移 支持当CDM作业执行失败时，将数据回滚到作业开始之前的状态，自动清理目的表中的数据。 字段转换 支持去隐私、字符串操作、日期操作等常用字段的数据转换功能。 文件加密 在迁移文件到文件系统时，CDM支持对写入云端的文件进行加密。 MD5校验一致性 支持使用MD5
进阶实践 增量迁移原理介绍 时间宏变量使用解析 事务模式迁移 迁移文件时加解密 MD5校验文件一致性 字段转换器配置指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍
在没有主键的场景下，如果没有选择分布列，DWS会默认第一列作为分布列，可能会有数据倾斜风险。 如CDM不支持源端迁移字段类型，请参见不支持数据类型转换规避指导将字段类型转换为CDM支持的类型。 父主题： 关键操作指导
在没有主键的场景下，如果没有选择分布列，DWS会默认第一列作为分布列，可能会有数据倾斜风险。 如果需要转换源端字段内容，可在该步骤配置，详细请参见字段转换，这里选择不进行字段转换。 图2 字段映射 单击“下一步”配置任务参数，一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能：
使CDM集群与云服务间的网络互通。 VPC、子网、安全组的详细操作，请参见《虚拟私有云用户指南》。 说明： 目前CDM实例创建完成后不支持切换VPC、子网、安全组，请谨慎选择。 此处支持选择共享VPC子网，即由VPC的所有者将VPC内的子网共享给当前账号，由当前账号在购买CDM集
密钥加密：用户在CDM上创建连接输入的各种数据源的密钥，CDM均采用高强度加密算法保存在CDM数据库。 无中间存储：数据在迁移的过程中，CDM只处理数据映射和转换，而不会存储任何用户数据或片段。 父主题： 通用类
各折扣套餐包在不同规格下的具体价格，请参见产品价格详情。 变更配置 在开通CDM时有4种集群规格供您选择，您可根据业务需要选择合适的实例规格。 当集群创建成功后，无法对集群进行规格变更，不过您可以通过删除集群后重建集群，实现变更。 续费 资源包到期后，您可以进行续费以延长资源包的有效期，也可以设置到期自动续费。
功能类 是否支持增量迁移？ 是否支持字段转换？ Hadoop类型的数据源进行数据迁移时，建议使用的组件版本有哪些？ 数据源为Hive时支持哪些数据格式？ 是否支持同步作业到其他集群？ 是否支持批量创建作业？ 是否支持批量调度作业？ 如何备份CDM作业？ 如何解决HANA集群只有部分节点和CDM集群网络互通？
hits”，然后在作业第二步添加转换器，操作步骤如下： 单击添加字段，新增一个字段。 图2 添加字段 在添加的新字段后面，单击添加字段转换器。 图3 添加字段转换器 创建“表达式转换”的转换器，表达式输入“1.0”，然后保存。 图4 配置字段转换器 二进制格式 如果想要在文件系统
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
