检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
integer”。 故障分析 根据问题现象，目的端类型不支持值为“-1”插入，检查目的端字段映射，排查映射问题。 根据上一步字段映射情况判断，进一步排查建表语句。 根据以上截图分析，INT1就是DWS字段类型TINYINT的别名，确认字段映射是对的，没有问题。进一步确认DWS TINY
段映射关系和时间格式是否正确，例如：源字段类型是否可以转换为目的字段类型。 您可以单击字段映射界面的选择“添加新字段”自定义新增字段，通常用于标记数据库来源，以确保导入到目的端数据的完整性。 图1 字段映射 目前支持以下类型自定义字段： 常量 常量参数即参数值是固定的参数，不需要
事务模式迁移 CDM的事务模式迁移，是指当CDM作业执行失败时，将数据回滚到作业开始之前的状态，自动清理目的表中的数据。 参数位置：创建表/文件迁移的作业时，如果目的端为关系型数据库，在目的端作业配置的高级属性中，可以通过“先导入阶段表”参数选择是否启用事务模式。 参数原理：如果
事务模式迁移 CDM的事务模式迁移，是指当CDM作业执行失败时，将数据回滚到作业开始之前的状态，自动清理目的表中的数据。 参数位置：创建表/文件迁移的作业时，如果目的端为关系型数据库，在目的端作业配置的高级属性中，可以通过“先导入阶段表”参数选择是否启用事务模式。 参数原理：如果
操作场景 CDM在配置字段映射时提示字段的数据类型不支持，要求删除该字段。如果需要使用该字段，可在源端作业配置中使用SQL语句对字段类型进行转换，转换成CDM支持的类型，达到迁移数据的目的。 操作步骤 修改CDM迁移作业，通过使用SQL语句的方式迁移。 SQL语句格式为：“select
OBS连接的参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 obs_link OBS终端节点 终端节点（Endpoint）即调用API的请求地址，不同服务不同区域的终端节点不同。您可以通过以下方式获取OBS桶的Endpoint信息：
关系数据库增量迁移 CDM支持对关系型数据库进行增量迁移，全量迁移完成之后，可以增量迁移指定时间段内的数据（例如每天晚上0点导出前一天新增的数据）。 增量迁移指定时间段内的数据 适用场景：源端为关系型数据库，目的端没有要求。 关键配置：Where子句+定时执行作业。 前提条件：数据表中有时间日期字段或时间戳字段。
关系数据库增量迁移 CDM支持对关系型数据库进行增量迁移，全量迁移完成之后，可以增量迁移指定时间段内的数据（例如每天晚上0点导出前一天新增的数据）。 增量迁移指定时间段内的数据 适用场景：源端为关系型数据库，目的端没有要求。 关键配置：Where子句+定时执行作业。 前提条件：数据表中有时间日期字段或时间戳字段。
自动建表原理介绍 CDM将根据源端的字段类型进行默认规则转换成目的端字段类型，并在目的端建数据表。 自动建表时的字段类型映射 CDM在数据仓库服务（Data Warehouse Service，简称DWS）中自动建表时，DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM
外表CDM服务将数据迁移到DWS（GaussDB）时候，有个字段迁移后多了一对引号，字段本身的引号多了转义符，其他字段没问题。 源端： 目的端： 故障分析 根据截图可以看出，源端样值中有符号：{ 括号 ”引号，等特殊符号，jdbc驱动会字段转义，导致目的端显示带有转义符号。 DLI外表及OBS桶存储，及文件到表迁
源端读取数据再写入目的端，相对这样传统的做法，CDM的优势如表1所示。 表1 CDM优势 优势项 用户自行开发 CDM 易使用 自行准备服务器资源，安装配置必要的软件并进行配置，等待时间长。 程序在读写两端会根据数据源类型，使用不同的访问接口。一般是数据源提供的对外接口，例如JD
isNumeric(value) 获取字符串最左端的指定长度的字符，例如获取“abc”最左端的2位字符“ab”。 表达式：StringUtils.left(value,2) 获取字符串最右端的指定长度的字符，例如获取“abc”最右端的2位字符“bc”。 表达式：StringUtils
配置Redis源端参数 第三方云的Redis服务无法支持作为源端。如果是用户在本地数据中心或ECS上自行搭建的Redis支持作为源端或目的端。 作业中源连接为从本地Redis导出的数据时，源端作业参数如表1所示。 表1 Redis作为源端时的作业参数 参数类型 参数名 说明 取值样例
Migration，简称CDM），是一种高效、易用的批量数据迁移服务。 CDM围绕大数据迁移上云和智能数据湖解决方案，提供了简单易用的迁移能力和多种数据源到数据湖的集成能力，降低了客户数据源迁移和集成的复杂性，有效的提高您数据迁移和集成的效率。 产品首页 图说ECS 立即使用 立即使用
ConfigValues object 目的连接参数配置。根据不同目的端有不同的参数配置，具体可参考目的端作业参数说明下相应的目的端参数配置。 to-link-name 是 String 目的端连接名称，即为通过“创建连接”接口创建的连接对应的连接名。 driver-config-values
ConfigValues object 目的连接参数配置。根据不同目的端有不同的参数配置，具体可参考目的端作业参数说明下相应的目的端参数配置。 to-link-name 是 String 目的端连接名称，即为通过“创建连接”接口创建的连接对应的连接名。 driver-config-values
区域。 资源的价格 不同区域的资源价格可能有差异，请参见华为云服务价格详情。 如何选择可用区？ 是否将资源放在同一可用区内，主要取决于您对容灾能力和网络时延的要求。 如果您的应用需要较高的容灾能力，建议您将资源部署在同一区域的不同可用区内。 如果您的应用要求实例之间的网络延时较低，则建议您将资源创建在同一可用区内。
“抽取并发数”参数分片的情况。 CDM依次将Task提交给运行池运行。根据集群配置管理中的“最大抽取并发数”参数，超出规格的Task排队等待运行。 性能影响因素 根据迁移模型，可以看出CDM数据迁移的速率受源端读取速度、网络带宽、目的端写入性能、CDM集群和作业配置等因素影响。 表1
），配置为源端文件系统中的MD5文件名后缀。 当源端数据文件同一目录下有对应后缀的保存md5值的文件，例如build.sh和build.sh.md5在同一目录下。若配置了“MD5文件名后缀”，则只迁移有MD5值的文件至目的端，没有MD5值或者MD5不匹配的数据文件将迁移失败，MD5文件自身不被迁移。
据源，不同目的连接对应的目的端作业参数不同，例如将数据导入到哪个表或哪个目录，这些信息在目的端作业配置中指定。 字段映射 在创建作业的过程中，尤其是异构数据源之间的迁移作业，一般需要配置源端和目的端数据源之间的对应关系，例如字段对应、字段类型对应，这个过程在CDM中称为字段映射。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
