检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HDFS连接参数说明 目前CDM支持连接的HDFS数据源有以下几种： MRS HDFS FusionInsight HDFS Apache HDFS 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 MRS HDFS 连
配置Kafka/DMS Kafka源端参数 作业中源连接为Kafka连接或DMS Kafka连接时，源端作业参数如表1所示。 表1 Kafka作为源端时的作业参数 参数类型 参数 说明 取值样例 基本参数 Topics 支持单个或多个topic。 est1,est2 数据格式 解析数据时使用的格式：
Hive连接参数说明 目前CDM支持连接的Hive数据源有以下几种： MRS Hive FusionInsight Hive Apache Hive 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 MRS Hive 用户具有MRS
约束与限制 CDM系统级限制和约束 DataArts Studio实例赠送的数据集成集群，由于规格限制，仅用于测试业务、数据连接代理场景。 用于运行数据迁移作业的其他规格CDM集群可以在DataArts Studio控制台以增量包的形式购买，也可以在云数据迁移CDM服务控制台直接购买。二者差异体现在如下方面：
故障处理类 日志提示解析日期格式失败时怎么处理？ 字段映射界面无法显示所有列怎么处理？ CDM迁移数据到DWS时如何选取分布列？ 迁移到DWS时出现value too long for type character varying怎么处理？ OBS导入数据到SQL Server时出现Unable
云数据迁移安全简介 CDM简介 云数据迁移（Cloud Data Migration，简称CDM）提供同构/异构数据源之间批量数据迁移服务，帮助客户实现数据自由流动。支持多种常用数据源，如客户自建或公有云上的文件系统，关系数据库，数据仓库，NoSQL数据库，大数据云服务，对象存储等数据源。
MRS HDFS数据迁移到OBS 操作场景 CDM支持文件到文件类数据的迁移，本章节以MRS HDFS-->OBS为例，介绍如何通过CDM将文件类数据迁移到文件中。流程如下： 创建CDM集群并绑定EIP 创建MRS HDFS连接 创建OBS连接 创建迁移作业 前提条件 已获取OBS的访问域名、端口，以及AK、SK。
MRS HDFS数据迁移到OBS 操作场景 CDM支持文件到文件类数据的迁移，本章节以MRS HDFS-->OBS为例，介绍如何通过CDM将文件类数据迁移到文件中。流程如下： 创建CDM集群并绑定EIP 创建MRS HDFS连接 创建OBS连接 创建迁移作业 前提条件 已获取OBS的访问域名、端口，以及AK、SK。
基本概念 CDM集群 CDM集群是指用户拥有的CDM实例，一个CDM集群由1个或多个虚拟机组成。一个用户可以创建多个CDM集群，例如为财务部门和采购部门各创建一个CDM实例，实现数据访问权限的隔离。 本地环境 本地环境是指用户自建或者租用的IDC中的数据存储系统，或者第三方云环境
CDM与其他数据迁移服务有什么区别，如何选择？ 华为云上涉及数据迁移的服务有以下几种： 云数据迁移服务 CDM 对象存储迁移服务 OMS 数据复制服务 DRS 主机迁移服务 SMS 数据库和应用迁移 UGO 数据快递服务 DES 上述数据迁移服务的区别请参见各个数据迁移服务区别。
Oracle数据迁移到DWS 操作场景 CDM支持表到表的迁移，本章节介绍如何通过CDM将数据从Oracle迁移到数据仓库服务（Data Warehouse Service，简称DWS）中，流程如下： 创建CDM集群并绑定EIP 创建Oracle连接 创建DWS连接 创建迁移作业
Oracle数据迁移到DWS 操作场景 CDM支持表到表的迁移，本章节介绍如何通过CDM将数据从Oracle迁移到数据仓库服务（Data Warehouse Service，简称DWS）中，流程如下： 创建CDM集群并绑定EIP 创建Oracle连接 创建DWS连接 创建迁移作业
MySQL数据迁移到DWS 操作场景 CDM支持表到表的迁移，本章节以MySQL-->DWS为例，介绍如何通过CDM将表数据迁移到表中。流程如下： 创建CDM集群并绑定EIP 创建MySQL连接 创建DWS连接 创建迁移作业 前提条件 已获取DWS数据库的IP地址、端口、数据库名
MySQL数据迁移到DWS 操作场景 CDM支持表到表的迁移，本章节以MySQL-->DWS为例，介绍如何通过CDM将表数据迁移到表中。流程如下： 创建CDM集群并绑定EIP 创建MySQL连接 创建DWS连接 创建迁移作业 前提条件 已获取DWS数据库的IP地址、端口、数据库名
错误码 调用API出错后，将不会返回结果数据。调用方可根据每个API对应的错误码来定位错误原因。当调用出错时，HTTP请求返回一个4xx或5xx的HTTP状态码。返回的消息体中是具体的错误代码及错误信息。在调用方找不到错误原因时，可以联系客服，并提供错误码，以便尽快帮您解决问题。
MySQL数据迁移到MRS Hive分区表 MapReduce服务（MapReduce Service，简称MRS）提供企业级大数据集群云服务，里面包含HDFS、Hive、Spark等组件，适用于企业海量数据分析。 其中Hive提供类SQL查询语言，帮助用户对大规模的数据进行提取
MySQL数据迁移到MRS Hive分区表 MapReduce服务（MapReduce Service，简称MRS）提供企业级大数据集群云服务，里面包含HDFS、Hive、Spark等组件，适用于企业海量数据分析。 其中Hive提供类SQL查询语言，帮助用户对大规模的数据进行提取
是否支持字段转换？ 支持，CDM支持以下字段转换器： 脱敏 去前后空格 字符串反转 字符串替换 表达式转换 在创建表/文件迁移作业的字段映射界面，可新建字段转换器，如下图所示。 图1 新建字段转换器 脱敏 隐藏字符串中的关键信息，例如要将“12345678910”转换为“123****8910”，则配置如下：
字段转换器配置指导 操作场景 作业参数配置完成后，将进行字段映射的配置，您可以单击操作列下创建字段转换器。 如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，且源端“文件格式”配置为“二进制格式”（即不解析文件内容直接传输），则没有字段映射这一步骤。 在创
字段转换器配置指导 操作场景 作业参数配置完成后，将进行字段映射的配置，您可以单击操作列下创建字段转换器。 如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，且源端“文件格式”配置为“二进制格式”（即不解析文件内容直接传输），则没有字段映射这一步骤。 在创
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
