检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS HDFS数据迁移到OBS 操作场景 CDM支持文件到文件类数据的迁移，本章节以MRS HDFS-->OBS为例，介绍如何通过CDM将文件类数据迁移到文件中。流程如下： 创建CDM集群并绑定EIP 创建MRS HDFS连接 创建OBS连接 创建迁移作业 前提条件 已获取OBS的访问域名、端口，以及AK、SK。
ySQL数据，如果源表配置了索引，可调大抽取并发数提升迁移速率。 是否写入脏数据：如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中，以便后面查看，可通过该参数配置，写入脏数据前需要先配置好OBS连接。针对文件到表类迁移的数据，建议配置写入脏数据。 作业运
ySQL数据，如果源表配置了索引，可调大抽取并发数提升迁移速率。 是否写入脏数据：如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中，以便后面查看，可通过该参数配置，写入脏数据前需要先配置好OBS连接。针对文件到表类迁移的数据，建议配置写入脏数据。 作业运
公共数据结构 连接参数说明 源端作业参数说明 目的端作业参数说明 作业任务参数说明
迁移数据到DLI时有数据丢失怎么处理？ 问题描述 目的端是DLI的迁移作业执行成功后，显示迁移的数据条数和DLI表中查询的数量对不上，存在数据丢失。 原因分析 查看客户的作业配置，客户并发数设置的是3，如图所示。 查看DLI官网文档不建议同时对一张表并发插入数据。 解决方案 将作业的抽取并发数改成1
支持的数据类型 配置字段映射时，数据源支持的数据类型请参见表1，以确保数据完整导入到目的端。 表1 支持的数据类型 数据连接类型 数据类型说明 MySQL 请参见MySQL数据库迁移时支持的数据类型。 SQL Server 请参见SQL Server数据库迁移时支持的数据类型。 Oracle
支持的数据类型 配置字段映射时，数据源支持的数据类型请参见表1，以确保数据完整导入到目的端。 表1 支持的数据类型 数据连接类型 数据类型说明 MySQL 请参见MySQL数据库迁移时支持的数据类型。 SQL Server 请参见SQL Server数据库迁移时支持的数据类型。 Oracle
导致异常 （或让客户提供作业日志，或客户界面导出全量日志）。 分析源端数据类型，发现源端数据类型中有脏数据，源端数据类型有问题. 在CDM作业中配置脏数据功能，作业重跑成功，OBS桶排查脏数据类型存在问题，格式不匹配。 父主题： 故障处理类
云数据迁移安全简介 CDM简介 云数据迁移（Cloud Data Migration，简称CDM）提供同构/异构数据源之间批量数据迁移服务，帮助客户实现数据自由流动。支持多种常用数据源，如客户自建或公有云上的文件系统，关系数据库，数据仓库，NoSQL数据库，大数据云服务，对象存储等数据源。
资源队列：选择目的表所属的资源队列。 数据库名称：写入数据的数据库名称。 表名：写入数据的目的表。CDM暂不支持在DLI中自动创表，这里的表需要先在DLI中创建好，且该表的字段类型和格式，建议与待迁移数据的字段类型、格式保持一致。 导入前清空数据：导入数据前，选择是否清空目的表中的数据，这里保持默认“否”。
参考：CDM性能实测数据 背景说明 文中提供的性能指标仅用于参考，实际环境会受源或目标数据源性能、网络带宽及时延、数据及业务模型等因素影响。推荐您在正式迁移前，可先用小数据量实测进行速度摸底。 环境信息 CDM集群为xlarge规格，2.9.1 200版本。 性能测试中，表数据规格为500
资源队列：选择目的表所属的资源队列。 数据库名称：写入数据的数据库名称。 表名：写入数据的目的表。CDM暂不支持在DLI中自动创表，这里的表需要先在DLI中创建好，且该表的字段类型和格式，建议与待迁移数据的字段类型、格式保持一致。 导入前清空数据：导入数据前，选择是否清空目的表中的数据，这里保持默认“否”。
oracle_link 数据库服务器 数据库服务器域名或IP地址。 192.168.0.1 端口 Oracle数据库的端口。 3306 数据库连接类型 Oracle数据库连接类型。 Service Name 数据库名称 要连接的数据库。 db_user 用户名 拥有Oracle数据库的读取权限的用户。
能调优。这里保持默认值“1”。 是否写入脏数据：如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中，以便后面查看，可通过该参数配置，写入脏数据前需要在CDM先配置好OBS连接。这里保持默认值“否”即可，不记录脏数据。 图8 任务配置 单击“保存并运行”，回
能调优。这里保持默认值“1”。 是否写入脏数据：如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中，以便后面查看，可通过该参数配置，写入脏数据前需要在CDM先配置好OBS连接。这里保持默认值“否”即可，不记录脏数据。 图8 任务配置 单击“保存并运行”，回
支持的数据源 支持的数据源（2.10.0.300） 支持的数据源（2.9.3.300） 支持的数据源（2.9.2.200） 支持的数据类型
在IAM控制台创建用户组，并授予CDM集群只读权限“CDM ReadOnlyAccess”。 创建用户并加入用户组 在IAM控制台创建用户，并将其加入1中创建的用户组。 用户登录并验证权限 新创建的用户登录控制台，切换至授权区域，验证权限： 在“服务列表”中选择“云数据迁移服务”，进入CDM主界面查看集群，若未提示权限不足，表示“CDM
数据迁移前后数据量不一致是什么问题？ 问题描述 使用CDM进行数据迁移，迁移完成后，目标库数据要比原始库多，有的多十几条，有的多几千条。 故障分析 根据故障信息分析，考虑是作业配置限制，检查作业配置，发现目的端配置为导入开始前“不清除”，不清除可能存在多次操作，部分数据重复。 解决方案
支持的数据源（2.10.0.300） 数据集成有两种迁移方式，支持的数据源有所不同： 表/文件迁移：适用于数据入湖和数据上云场景下，表或文件级别的数据迁移，请参见表/文件迁移支持的数据源类型。 整库迁移：适用于数据入湖和数据上云场景下，离线或自建数据库整体迁移场景，请参见整库迁移支持的数据源类型。
整库迁移支持的数据源类型 整库迁移适用于将本地数据中心或在ECS上自建的数据库，同步到云上的数据库服务或大数据服务中，适用于数据库离线迁移场景，不适用于在线实时迁移。 数据集成支持整库迁移的数据源如表2所示。 表2 整库迁移支持的数据源 数据源分类 数据源 读取 写入 说明 数据仓库 数据仓库服务（DWS）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
