检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OMS用于他云到华为云的数据迁移；CDM主要用于OBS数据迁移到数据湖或其他大数据系统，以便对数据进行开发、清洗、治理等。 数据复制服务 DRS 支持主流数据库到华为云的入云和出云迁移 数据库在线迁移 数据库实时同步 与CDM的区别： 数据库迁移使用DRS；到大数据系统的迁移使用CDM。
MySQL数据迁移到MRS Hive分区表 MapReduce服务（MapReduce Service，简称MRS）提供企业级大数据集群云服务，里面包含HDFS、Hive、Spark等组件，适用于企业海量数据分析。 其中Hive提供类SQL查询语言，帮助用户对大规模的数据进行提取、
medium即可，满足大部分迁移场景。 CDM集群所在VPC、子网、安全组，选择与MRS集群所在的网络一致。 CDM集群创建完成后，选择集群操作列的“绑定弹性IP”，CDM通过EIP访问MRS HDFS。 图1 集群列表 如果用户对本地数据源的访问通道做了SSL加密，则CDM无法通过弹性IP连接数据源。 创建MRS
DDS连接参数说明 DDS连接适用于华为云上的文档数据库服务，常用于从DDS同步数据到大数据平台。 连接云服务DDS时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 DDS连接参数 参数名
CDM迁移近一个月的数据 备HBase集群中约10TB数据，最近一个月新增的数据量约60TB，总共约70TB。H公司安装的云专线为20GE端口，支持CDM超大规格的集群（cdm.xlarge），综合考虑迁移时间、成本、性能等，这里使用2个CDM超大规格集群并行迁移。CDM集群规格如表1所示。
降低了客户数据源迁移和集成的复杂性，有效的提高您数据迁移和集成的效率。 什么是云数据迁移 产品优势 迁移原理 支持的数据源 已发布区域：全部 集群管理 使用云数据迁移服务的首要操作就是购买集群，您可以根据需求购买不同规格集群，满足您快速创建集群、绑定集群EIP、重启集群、修改集群消息通知及用户隔离等需求。
持，通过HBase数据目录迁移的方式无法使用。 迁移方案 图1 迁移方案 H公司的车联网大数据业务平台当前CDH（Cloudera Hadoop） HBase集群中共有854张表约400TB，备HBase集群中共有149张表，约10TB数据。最近一个月新增的数据量是60TB。 使用CDM将CDH集群中的HBase
通过数据开发实现数据增量迁移 DataArts Studio服务的DLF组件提供了一站式的大数据协同开发平台，借助DLF的在线脚本编辑、周期调度CDM的迁移作业，也可以实现增量数据迁移。 这里以DWS导入到OBS为例，介绍DLF配合CDM实现增量迁移的流程： 获取CDM作业的JSON
oracle_link 数据库服务器 数据库服务器域名或IP地址。 192.168.0.1 端口 Oracle数据库的端口。 3306 数据库连接类型 Oracle数据库连接类型。 Service Name 数据库名称 要连接的数据库。 db_user 用户名 拥有Oracle数据库的读取权限的用户。
表/文件迁移支持的数据源 数据源分类 源端数据源 对应的目的端数据源 说明 数据仓库 数据仓库服务（DWS） 数据仓库：数据仓库服务（DWS），数据湖探索（DLI），MRS ClickHouse，Doris Hadoop：MRS HDFS，MRS HBase，MRS Hive 对象存储：对象存储服务（OBS）
贸易数据上云场景介绍 使用云数据迁移（Cloud Data Migration，简称CDM）将本地贸易统计数据导入到OBS，再使用数据湖探索（Data Lake Insight，简称DLI）进行贸易统计分析，帮助H咨询公司以极简、极低成本构建其大数据分析平台，使得该公司更好地聚焦业务，持续创新。
MongoDB连接参数说明 MongoDB连接适用于第三方云MongoDB服务，以及用户在本地数据中心或ECS上自建的MongoDB，常用于从MongoDB同步数据到大数据平台。 连接本地MongoDB数据库时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改
如何处理CDM从OBS迁移数据到DLI出现迁移中断失败的问题？ 问题描述 CDM从OBS迁移数据到DLI出现迁移中断失败。 解决方案 此类作业问题表现为配置了脏数据写入，但并无脏数据。这种情况下需要调低并发任务数，即可避免此类问题。 父主题： 故障处理类
此外，还需确保该MRS集群与DataArts Studio工作空间所属的企业项目相同，如果不同，您需要修改工作空间的企业项目。 当同一Agent连接多个MRS集群时，如果其中一个MRS集群被删除或状态异常，会影响另外一个正常的MRS集群数据连接。因此建议一个Agent对应一个MRS集群数据连接。
配置MRS Hudi源端参数 作业中源连接为MRS Hudi连接时，源端作业参数如表1所示。 表1 MRS Hudi作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源连接名称 选择已配置的MRS Hudi连接。 hudi_from_cdm 数据库名称 输入或选择
llinkConfig.host 是 String MRS Manager的浮动IP地址，可以单击输入框后的“选择”来选定已创建的MRS集群，CDM会自动填充下面的鉴权参数。 linkConfig.user 是 String 登录MRS Manager平台的用户名。 linkConfig.password
CARBON类型。 如果原始数据表存储格式不满足要求，您可以通过CDM将原始数据直接导入到DLI中进行分析，无需上传OBS。 通过DLI分析数据 进入数据湖探索DLI控制台，参考DLI用户指南中的创建数据库创建数据库。 参考创建OBS表创建OBS外表，包括贸易统计数据库、贸易详单信息表和基础信息表。
创建迁移作业 前提条件 已购买DWS集群，并且已获取DWS数据库的IP地址、端口、数据库名称、用户名、密码，且该用户拥有DWS数据库的读、写和删除权限。 已获取Oracle数据库的IP、数据库名、用户名和密码。 如果Oracle数据库是在本地数据中心或第三方云上，需要确保Oracle可通过公
车联网大数据零丢失搬迁入湖 车联网大数搬迁入湖简介场景介绍 迁移准备 CDM迁移近一个月的数据 DES迁移一个月前的历史数据 MRS中恢复HBase表
移完成之后，可以增量迁移指定时间段内的数据（例如每天晚上0点导出前一天新增的数据）。 案例 案例：贸易数据统计与分析 使用云数据迁移（Cloud Data Migration，简称CDM）将本地贸易统计数据导入到OBS，再使用数据湖探索（Data Lake Insight，简称D
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
