检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HBase自带的一些机制和工具命令也可以实现数据搬迁,例如通过导出Snapshots快照、Export/Import、CopyTable方式等,可以参考Apache官网相关内容。 图1 HBase数据迁移示意 方案优势 场景化迁移通过迁移快照数据然后再恢复表数据的方法,能大大提升迁移效率。 约束与限制 搬迁数据量较大
CDM服务支持迁移的数据源可参考支持的数据源,数据源为Apache HDFS时,建议使用的版本为2.8.X、3.1.X,请执行搬迁前务必确认是否支持搬迁。 方案架构 CDM围绕大数据迁移上云和智能数据湖解决方案,提供了简单易用的迁移能力和多种数据源到数据湖的集成能力,降低了客户数据源迁移
具体请参见创建云硬盘备份或创建SFS Turbo备份。 云数据库迁移 云数据库的跨区域迁移可以使用数据复制服务 DRS。DRS服务具有实时迁移、备份迁移、实时同步、数据订阅和实时灾备等多种功能。 其他数据迁移 大数据场景迁移:推荐使用云数据迁移 CDM。 Kafka业务迁移:具体请参见分布式消息服务Kafka版的Kafka业务迁移。
MySQL分库分表->DDM MongoDB->DDS MongoDB->GeminiDB Mongo 出云 MySQL->MySQL DDS->MongoDB 前提条件 已登录数据复制服务控制台。 迁移任务正常运行中。 暂停任务 在“实时迁移管理”页面的迁移列表中,选择要暂停的迁移任务,单击“操作 > 暂停”。
MongoDB链路时延增高可能原因 涉及链路 MongoDB->DDS入云迁移 DDS->MongoDB出云迁移 DDS->MongoDB出云同步 可能原因 DRS在任务增量阶段,为保证迁移/同步/灾备的性能,会集合级的进行并发回放。如果出现以下特殊情况,DRS只支持单线程写入,不支持并发回放。
文件系统之间迁移数据 方案概述 用户可以将SFS容量型文件系统中的数据迁移至SFS Turbo文件系统中,也可以将SFS Turbo文件系统中的数据迁移至SFS容量型文件系统中,进行云上业务拓展。 此方案通过创建一台Linux操作系统的云服务器,来连接SFS容量型文件系统和SFS
任务创建后不能修改。 迁移模式 全量:该模式为数据库一次性迁移,适用于可中断业务的数据库迁移场景,全量迁移将非系统数据库的全部数据库对象和数据一次性迁移至目标端数据库,包括:表、视图、存储过程等。 说明: 如果用户只进行全量迁移时,建议停止对源数据库的操作,否则迁移过程中源数据库产生的新数据不会同步到目标数据库。
数据迁移 迁移方案概览 通过数据复制服务迁移数据 通过mongoexport和mongoimport工具迁移数据 通过mongodump和mongorestore工具迁移数据 父主题: 用户指南
迁移前构造数据 迁移前需要在源库构造一些数据类型,供迁移完成后验证数据。 前提条件 已知源端数据库的IP地址,端口,账户和密码。 操作步骤 根据源端数据库的IP地址,通过数据库连接工具连接数据库。 根据支持的数据类型,在源库执行语句构造数据。 登录源端数据库。 进入任意一个待迁移的逻辑库。
DDS迁移实施步骤 图1 迁移流程 迁移前准备工作主要有以下几个方面 版本 MongoDB副本集版本:3.6.23 mongo-shake版本:2.8.3-20230329 数据库用户权限 表1 数据库用户权限 同步的数据源 所需权限 源MongoDB实例 readAnyDatabase权限
弹性文件服务数据迁移 方案概述 通过云专线迁移(rclone工具) 跨服务器迁移(rclone工具) 通过云专线迁移(rsync工具) 文件系统之间迁移数据 SFS容量型文件系统迁移至其他文件系统
问DLI元数据功能的白名单中。 操作步骤 登录迁移中心控制台。 在左侧导航栏选择“实施>大数据数据迁移”,进入大数据数据迁移页面。在页面左上角的当前项目下拉列表中选择在完成准备工作时所创建的迁移项目。 单击页面右上角的“创建迁移任务”按钮,右侧弹出创建迁移任务窗口。 源端组件选择
DDS和社区版MongoDB有什么关系 DDS即文档数据库服务,完全兼容MongoDB社区版3.4/4.0/4.2,部分兼容社区版4.4。兼容性详情请参见版本兼容性。 DDS支持绝大部分的MongoDB命令操作,任何兼容MongoDB的客户端都可以与DDS建立连接进行数据存储及相应操作。
数据迁移到MRS前网络准备 数据迁移网络方案说明 进行大数据迁移时,需要保证源端集群和目的端集群之间的网络互通,例如使用hadoop distcp命令跨集群复制数据时需要所有DataNode节点网络互通。根据不同的迁移场景需要使用不同的方式先打通两套集群之间网络连接。 客户线下数
创建对象迁移项目 本章节介绍如何依据已创建的数据库评估项目,创建对象迁移任务。 操作步骤 登录UGO控制台。 单击左侧导航栏“结构迁移 > 对象迁移”。 在对象迁移页面,单击右上角的“创建迁移项目”。 在创建迁移项目页面,完成信息的填写,具体参见表1。 图1 创建迁移项目 表1 创建迁移项目参数说明
RDS全量备份:关系型数据库实例自动或手动生成的全量备份。 操作须知 目标数据库的可用磁盘空间大小至少为待还原数据库总数据量大小的1.5倍。 待还原数据库名称,必须跟备份文件中数据库名称一致(区分大小写)。 不支持源数据库中开启TDE加密的数据库进行备份迁移。 不支持高版本的数据库备份文件在
迁移准备 前提条件 CDH HBase的版本号小于或等于MRS HBase的版本号。 待迁移的表在迁移过程中不能有写入,Split,Merge等操作。 使用华为云专线搭建CDH集群与华为云VPC之间的专属连接通道。 迁移流程 预估迁移数据量、迁移时间。 输出详细待迁移数据表、文件个数、大小,用于后续校验。
全量或增量迁移失败报错,关键词“Timed out after 60000 ms while waiting to connect” 场景描述 MongoDB->DDS实时迁移场景,全量或增量迁移报错,日志提示信息:service LOGMANAGER failed, cause
迁移后进行数据校验 当任务状态变为“增量迁移”,说明全量迁移已经完成,全量迁移完成后,登录DDM实例查看数据迁移结果。 等待迁移任务状态变为“增量同步”。 单击任务名称,进入任务详情页。 验证数据一致性。 在“迁移对比 > 对象级对比”页面,查看库和表的迁移结果。 在“迁移对比 >
数据库迁移 迁移方案总览 使用mysqldump迁移RDS for MySQL数据 使用DAS的导出和导入功能迁移RDS for MySQL数据 父主题: RDS for MySQL用户指南