检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
节点迁移 功能介绍 该API用于在指定集群下迁移节点到另一集群。 集群管理的URL格式为:https://Endpoint/uri。其中uri为资源路径,也即API访问的路径。 接口约束 仅支持在同一VPC、同一项目下的不同集群间进行迁移。 CCE Turbo集群和CCE Standard集群间不支持互迁。
DCS数据迁移概述 DCS控制台界面支持的数据迁移方式有在线迁移和离线迁移(备份文件导入)两种方式,其中,在线迁移支持增量数据迁移。 在线迁移,涉及到SYNC/PSYNC命令,适用于源Redis放通了SYNC/PSYNC命令的场景。支持将源Redis中的数据全量迁移或增量迁移到目标Redis中。
迁移完成后,为什么已迁移数据量小于总数据量? 问题描述 迁移完成后,已迁移数据量小于总数据量。 问题分析 源端总数据量是通过迁移Agent执行df-Th命令搜集得到的,已迁移数据量是通过记录实际已迁移文件的大小累计得到的。 出现已迁移数据量小于总数据量,可能是因为以下几种情况:
增量迁移原理介绍 文件增量迁移 关系数据库增量迁移 HBase/CloudTable增量迁移 MongoDB/DDS增量迁移 父主题: 进阶实践
迁移用户 操作场景 数据库的迁移过程中,迁移用户需要进行单独处理。 MySQL数据库操作 在MySQL迁移过程中,常见的迁移用户一般分为三类:可完整迁移的用户、需要降权的用户和不可迁移的用户。 可完整迁移的用户:可完整迁移的用户指满足目标数据库权限要求的用户,该类用户在进行迁移时
Redis在线数据迁移是迁移整个实例数据么? 如果是单机、主备、读写分离多DB的实例之间进行迁移,是迁移实例所有的数据,不管存在哪个DB都会进行迁移,且数据所在的DB序号不会变。您也可以选择迁移单一DB进行迁移。 如果是集群实例,由于集群实例默认只有一个DB0节点,会迁移DB0上所有槽内的数据。
储中。 图1 Hive数据迁移示意 方案优势 场景化迁移通过迁移快照数据然后再恢复表数据的方法,能大大提升迁移效率。 约束与限制 搬迁数据量较大时,对网络通信要求较高,执行搬迁任务时,可能会影响其他业务,建议在业务空闲期进行数据迁移任务。 迁移Hive数据 登录CDM管理控制台。
迁移中源端有新增的数据如何处理? 启动目的端后,若源端有新增的数据,单击此服务器所在行的操作列的“同步”,开始下一次复制(增量数据),当迁移状态为“持续同步”时,单击“启动目的端”,迁移实时状态为“已完成”时,说明新增数据已同步到目的端。 父主题: 迁移或同步失败
关联出来数据库服务器地址。 端口 RDS实例的端口。选择数据库服务器后自动自动关联。 数据库名称 当前需要迁移的RDS MySQL数据库名称。当前示例为3中创建的数据库“testrdsdb”。 用户名 待连接数据库的用户。该数据库用户需要有数据表的读写权限,以及对元数据的读取权限。
迁移介绍 数据迁移指将原有数据库中的数据迁移到DDM服务中,或因为业务使用需要,将DDM服务的数据导出到其他数据库系统中使用。您可以使用MySQL官方工具mysqldump进行数据全量导出,当您需要全量迁移+增量迁移时,建议您使用数据复制服务(Data Replication Service,简称DRS)服务。
数据迁移 根据迁移配置,华为云OMS服务会开始从源端存储系统拉取数据。同时,服务会确保数据的完整性和一致性,避免在迁移过程中出现数据丢失或损坏的情况。服务还支持断点续传功能,当迁移过程中出现网络中断或其他异常情况时,服务可以从断点处恢复传输,确保数据的完整性和迁移的连续性。 父主题:
oracle_link 数据库服务器 数据库服务器域名或IP地址。 192.168.0.1 端口 Oracle数据库的端口。 3306 数据库连接类型 Oracle数据库连接类型。 Service Name 数据库名称 要连接的数据库。 db_user 用户名 拥有Oracle数据库的读取权限的用户。
对象迁移 在完成了数据库评估,并确认目标数据库后,可以开始正式的数据库对象迁移,在该模块中,UGO将一步一步引导用户制定转换计划、设计转换方案,并帮用户完成语法自动转换和一键迁移。对于转换失败或迁移失败的对象,还提供了对象编辑、批量修改等功能,简化手动改造工作的同时还会确保每次修
参数原理:如果启用,在作业执行时CDM会自动创建临时表,先将数据导入到该临时表,导入成功后再通过数据库的事务模式将数据迁移到目标表中;导入失败则将目的表回滚到作业开始之前的状态。 图1 事务模式迁移 如果“导入开始前”选择“清除部分数据”或“清除全部数据”,CDM的事务模式不会回滚已经删除的数据。 父主题: 进阶实践
HBase自带的一些机制和工具命令也可以实现数据搬迁,例如通过导出Snapshots快照、Export/Import、CopyTable方式等,可以参考Apache官网相关内容。 图1 HBase数据迁移示意 方案优势 场景化迁移通过迁移快照数据然后再恢复表数据的方法,能大大提升迁移效率。 约束与限制 搬迁数据量较大
CDM服务支持迁移的数据源可参考支持的数据源,数据源为Apache HDFS时,建议使用的版本为2.8.X、3.1.X,请执行搬迁前务必确认是否支持搬迁。 方案架构 CDM围绕大数据迁移上云和智能数据湖解决方案,提供了简单易用的迁移能力和多种数据源到数据湖的集成能力,降低了客户数据源迁移
数据对比(对比迁移项) 对比迁移项可以清晰反馈出源数据库和目标数据库的数据是否存在差异。为了尽可能减少业务的影响和业务中断时间,数据库实时迁移场景提供了完整的迁移对比流程,帮助您确定合适的业务割接时机。 图1 迁移对比流程 对比使用场景 迁移对比功能支持以下几种对比方式: 对象级
问DLI元数据功能的白名单中。 操作步骤 登录迁移中心控制台。 在左侧导航栏选择“实施>大数据数据迁移”,进入大数据数据迁移页面。在页面左上角的当前项目下拉列表中选择在完成准备工作时所创建的迁移项目。 单击页面右上角的“创建迁移任务”按钮,右侧弹出创建迁移任务窗口。 源端组件选择
具体请参见创建云硬盘备份或创建SFS Turbo备份。 云数据库迁移 云数据库的跨区域迁移可以使用数据复制服务 DRS。DRS服务具有实时迁移、备份迁移、实时同步、数据订阅和实时灾备等多种功能。 其他数据迁移 大数据场景迁移:推荐使用云数据迁移 CDM。 Kafka业务迁移:具体请参见分布式消息服务Kafka版的Kafka业务迁移。
作业配置添加字段,MongoDB字段映射存在问题 问题描述 CDM作业配置源端MongoDB添加字段,目的端MongoDB数据库字段映射,作业运行后,目的端数据库查看,数据存在问题,没有迁移成功。 故障分析 查看文档提示CDM通过获取样值的方式无法获得所有列。 添加字段,因为Mo