检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对比迁移项可以清晰反馈出源数据库和目标数据库的数据是否存在差异。为了尽可能减少业务的影响和业务中断时间,数据库实时迁移场景提供了完整的迁移对比流程,帮助您确定合适的业务割接时机。 图1 迁移对比流程 对比使用场景 迁移对比功能支持以下几种对比方式: 对象级对比:支持对数据库、索引、表、视图、存储过程和函数、表
DRS在迁移过程中,会自动将MyISAM转换为InnoDB。针对MyISAM引擎表不支持事务这一特点,为了确保MyISAM表的数据一致性, DRS会借助主键来实现最终数据的一致。如果需要迁移没有主键的MyISAM表,建议选择无业务期启动迁移任务,以确保数据的一致性。 父主题: 实时迁移
数据过滤规则校验 功能介绍 数据过滤规则校验。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v5/{project_id}/job/{job_id}/
中关键业务的数据变化信息,这类信息常常是下游业务所需要的。数据订阅将其缓存并提供统一的SDK接口,实现下游业务订阅、获取、并消费。 一个完整的数据订阅过程需要通过如下两个阶段来实现: 使用数据复制服务控制台创建数据订阅任务。 数据订阅任务成功后,使用数据复制服务提供的SDK接口,访问数据订阅通道,订阅并消费增量数据。
for MySQL到ECS自建MySQL的迁移为示例,介绍在同一VPC网络场景下,通过数据复制服务管理控制台配置数据迁移任务的流程,其他存储引擎的配置流程类似。 在“实时迁移管理”页面,单击“创建迁移任务”,进入创建迁移任务页面。 在“迁移实例”页面,填选区域、项目、任务名称、描述、迁移实例信息,单击“开始创建”。
PostgreSQL 实例。通过DRS提供的实时同步任务,实现在数据库同步过程中业务和数据库不停机,业务中断时间最小化。 本章节主要介绍了通过DRS将ECS自建数据库实时同步至本云云数据库PostgreSQL的任务配置流程。支持以下网络场景: 源数据库和目标数据库属于同一个VPC网络内
区域项目资源。 图3 指定区域项目授权 授权完成后,单击委托名称,在“授权记录”中可看到授权记录。 权限生效时间提醒,您选中的权限由于系统设计的原因,授权后需等待15-30分钟才可生效。
读写操作的业务流量时,由于同步任务的时延差异客观上不可控,导致执行顺序与真实顺序不相同,造成数据错乱)。因此,灾备前请对同一数据进行单元化设计,确保数据单元(可以为库、表、行)一边接读写流量,另一边只能接只读业务,即双主灾备是整体上双主,但微观上数据单元仍然是一边读写,一边只读。常见场景请参见实时灾备异常场景。
授权完成后,单击委托名称,在“授权记录”中可看到全局服务和指定区域两条授权记录。 图5 授权记录 权限生效时间提醒,您选中的OBS权限由于系统设计的原因,授权后需等待15-30分钟才可生效,权限生效后重新创建即可。
件恢复,实现迁移过程中业务中断的最小化。一次典型的增量恢复过程,会涉及多次恢复增量备份。每个增量备份恢复均会使目标数据库保持还原中状态,此时数据库不可读写,直至最后一个增量备份恢复完成后,数据库才能变成可用状态。 本小节将以一次完整的全量+增量迁移为示例,详细介绍如何实现最小化业务中断的数据库迁移。
更新指定任务数据加工规则 功能介绍 更新指定任务数据加工规则。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI PUT /v5/{project_id}/jobs/{
通过服务化迁移,免去了传统的DBA人力成本和硬件成本,并允许按需购买,实现了服务“人人都能用上”。 低风险 通过迁移进度、迁移日志、迁移数据等多项指标的查询和对比,大大提升了迁移任务的成功率,实现数据库迁移和同步“人人都能做好”。
在云服务不触碰源数据库的情况下,实现数据迁移。 常用场景:云下数据库迁移上云。 特点:云服务无需碰触源数据库,实现数据迁移。 图2 备份迁移 实时同步 实时同步是指在不同的系统之间,将数据通过同步技术从一个数据源拷贝到其他数据库,并保持一致,实现关键业务的数据实时流动。 实时同步
读写类并发 为了提升全量阶段历史数据的搬迁,同时对抗网络的不稳定性,DRS实现了数据行级并发抽取效果,从而使得历史数据搬迁速度最大化,同时如果出现网络丢包时,不会大面积重来。 为加快数据写入,DRS实现了表级并发写入,从而大幅提升了数据传输速度,使得同步时延在同城达到毫秒级。 图1
在云服务不触碰源数据库的情况下,实现数据迁移。 常用场景:云下数据库迁移上云。 特点:云服务无需碰触源数据库,实现数据迁移。 图2 备份迁移 实时同步 实时同步是指在不同的系统之间,将数据通过同步技术从一个数据源拷贝到其他数据库,并保持一致,实现关键业务的数据实时流动。 实时同步
时,会导致备份迁移失败,该情况下的迁移任务不可恢复。 操作步骤 本小节主要介绍OBS自建桶场景下,通过数据复制控制台创建备份迁移任务的配置流程。 在“备份迁移管理”页面,单击“创建迁移任务”。 在“选定备份”页面输入任务名称和描述,填选备份文件信息,单击“下一步”。 图1 任务信息
本示例中目标数据库为Kafka 网络类型 VPC网络 创建任务的时候选择“VPN、专线网络”。 操作流程 创建DRS任务,并且将GaussDB分布式版数据增量同步到Kafka的主要任务流程如图所示。 创建VPC 创建VPC,为创建GaussDB实例准备网络资源。 登录华为云控制台。 单击管理控制台左上角的,选择区域。
量底层实现原理可参考产品架构和功能原理。 “全量+增量”: 该模式为数据持续性实时同步,通过全量过程完成目标端数据库的初始化后,增量同步阶段通过解析日志等技术,将源端和目标端数据保持数据持续一致。 说明: 选择“全量+增量”同步模式,增量同步可以在全量同步完成的基础上实现数据的持
一对一实时同步 用户创建一个同步任务来实现一对一的实时同步。 一对多实时同步 用户需要用户创建多个同步任务来实现一对多的实时同步。例如从实例A同步到实例B、实例C和实例D,需要创建三个同步任务。 多对一实时同步 用户需要用户创建多个同步任务来实现多对一的实时同步。例如从实例B、实例
Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 接口约束 需完成所有的任务配置之后,再调用启动任务接口。详情可参考任务创建流程。 双主灾备时,需要正向任务状态为INCRE_TRANSFER_STARTED且RPO&RTO小于60s时,反向任务完成所有的任务配置后才能执行该操作,父任务不支持调用。