检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
传统数据库性能瓶颈问题,复杂查询性能较差。 如何不中断业务并且平滑的实现数据迁移。 业务架构图 迁移原理 本次实践使用全量+增量同步功能,原理如下: 全量同步阶段,先进行结构迁移,例如表、主键、唯一键的迁移。 结构迁移完成后,启动增量数据抽取,以确保全量数据同步期间的增量数据完整的抽取到DRS实例。
同步任务提交后,开始启动同步任务,您可以返回“实时同步管理”页面,查看同步任务状态。 任务管理。 同步任务启动后,会经历全量同步和增量同步两个阶段,对于不同阶段的同步任务,您可以进行任务管理。 全量同步 查看同步进度:全量同步中的任务,您可单击任务名称,在“同步进度”页签下,查看全量同步进度,您可以
实时同步管理 批量数据加工 批量设置同步策略 高级设置 父主题: API v3(不再推广)
双向同步 MySQL到MySQL双向同步
特殊字符。 同步实例信息 图2 同步实例信息 表6 同步实例信息 参数 描述 同步类型 选择“双向同步”。即会创建正向和反向两条链路,其中正向任务的同步模式为全量+增量,反向任务的同步模式为单增量。 本区数据库角色 本云数据库实例在双向同步关系中的角色,分为主1和主2。 如何选择请参见如何选择主1、主2。
DRS同步阶段2:增量同步 选择DRS同步阶段1:全量同步的DRS任务,单击“续传”。 任务进入增量阶段。当任务界面“时延”指标在30s以内时,说明数据即将追平;断开源端Oracle的业务系统连接,确保不再有数据写入源端Oracle,断开后等待约1min。 进行数据对比。单击任务名称,选择“同步对比”页面。
11及以上版本 支持的同步对象范围 在使用DRS进行同步时,不同类型的同步任务,支持的同步对象范围不同,详细情况可参考表2。DRS会根据用户选择,在“预检查”阶段对同步对象进行自动检查。 表2 支持的同步对象 类型名称 使用须知 同步对象范围 不支持实例级同步:每次至多同步一个库(dat
创建RDS for MySQL实例 本章节介绍创建RDS for MySQL实例。 登录华为云控制台。 单击管理控制台左上角的,选择区域“华南-广州”。 单击左侧的服务列表图标,选择“数据库 > 云数据库 RDS”。 单击“购买数据库实例”。 配置实例名称和实例基本信息。 选择实例规格。
同步场景操作参考 Kafka消息格式 Kafka认证方式 GaussDB分布式版为源任务序列值同步 GaussDB分布式版为源强制结束任务 GaussDB主备版为源强制结束任务 PostgreSQL为源强制结束任务 通过创建事件触发器和函数实现PostgreSQL增量DDL同步
单击“下一步”,仔细阅读提示内容后,单击“同意,并继续”。 设置同步。 在源库选择需要同步的数据库和表。本次实践中选择“test”中所有的表。 选择完成后,可以设置同步后是否重新命名库名和表名。 单击“下一步”。 高级设置:全量设置中“同步对象类型”仅勾选“同步数据”。 数据加工(可选,根据实际需求设置)。
启动同步 UGO结构迁移阶段1:表、主键、唯一键/索引等 DRS同步阶段1:全量同步 UGO结构迁移阶段2:普通索引 DRS同步阶段2:增量同步 UGO结构迁移阶段3:触发器、事件、任务、外键、sequence 父主题: 本地Oracle同步到GaussDB主备版
支持的同步对象范围 在使用DRS进行同步时,不同类型的同步任务,支持的同步对象范围不同,详细情况可参考表3。DRS会根据用户选择,在“预检查”阶段对同步对象进行自动检查。 表3 支持的同步对象 类型名称 使用须知 同步对象范围 全量同步支持数据、表结构和索引的同步。 源数据库
确认同步执行结果 确认同步结果可参考如下两种方式: DRS会针对同步对象、数据等维度进行对比,从而给出同步结果,详情参见在DRS管理控制台查看同步结果。 直接登录数据库查看库、表、数据是否同步完成。手工确认数据同步情况,详情参见在DDM管理控制台查看同步结果。 在DRS管理控制台查看同步结果
用户需要用户创建多个同步任务来实现一对多的实时同步。例如从实例A同步到实例B、实例C和实例D,需要创建三个同步任务。 多对一实时同步 用户需要用户创建多个同步任务来实现多对一的实时同步。例如从实例B、实例C和实例D同步到实例A,需要创建三个同步任务。 多对一场景约束及操作建议,可参考常见问题。
查看同步日志 同步日志记录了实时同步过程中的信息,包含告警、错误和提示等类型的信息。实时同步过程中,可以通过查看同步日志信息,帮助您分析系统中存在的问题。 前提条件 已登录数据复制服务控制台。 操作步骤 在“实时同步管理”界面,选择指定的同步任务,单击任务名称。 在“同步日志”页签,查看当前同步任务的日志。
本地Oracle同步到DDM 概述 资源规划 操作流程 源端Oracle准备 目标端DDM准备 创建DRS同步任务 确认同步执行结果 父主题: 实时同步
同步前构造数据 同步前需要在源库构造一些数据类型,供同步完成后验证数据。 DRS支持的数据类型如下所示: 表1 数据类型映射关系 源库数据类型 目标库数据类型 源库数据类型做主键,同步能力 源库数据类型做非主键,同步能力 源库数据类型做主键,对比能力 源库数据类型做非主键,对比能力
将Oracle同步到GaussDB主备版 将Oracle同步到GaussDB分布式版 将Oracle同步到DDM 将Oracle同步到GaussDB(DWS) 将Oracle同步到PostgreSQL 将DDM同步到MySQL 将DDM同步到GaussDB(DWS) 将DDM同步到DDM
GaussDB分布式版为源任务序列值同步 GaussDB分布式版为源任务暂不支持同步序列值,如果同步的表中存在关联的序列,需要在任务结束后,参考以下内容手动同步序列值。 操作步骤 使用DRS同步任务测试连接时的用户登录GaussDB分布式版实例。 执行如下语句,查询库中具有管理序列的表及其关联的序列。
RDS for MySQL同步到Kafka 概述 资源和成本规划 操作流程 创建VPC和安全组 源端RDS for MySQL准备 目标端Kafka准备 创建DRS同步任务 确认同步任务执行结果 父主题: 实时同步