检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
多对一实时同步 数据订阅 数据订阅是指获取数据库中关键业务的数据变化信息,这类信息常常是下游业务所需要的。数据订阅将其缓存并提供统一的SDK接口,方便下游业务订阅、获取、并消费,从而实现数据库和下游系统解耦,业务流程解耦。 常用场景:Kafka订阅MySQL增量数据。 图4 数据订阅
多对一实时同步 数据订阅 数据订阅是指获取数据库中关键业务的数据变化信息,这类信息常常是下游业务所需要的。数据订阅将其缓存并提供统一的SDK接口,方便下游业务订阅、获取、并消费,从而实现数据库和下游系统解耦,业务流程解耦。 常用场景:Kafka订阅MySQL增量数据。 图4 数据订阅
MySQL到TaurusDB 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 ECS自建MySQL 5.5、5.6、5.7、8.0版本 本地自建MySQL 5.5、5.6、5.7、8.0版本 其他云上MySQL 5.5、5.6、5.7、8.0版本 TaurusDB标准版、基础版
MySQL到MySQL 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 ECS自建MySQL 5.5、5.6、5.7、8.0版本 本地自建MySQL5.5、 5.6、5.7、8.0版本 其他云上MySQL 5.5、5.6、5.7、8.0版本 RDS for MySQL
手动配置信息 操作场景 目前从本地或虚拟机通过DRS备份迁移功能直接迁移到本云RDS for SQL Server实例上,在迁移完成后还需要针对Login账号,DBLink,AgentJOB,关键配置进行识别,并手动完成相关同步工作。 Login账号 Login账号即SQL Se
手动配置信息 操作场景 目前从本地或虚拟机通过DRS备份迁移功能直接迁移到本云RDS for SQL Server实例上,在迁移完成后还需要针对Login账号,DBLink,AgentJOB,关键配置进行识别,并手动完成相关同步工作。 Login账号 Login账号即SQL Se
数据库的数据增量变更。 DRS服务从源数据库抽取原始增量日志,解析为标准格式并持久化保存到本地,同时实时调用客户端订阅SDK的notify接口,推送增量变更数据到客户端业务程序,客户端根据业务需求实现具体消费逻辑。 当客户端程序消费的变更数据会实时记录在服务器端,异常中断、重连等
GaussDB集中式版数据同步到Kafka 场景描述 本实践通过创建DRS同步任务,实现将源数据库GaussDB集中式版的增量数据同步到目标端Kafka。 前提条件 拥有华为云实名认证账号。 账户余额大于等于0元。 已登录数据复制服务控制台。 服务列表 虚拟私有云 VPC 云数据库GaussDB集中式版
GaussDB分布式版同步到Kafka 场景描述 本实践通过创建DRS同步任务,实现将源数据库GaussDB分布式版的增量数据同步到目标端Kafka。 前提条件 拥有华为云实名认证账号。 账户余额大于等于0元。 已登录数据复制服务控制台。 服务列表 虚拟私有云 VPC 云数据库GaussDB分布式版
实时同步链路规格说明 注意事项 文中提供的性能指标仅用于提供参考的测试数据,实际环境会受源或目标数据库性能、网络带宽、数据模型、业务模型等因素影响。 规格说明 表1 全量同步性能上限 链路名称 全量性能上限(MB/s)参考 MySQL为源链路 50 Oracle为源链路 40 Redis为源链路
创建RDS for MySQL实例 本章节介绍创建RDS for MySQL实例并构造测试数据。 创建实例 登录华为云控制台。 单击管理控制台左上角的,选择区域“华南-广州”。 单击左侧的服务列表图标,选择“数据库 > 云数据库 RDS”。 单击“购买数据库实例”。 配置实例名称和实例基本信息。
数据对比(对比灾备项) 对比使用场景 对比灾备项可以对比业务数据库和灾备数据库的数据一致性,目前灾备对比功能支持以下几种对比方式: 对象级对比:支持对数据库、索引、表、视图、存储过程和函数等对象进行对比。 数据级对比分为行对比和内容对比。 行对比:对比同步的表的行数是否一致,只查
审计日志格式说明 创建DRS录制回放任务时,源数据库引擎可选不同来源。不同源数据库来源对应的审计日志格式不同,具体说明可参考如下说明。 表1 审计日志参数说明 参数 说明 quo 包裹符号,一般审计日志中的SQL是会被该符号包裹起来。 column 每行总列数。 separator
Kafka消息格式 同步到Kafka集群中的数据以Avro、JSON和JSON-C格式存储。不同链路支持的数据格式可参考表1: 表1 支持的数据格式 数据流向 Avro JSON JSON-C MySQL->Kafka 支持 支持 支持 Oracle->Kafka 支持 支持 暂不支持
确认同步任务执行结果 由于本次实践为增量同步模式,DRS任务会将源库的产生的增量数据持续同步至目标库中,直到手动任务结束。下面我们通过在源库RDS for MySQL中插入数据,查看Kafka的接收到的数据来验证同步结果。 操作步骤 登录华为云控制台。 单击管理控制台左上角的,选择区域“华南-广州”。
任务状态说明 实时同步任务的状态和说明,请参见表1。 表1 实时同步任务状态和说明 状态 说明 创建中 正在创建数据复制服务需要用到的同步实例。 创建任务失败 创建实时同步实例失败。 配置 同步实例创建成功,但还没有启动任务,可以继续配置任务。 冻结 账户余额小于或等于0元,系统对该用户下的实例进行冻结。
创建目标库表结构 DRS目前仅支持迁移源端MySQL的数据到目标DDM,不支持迁移源库表结构及其他数据库对象。用户需要在目标库根据源端逻辑库的表结构,自行在目标库创建对应的表结构及索引。未在目标库创建的对象,视为用户不选择这个对象进行迁移。更对约束限制可参考使用须知。 操作步骤 登录华为云控制台。
多对一的场景约束及操作建议 因业务需要,不同实例、不同表的数据需要进行合并时,数据复制服务提供的数据迁移和实时同步均支持多对一的场景。 多对一场景分为实例级多对一和库表级多对一。其中实例级多对一可创建多个同步任务实现;库表级多对一仅实时同步支持,通过实时同步的对象名映射功能,实现库级或者表级数据多对一同步。
同步到GaussDB(DWS)的使用建议 增量DDL支持度 MySQL、Oracle等数据库语法与GaussDB(DWS)不同,增量阶段DDL同步存在失败的可能性,部分DDL转换规则可参考表1,建议在方案实施前联系GaussDB(DWS)技术支持评估DDL的支持度。 表1 DDL转换规则
资源和成本规划 表1 资源规划 类别 子类 规划 备注 VPC VPC名称 vpc-DRStest 自定义,易理解可识别。 所属Region 华南-广州 选择和自己业务区最近的Region,减少网络时延。 可用区 可用区1 - 子网网段 10.0.0.0/24 子网选择时建议预留足够的网络资源。