检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在网络无瓶颈的情况下,灾备初始化阶段会对业务数据库增加约50MB/s的查询压力,以及占用2~4个CPU。 灾备无主键表时,为了确保数据一致性,会存在3s以内的单表级锁定。 正在灾备的数据被其他事务长时间锁死,可能导致读数据超时。 DRS并发读取数据库,会占用大约6-10个session连接数,需要考虑该连接数对业务的影响。
在网络无瓶颈的情况下,全量同步会对源数据库增加约50MB/s的查询压力,以及占用2~4个CPU。 同步无主键表时,为了确保数据一致性,会存在3s以内的单表级锁定。 正在同步的数据被其他事务长时间锁死,可能导致读数据超时。 DRS并发读取数据库,会占用大约6-10个session连接数,需要考虑该连接数对业务的影响。
GaussDB分布式版->GaussDB主备版 对象名修改 实时同步过程中,如果待同步的库、schema、表对象在源数据库和目标数据库中存储名称不同,可以使用实时同步提供的映射功能进行映射。例如:将源数据库中的A库同步到目标数据库,变成目标数据库中的B库,此时就可以使用库映射功能来实现。
自定义,易理解可识别。 数据库版本 MySQL 5.7 - 实例类型 单机 本示例中为单机。 实际使用时,为提升业务可靠性,推荐选择主备RDS实例。 存储类型 SSD云盘 - 可用区 可用区一 本示例中为可用区一。 实际业务场景推荐选择主备RDS实例,此时建议将两个实例创建在不同的可用区,提升业务可靠性。
在“预检查”阶段对同步对象进行自动检查。 表3 支持的同步对象 类型名称 使用须知 同步对象范围 支持表、主键索引、唯一索引、普通索引、存储过程、视图、函数的同步。 仅支持MyISAM和InnoDB表的同步。 不支持事件(EVENT)和触发器(TRIGGER)的同步。 全量和增
表一个Topic的场景。 投送到kafka的数据格式 选择投送到kafka的数据格式。 JSON:为Json消息格式,方便解释格式,但需要占用更多的空间。 详细格式可参考Kafka消息格式。 同步对象 左侧框是源数据库对象,右侧框是已经选择的对象,同步对象支持表级同步和库级同步,
表3 支持的同步对象 类型名称 使用须知 同步对象范围 支持表、主键索引、唯一索引、普通索引、存储过程、视图、函数的同步。 仅支持MyISAM和InnoDB表的同步。 视图、存储过程、函数依赖的表不支持做表名映射。 不支持事件(EVENT)和触发器(TRIGGER)的同步。
支持的同步对象 类型名称 使用须知 同步对象范围 支持表、主键索引、唯一索引、普通索引、存储过程、视图、函数的同步。 仅支持MyISAM和InnoDB表的同步。 不支持事件、触发器的同步。 视图、存储过程、函数依赖的表不支持做表名映射。 任务做表名映射时,不支持该表的外键约束同步。 注意事项
源数据库中的表名、视图名不能包含:'<>/\"以及非ASCII字符。 支持选择表级、库级或实例级(全部迁移)。 支持数据库、表、用户、视图、索引、约束、函数、存储过程、触发器(TRIGGER)和事件(EVENT)的迁移。 仅支持MyISAM和InnoDB表的迁移。 不支持系统库的迁移以及事件状态的迁移。
全量:该模式为数据库一次性迁移,适用于可中断业务的数据库迁移场景,全量迁移将非系统数据库的全部数据库对象和数据一次性迁移至目标端数据库,包括:表、视图、存储过程等。 说明: 如果用户只进行全量迁移时,建议停止对源数据库的操作,否则迁移过程中源数据库产生的新数据不会同步到目标数据库。 全量+增量
增量数据迁移的底层实现模块主要原理: 日志读取模块:日志读取模块从源数据库读取原始增量日志数据(例如MySQL为binlog),经过解析转换为标准的日志格式存储在本地。 日志回放模块:日志回放模块根据日志读取模块转换的标准格式增量日志,根据用户的选择策略进行加工过滤,将增量数据同步到目标数据库。 备份迁移基本原理
选择投送到kafka的数据格式。 Avro:可以显示Avro二进制编码,高效获取数据。 JSON:为Json消息格式,方便解释格式,但需要占用更多的空间。 JSON-C:一种能够兼容多个批量,流式计算框架的数据格式。 详细格式可参考Kafka消息格式。 同步对象 左侧框是源数据库
如果有切换源数据库的操作或源库迁移对象变化的情况,请务必在选择迁移对象前单击右上角的,以确保待选择的对象为最新源数据库对象。 说明: 若选择部分数据库进行迁移时,由于存储过程、视图等对象可能与其他数据库的表存在依赖关系,若所依赖的表未迁移,则会导致迁移失败。建议您在迁移之前进行确认,或选择全部数据库进行迁移。
自定义,易理解可识别。 数据库版本 MySQL 5.7 - 实例类型 单机 本示例中为单机。 实际使用时,为提升业务可靠性,推荐选择主备RDS实例。 存储类型 SSD云盘 - 可用区 可用区一 本示例中为可用区一。 实际业务场景推荐选择主备RDS实例,此时建议将两个实例创建在不同的可用区,提升业务可靠性。
DB-数据库 TABLE-表 VIEW-视图 EVENT-事件 ROUTINE-存储过程和函数 INDEX-索引 TRIGGER-触发器 SYNONYM-同义词 FUNCTION-函数 PROCEDURE-存储过程 TYPE-自定义类型 RULE-规则 DEFAULT_TYPE-缺省值
Server数据库备份文件: 准备一个OBS桶,如果没有,则首先需要创建,相关操作请参见《对象存储服务控制台指南》中“创建桶”章节。 将备份文件上传到OBS桶,并注意备份文件名称格式的正确性。上传备份文件的方法请参见《对象存储服务控制台指南》中“上传文件”章节。 参考RDS for SQL Server购买实例章节内容,准备目标数据库。
本章节将以MySQL到RDS for MySQL的迁移为示例,介绍在VPC网络场景下,通过数据复制服务管理控制台配置数据迁移任务的流程,其他存储引擎的配置流程类似。 VPC网络适合云上同Region数据库之间的迁移。 在数据复制服务中,数据库迁移是通过任务的形式完成的,通过创建任务
自定义,易理解可识别。 数据库版本 MySQL 5.7 - 实例类型 单机 本示例中为单机。 实际使用时,为提升业务可靠性,推荐选择主备RDS实例。 存储类型 SSD云盘 - 可用区 可用区一 本示例中为可用区一。 实际业务场景推荐选择主备RDS实例,此时建议将两个实例创建在不同的可用区,提升业务可靠性。
源数据库参数server_id是否符合增量迁移要求 源数据库参数log_slave_updates检查 源数据库的GTID功能检查 源数据库是否存在使用不支持的存储引擎的表 源数据库是否为GaussDB(for MySQL)备库 源端表结构是否存在换行 源数据库和目标数据库的字符集是否一致 time_zone的一致性检查
源数据库中的表名、视图名不能包含:'<>/\"以及非ASCII字符。 支持选择表级、库级或实例级(全部迁移)。 支持数据库、表、用户、视图、索引、约束、函数、存储过程、触发器(TRIGGER)和事件(EVENT)的迁移。 仅支持MyISAM和InnoDB表的迁移。 不支持系统库的迁移以及事件状态的迁移。