检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
移至华为云DDM。 方案架构 本示例源端为一个分库分表关联两个MySQL实例,目标端为一个DDM关联两个RDS for MySQL实例,通过DRS将源端数据迁移至目标端,并在手动结束增量同步任务前持续同步源端数据。整体的部署架构可参考图1。 图1 方案架构 方案优势 采用全量+增
询压力,以及占用2~4个CPU。 正在同步的数据被其他事务长时间锁死,可能导致读数据超时。 由于MySQL固有特点限制,CPU资源紧张时,存储引擎为Tokudb的表,读取速度可能下降至10%。 DRS并发读取数据库,会占用大约6-10个session连接数,需要考虑该连接数对业务的影响。
RS在数据传输和增量数据存储两大环节采用了压缩技术。 数据传输压缩:在网络带宽不理想的环境中,进行数据同步与传输,DRS可以开启压缩开关,以减少数据传输对带宽的占用量。 增量数据存储压缩:增量数据转储成逻辑文件后,将会出现膨胀现象,DRS针对该场景做了存储压缩技术,使得本地逻辑文件缓存在DRS时占用磁盘空间大大降低。
同步无主键表时,为了确保数据一致性,会存在3s以内的单表级锁定。 正在同步的数据被其他事务长时间锁死,可能导致读数据超时。 由于MySQL固有特点限制,CPU资源紧张时,存储引擎为Tokudb的表,读取速度可能下降至10%。 DRS并发读取数据库,会占用大约6-10个session连接数,需要考虑该连接数对业务的影响。
oracle:云下自建Oracle数据库。 ecs_oracle:华为云ECS自建Oracle数据库。 cloud_gaussdbv5:华为云数据库GaussDB分布式。 mysql:他云/本地自建MySQL数据库。 ecs_mysql:华为云ECS自建MySQL数据库。 cloud_mysql:华为云数据库RDS
enable参数建议为false。 操作须知 若专属计算集群不支持4vCPU/8G或以上规格实例,则无法创建同步任务。 相互关联的数据对象要确保同时同步,避免因关联对象缺失,导致同步失败。常见的关联关系:视图引用表、视图引用视图、存储过程/函数/触发器引用视图/表、主外键关联表等。
TABLE:表。 VIEW:视图。 EVENT:事件。 ROUTINE:存储过程和函数。 INDEX:索引。 TRIGGER:触发器。 SYNONYM:同义词。 FUNCTION:函数。 PROCEDURE:存储过程。 TYPE:自定义类型。 RULE:规则。 DEFAULT_TYPE:缺省值。
DRS任务的双AZ和单AZ有什么区别 目前,DRS实时同步任务在创建任务时支持选择任务类型为“双AZ”或“单AZ”。 双AZ任务:一主一备的经典高可用架构,提高了DRS任务的可靠性。双AZ任务创建后,DRS会同时创建一主一备两个子任务,当主AZ任务发生异常,DRS会自动启动备AZ任务继续进行
拥有华为云实名认证账号。 账户余额大于等于0元。 部署架构 本示例中,DRS源数据库为其他云MySQL,目标端为华为云云数据库GaussDB(for MySQL),通过公网网络,将源数据库迁移到目标端,部署架构可参考图1。 图1 部署架构图 服务列表 虚拟私有云 VPC 云数据库 GaussDB(for
estring,multilinestring,multipoint,point,polygon 等地理坐标类型 不支持视图、约束、函数、存储过程、触发器(TRIGGER)和事件(EVENT)的同步。 不支持系统库的同步以及事件状态的同步。 目标库Oracle不支持空字符串,同步
双AZ:一主一备的经典高可用架构,提高了DRS任务的可靠性。双AZ任务创建后,DRS会同时创建一主一备两个子任务,当主AZ任务发生异常,DRS会自动启动备AZ任务继续进行同步,提高同步任务的可靠性。适用于业务数据量较大,需要长期同步,并对中断时间有严格要求的场景。 单AZ:采用单个节点部署架构,每个任
双AZ:一主一备的经典高可用架构,提高了DRS任务的可靠性。双AZ任务创建后,DRS会同时创建一主一备两个子任务,当主AZ任务发生异常,DRS会自动启动备AZ任务继续进行同步,提高同步任务的可靠性。适用于业务数据量较大,需要长期同步,并对中断时间有严格要求的场景。 单AZ:采用单个节点部署架构,每个任
支持表、主键索引、唯一索引、普通索引、存储过程、视图、函数的同步。 仅支持MyISAM和InnoDB表的同步。 不支持事件、触发器的同步。 视图、存储过程、函数依赖的表不支持做表名映射。 任务做表名映射时,不支持该表的外键约束同步。 任务做库名映射时,同步的对象中如果存在存储过程、视图、函数对象,
同步保障。您可以轻松地实现云下数据库到云上的灾备、跨云平台的数据库灾备,无需预先投入巨额基础设施。 数据灾备支持两地三中心、两地四中心灾备架构。单边灾备可以利用灾备场景的升主、降备功能从而实现异地主备倒换的效果。 图1 实时灾备倒换 图2 双主灾备原理 防回环同步原理概述(DML)
由“原库名_原表名_原索引名”计算得到。同理,表上的原约束名将变为:哈希值+原约束名(可能被截断)+_key,或表名_原索引名。 全量阶段基于索引实现上差异,只保留普通B-Tree索引,其他索引默认不同步。GaussDB(DWS)索引过多时会影响存储空间和入库性能,建议用户可根据业务需求按需建索引。
常见故障排查: 在任务创建、启动、全量同步、增量同步、结束等过程中,如有遇到问题,可先参考“故障排查”章节进行排查。 其他限制 如果专属计算集群不支持4vCPU/8G或以上规格实例,则无法创建同步任务。 数据类型不兼容时,可能引起同步失败。 对于表中的物理生成列,如果列是根据一
OBS自建桶,存储类别选择“标准存储”,桶策略选择“公共读”。 如果批量上传多个文件(单次最多支持100个文件同时上传,总大小不超过5GB),或单次上传文件大于5GB时,需要下载并安装OBS Browser+客户端,支持大文件断点续传功能。相关操作请参见《对象存储服务客户端指南》。
选择中去掉;若需要同步TDE加密的库,请先将TDE关闭。 不支持列加密。 不支持同步自增属性列。 暂时不支持源数据库计算列到目标数据库计算列的写入,支持源数据库计算列到目标数据库普通列的写入。 增量同步的范围: 支持DML(Data Manipulation Language):
源数据表是否含有不可作为分布键的列类型 PostgreSQL->GaussDB(DWS)同步 表1 源数据表是否含有不可作为分布键的列类型 预检查项 源数据表是否含有不可作为分布键的列类型 描述 源数据表的列类型中含有不可作为分布键的列类型,会造成数据同步失败。 不通过提示及处理建议
选择中去掉;若需要同步TDE加密的库,请先将TDE关闭。 不支持列加密。 不支持同步自增属性列。 暂时不支持源数据库计算列到目标数据库计算列的写入,支持源数据库计算列到目标数据库普通列的写入。 增量同步的范围: 支持DML(Data Manipulation Language):