检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用建议 DRS任务启动和全量数据同步阶段,请不要在源数据库执行DDL操作,否则可能导致任务异常。 为保证同步前后数据一致性,确保同步期间目标数据库无业务写入。 数据库同步与环境多样性和人为操作均有密切关系,为了确保同步的平顺,建议您在进行正式的数据库同步之前进行一次演练,可以帮助您提前发现问题并解决问题。
选择“全量+增量”同步模式,增量同步可以在全量同步完成的基础上实现数据的持续同步,无需中断业务,实现同步过程中源业务和数据库继续对外提供访问。 “全量”: 该模式为数据库一次性同步,全量同步将源库数据一次性同步至目标端数据库。 “增量”: 增量同步通过解析日志等技术,将源端产生的增量数据同步至目标端。 源端DN数量
在“设置同步”页面,选择Topic和同步对象,单击“下一步”。 图8 同步模式 表9 同步模式和对象 参数 描述 DML同步 选择需要同步的DML操作,默认都勾选。 不勾选Delete则不会同步源库增量数据中的Delete语句,可能会导致数据不一致,因此存在数据冲突或任务失败的风险。
本实践使用DRS的实时同步功能将本地Oracle数据库实时同步至华为云DDM。通过全量+增量同步,实现源数据库Oracle和目标数据库DDM的数据长期同步。 前提条件 拥有华为云实名认证账号。 账户余额大于等于0元。 服务列表 虚拟私有云 VPC 分布式数据库中间件DDM 数据复制服务 DRS
“全量”: 该模式为数据库一次性同步,适用于可中断业务的数据库同步场景,全量同步将非系统数据库的全部数据库对象和数据一次性同步至目标端数据库。 “增量”: 增量同步通过解析日志等技术,将源端产生的增量数据同步至目标端。 说明: 选择“全量+增量”同步模式,增量同步可以在全量同步完成的基础上
启DHCP的子网。 同步模式 DRS任务支持的同步模式。DRS全量、增量底层实现原理可参考产品架构和功能原理。 全量:该模式为数据库一次性同步,适用于可中断业务的数据库同步场景,全量同步将用户选择的数据库对象和数据一次性同步至目标端数据库。 指定公网IP 网络类型选择“公网网络”
确认同步执行结果 确认同步结果可参考如下两种方式: DRS会针对同步对象、数据等维度进行对比,从而给出同步结果,详情参见在DRS管理控制台查看同步结果。 直接登录数据库查看库、表、数据是否同步完成。手工确认数据同步情况,详情参见在DDM管理控制台查看同步结果。 在DRS管理控制台查看同步结果
续同步,无需中断业务,实现同步过程中源业务和数据库继续对外提供访问。 “全量”: 该模式为数据库一次性同步,适用于可中断业务的数据库同步场景,全量同步将非系统数据库的全部数据库对象和数据一次性同步至目标端数据库。 “增量”: 增量同步通过解析日志等技术,将源端产生的增量数据同步至目标端。
本实践使用UGO语法迁移、DRS的实时同步功能将本地Oracle数据库实时同步至华为云GaussDB。通过全量+增量同步,实现源数据库Oracle和目标数据库GaussDB的数据迁移,最终业务割接至GaussDB。 解决问题 企业业务高速发展,传统数据库扩容性差,迫切需要分布式化改造。 传统数据库需要自购
该冲突策略特指增量同步中的冲突处理策略,全量阶段的冲突默认忽略。冲突策略目前支持如下形式: 忽略 当同步数据与目标数据库已有数据冲突时(主键/唯一键存在重复等),将跳过冲突数据,继续进行后续同步。选择忽略可能导致源库与目标库数据不一致。 覆盖 当同步数据与目标数据库已有数据冲突时(主键
创建实时同步任务 实时同步是指在不同的系统之间,将数据通过同步技术从一个数据源拷贝到其他数据库,并保持一致,实现关键业务的数据实时流动。 本文以本地MySQL同步到云上RDS for MySQL为例,帮助您使用DRS实时同步功能,通过通过创建公网网络类型的全量+增量同步任务,快速
增量同步阶段通过解析日志等技术,将源端和目标端数据库保持数据持续一致。 说明: 选择“全量+增量”同步模式,增量同步可以在全量同步完成的基础上实现数据的持续同步,无需中断业务,实现同步过程中源业务和数据库继续对外提供访问。 是否开启Binlog快速清理 选择是否开启目标数据库实例
的冲突数据。 过滤DROP DATABASE 实时同步过程中,源数据库端执行的DDL操作在一定程度上会影响数据的同步能力,为了降低同步数据的风险,数据复制服务提供了过滤DDL操作的功能,目前支持默认过滤删除数据库的操作。 是,表示过程中不会同步用户在源数据库端执行的删除数据库的操作。
则无法创建同步任务。 数据类型不兼容时,可能引起同步失败。 源数据库中存在主键重复的数据时,直接同步将导致目标库数据比源库少,请务必检查并订正数据后启动同步。 源库的表如果包含系统列_ddm_lock、_slot,该列下的数据在全量、增量同步过程中都会被过滤,导致数据丢失。 支持
本地Oracle同步到GaussDB分布式版 本地Oracle同步到GaussDB主备版 本地Oracle同步到DDM RDS for MySQL同步到Kafka GaussDB分布式版同步到Kafka GaussDB主备版数据同步到Kafka
目标库信息 参数 描述 数据库实例名称 默认为创建同步任务时选择的RDS for MySQL数据库实例,不可进行修改。 数据库用户名 目标数据库对应的数据库用户名。 数据库密码 目标数据库的登录密码。 目标数据库的用户名和密码将在同步过程中被加密暂存到数据库和同步实例主机上,待该任务删除后会永久清除。
slot。 全量同步阶段须知 同步过程中,不允许修改连接源和目标数据库的密码,或修改源和目标数据库的端口号。 同步过程中,不允许对正在同步中的目标数据库进行修改操作。 增量同步过程须知 同步过程中,不允许修改连接源和目标数据库的密码,或修改源和目标数据库的端口号。 同步过程中,不允许对正在同步中的目标数据库进行修改操作。
对于库级和实例级迁移、同步任务,由于Online DDL使用的临时表在同步列表中,DRS会自动同步DDL操作,因此不需要特殊处理。 对于表级迁移或同步任务,如果创建DRS任务时,迁移或同步对象列表中已经提前添加了第三方Online DDL涉及的临时表的场景,DRS也会自动同步DDL操作,不需要特殊处理。
同步场景操作参考 Kafka消息格式 Kafka认证方式 GaussDB分布式版为源任务序列值同步 GaussDB分布式版为源强制结束任务 GaussDB主备版为源强制结束任务 PostgreSQL为源强制结束任务 通过创建事件触发器和函数实现PostgreSQL增量DDL同步
场景。 全量同步阶段: 对于全量同步中的目标数据库表对象,不能进行写入操作,否则会导致数据不一致。 全量同步分为表结构同步(含索引)、数据同步两个阶段,任务中只要有一个表的结构在目标库中创建成功即进入数据同步阶段。如果同步完成产生失败表,再启动时将只同步数据,不同步表结构信息,用户必须手动在目标库中建表。