检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据同步拓扑介绍 DRS实时同步功能目前支持多种拓扑类型,用户可根据自己的需求进行规划,详细说明可参考以下内容。 为保证同步数据的一致性,请勿对目标数据库中的同步对象进行修改操作。 一对一实时同步 用户创建一个同步任务来实现一对一的实时同步。 一对多实时同步 用户需要用户创建多个
同步数据库 本章节介绍创建DRS实例,将本地Oracle上的test_info数据库同步到GaussDB实例中test_database_info数据库中。 同步前检查 在创建任务前,需要针对同步条件进行手工自检,以确保您的同步任务更加顺畅。 在同步前,您需要参考入云使用须知获取同步相关说明。
“全量+增量”: 该模式为数据持续性实时同步,通过全量过程完成目标端数据库的初始化后,增量同步阶段通过解析日志等技术,将源端和目标端数据保持数据持续一致。 说明: 选择“全量+增量”同步模式,增量同步可以在全量同步完成的基础上实现数据的持续同步,无需中断业务,实现同步过程中源业务和数据库继续对外提供访问。
场景描述 本实践通过创建DRS同步任务,实现将源数据库RDS for MySQL的增量数据同步到目标端Kafka,主要包含以下部分内容: 介绍如何在华为云创建RDS for MySQL实例。 介绍如何在华为云创建分布式消息服务Kafka。 介绍如何创建DRS同步任务。 前提条件 拥有华为云实名认证账号。
如果创建的任务为全量同步,任务启动后先进行全量数据同步,数据同步完成后任务自动结束。 如果创建的任务为全量+增量同步,任务启动后先进入全量同步,全量数据同步完成后进入增量同步状态。 增量同步会持续性同步增量数据,不会自动结束。 父主题: 本地Oracle同步到DDM
同步特点:实时同步功能聚焦于表和数据,并满足多种灵活性的需求,例如多对一、一对多,动态增减同步表,不同表名之间同步数据等。 图1 实时同步原理 支持的数据库类型 目前,DRS实时同步支持的源数据库和目标数据库类型,如下表所示。 表1 同步方案 源数据库类型 目标数据库类型 同步模式 相关文档
“全量+增量”: 该模式为数据持续性实时同步,通过全量过程完成目标端数据库的初始化后,增量同步阶段通过解析日志等技术,将源端和目标端数据保持数据持续一致。 说明: 选择“全量+增量”同步模式,增量同步可以在全量同步完成的基础上实现数据的持续同步,无需中断业务,实现同步过程中源业务和数据库继续对外提供访问。
进入增量同步状态。 增量同步会持续性同步增量数据,不会自动结束。 确认同步任务执行结果 由于本次实践为增量同步模式,DRS任务会将源库的产生的增量数据持续同步至目标库中,直到手动任务结束。下面我们通过在源库GaussDB中插入数据,查看Kafka的接收到的数据来验证同步结果。 登录华为云控制台。
DRS增量同步怎样填启动位点 同步对象 左侧框是源数据库对象,右侧框是已经选择的对象,同步对象支持表级同步和库级同步,您可以根据业务场景选择对应的数据进行同步。 说明: 选择对象的时候支持对展开的库进行搜索,以便您快速选择需要的数据库对象。 如果有切换源数据库的操作或源库同步对象变化
您也可以在创建任务后修改流速模式。具体方法请参见修改流速模式。 全量同步对象类型 全量同步对象类型,可选同步表结构、同步数据,根据实际需求进行选择要同步内容。 同步数据为必选项。 选择同步表结构的时候目标库不能有同名的表。 不选同步表结构的时候目标库必须有相应的表,且要保证表结构与所选表结构相同。
您也可以在创建任务后修改流速模式。具体方法请参见修改流速模式。 全量同步对象类型 全量同步对象类型,可选同步表结构、同步数据,根据实际需求进行选择要同步内容。 同步数据为必选项。 选择同步表结构的时候目标库不能有同名的表。 不选同步表结构的时候目标库必须有相应的表,且要保证表结构与所选表结构相同。
DRS是否支持双向实时同步 DRS目前支持MySQL->MySQL的双向同步,为白名单功能,需要提交工单申请才能使用。您可以在管理控制台右上角,选择“工单 > 新建工单”,完成工单提交。 双向同步任务在创建过程对步骤是有严格要求的,请按照以下步骤进行部署,以确保双向任务顺利部署。
在“设置同步”页面,选择Topic和同步对象,单击“下一步”。 图8 同步模式 表9 同步模式和对象 参数 描述 DML同步 选择需要同步的DML操作,默认都勾选。 不勾选Delete则不会同步源库增量数据中的Delete语句,可能会导致数据不一致,因此存在数据冲突或任务失败的风险。
VPC 云数据库 GaussDB 数据复制服务 DRS 数据管理服务 DAS 使用说明 本实践的资源规划仅作为演示,实际业务场景资源以用户实际需求为准。 本实践端到端的数据为测试数据,仅供参考。 全量同步可以实现数据迁移;增量同步可以实现实时同步源端和目标端两个库之间的数据。 前提条件
通过创建事件触发器和函数实现PostgreSQL增量DDL同步 本小结介绍PostgreSQL->RDS for PostgreSQL实时同步,通过在源库创建事件触发器和函数获取源库的DDL信息,然后在DRS增量实时同步阶段实现DDL操作的同步。 前提条件 当前支持的DDL操作包含如下:
约束的表同步到目标数据库是符合预期的。 目前支持的冲突策略有: 忽略 当同步数据与目标数据库已有数据冲突时(主键/唯一键存在重复等),以目标数据为准,DRS将跳过冲突数据,继续进行后续同步。 覆盖 当同步数据与目标数据库已有数据冲突时(主键/唯一键存在重复等),以源数据为准,DRS将覆盖原来的冲突数据。
导入同步对象 实时同步支持通过文件导入同步对象,创建实时同步任务后,在“设置同步”页面可选择“导入对象文件”。 使用须知 文件导入仅支持导入Windows Microsoft Excel 97-2003版本(*.xls),2007及以上版本(*.xlsx)的文件,下载的压缩包提供上述两个版本模板。
数据加工 数据复制服务支持对同步的对象进行加工,即可以为选择的对象添加规则。各链路支持的加工规则不一样,目前仅部分链路支持数据加工,支持数据加工链路参考表1,具体操作方法可参考对应的内容。 表1 支持数据加工的链路 同步方向 数据流向 数据过滤 附加列 列加工 入云 MySQL->MySQL
全量同步对象类型 全量同步对象类型,可选同步表结构、同步数据、同步索引,根据实际需求进行选择要同步内容。 同步数据为必选项。 选择同步表结构的时候目标库不能有同名的表。 不选同步表结构的时候目标库必须有相应的表,且要保证表结构与所选表结构相同。 DML同步 选择需要同步的DML操作,默认都勾选。
务的数据库同步场景,全量同步将非系统数据库的全部数据库对象和数据一次性同步至目标端数据库。 增量 说明: 选择“全量+增量”同步模式,增量同步可以在全量同步完成的基础上实现数据的持续同步,无需中断业务,实现同步过程中源业务和数据库继续对外提供访问。 在“源库及目标库”信息页面,同