检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
VPC 云数据库 GaussDB 数据复制服务 DRS 数据管理服务 DAS 使用说明 本实践的资源规划仅作为演示,实际业务场景资源以用户实际需求为准。 本实践端到端的数据为测试数据,仅供参考。 全量同步可以实现数据迁移;增量同步可以实现实时同步源端和目标端两个库之间的数据。 前提条件
过全量同步过程完成目标端数据库的初始化后,增量同步阶段通过解析日志等技术,将源端和目标端数据库保持数据持续一致。 说明: 选择“全量+增量”同步模式,增量同步可以在全量同步完成的基础上实现数据的持续同步,无需中断业务,实现同步过程中源业务和数据库继续对外提供访问。 源数据库实例类型
续同步,无需中断业务,实现同步过程中源业务和数据库继续对外提供访问。 “全量”: 该模式为数据库一次性同步,适用于可中断业务的数据库同步场景,全量同步将非系统数据库的全部数据库对象和数据一次性同步至目标端数据库。 “增量”: 增量同步通过解析日志等技术,将源端产生的增量数据同步至目标端。
选择“全量+增量”同步模式,增量同步可以在全量同步完成的基础上实现数据的持续同步,无需中断业务,实现同步过程中源业务和数据库继续对外提供访问。 全量 该模式为数据库一次性同步,适用于可中断业务的数据库同步场景,全量同步将用户选择的数据库对象和数据一次性同步至目标端数据库。 指定公网IP
务的数据库同步场景,全量同步将非系统数据库的全部数据库对象和数据一次性同步至目标端数据库。 增量 说明: 选择“全量+增量”同步模式,增量同步可以在全量同步完成的基础上实现数据的持续同步,无需中断业务,实现同步过程中源业务和数据库继续对外提供访问。 在“源库及目标库”信息页面,同
选择“全量+增量”同步模式,增量同步可以在全量同步完成的基础上实现数据的持续同步,无需中断业务,实现同步过程中源业务和数据库继续对外提供访问。 全量 该模式为数据库一次性同步,适用于可中断业务的数据库同步场景,全量同步将用户选择的数据库对象和数据一次性同步至目标端数据库。 增量 增量
该冲突策略特指增量同步中的冲突处理策略,全量阶段的冲突默认忽略。冲突策略目前支持如下形式: 忽略 当同步数据与目标数据库已有数据冲突时(主键/唯一键存在重复等),将跳过冲突数据,继续进行后续同步。选择忽略可能导致源库与目标库数据不一致。 覆盖 当同步数据与目标数据库已有数据冲突时(主键
全量同步对象类型 全量同步对象类型,可选同步表结构、同步数据、同步索引,根据实际需求进行选择要同步内容。 同步数据为必选项。 选择同步表结构的时候目标库不能有同名的表。 不选同步表结构的时候目标库必须有相应的表,且要保证表结构与所选表结构相同。 DML同步 选择需要同步的DML操作,默认都勾选。
量底层实现原理可参考产品架构和功能原理。 “全量+增量”: 该模式为数据持续性实时同步,通过全量过程完成目标端数据库的初始化后,增量同步阶段通过解析日志等技术,将源端和目标端数据保持数据持续一致。 说明: 选择“全量+增量”同步模式,增量同步可以在全量同步完成的基础上实现数据的持
查看同步映射 实时同步映射关系包括对象选择时的库映射、schema映射、表映射和数据加工时的列映射。当同步映射关系配置成功后,启动实时同步任务即可查看同步映射详情。 前提条件 已登录数据复制服务控制台。 操作步骤 在“实时同步管理”界面,选择指定的同步任务,单击任务名称。 页面跳
为确保同步实例创建成功,仅显示已经开启DHCP的子网。 同步模式 DRS任务支持的同步模式。DRS全量、增量底层实现原理可参考产品架构和功能原理。 全量:该模式为数据库一次性同步,适用于可中断业务的数据库同步场景,全量同步将用户选择的数据库对象和数据一次性同步至目标端数据库。 全
据同步完成后进入增量同步状态。 增量同步会持续性同步增量数据,不会自动结束。 确认同步任务执行结果 由于本次实践为增量同步模式,DRS任务会将源库的产生的增量数据持续同步至目标库中,直到手动任务结束。下面我们通过在源库GaussDB中插入数据,查看Kafka的接收到的数据来验证同步结果。
立即中止。 覆盖 当同步数据与目标数据库已有数据冲突时(主键/唯一键存在重复等),将覆盖原来的冲突数据。 过滤DROP DATABASE 实时同步过程中,源数据库端执行的DDL操作在一定程度上会影响数据的同步能力,为了降低同步数据的风险,数据复制服务提供了过滤DDL操作的功能,目前支持默认过滤删除数据库的操作。
将源端和目标端数据库保持数据持续一致。 说明: 选择“全量+增量”同步模式,增量同步可以在全量同步完成的基础上实现数据的持续同步,无需中断业务,实现同步过程中源业务和数据库继续对外提供访问。 源数据库实例类型 同步模式为“全量+增量”时,需要根据源数据库的具体来源进行设置,目前
目标端数据保持数据持续一致。 说明: 选择“全量+增量”同步模式,增量同步可以在全量同步完成的基础上实现数据的持续同步,无需中断业务,实现同步过程中源业务和数据库继续对外提供访问。 全量 该模式为数据库一次性同步,适用于可中断业务的数据库同步场景,全量同步将用户选择的数据库对象和数据一次性同步至目标端数据库。
续同步,无需中断业务,实现同步过程中源业务和数据库继续对外提供访问。 “全量”: 该模式为数据库一次性同步,适用于可中断业务的数据库同步场景,全量同步将非系统数据库的全部数据库对象和数据一次性同步至目标端数据库。 “增量”: 增量同步通过解析日志等技术,将源端产生的增量数据同步至目标端。
要求才能保证数据同步顺利开展: 全量同步:需要具有CREATE SESSION,SELECT ANY DICTIONARY,针对单表的SELECT权限(GRANT SELECT ON <userName.tbName> to drsUser;)。 全量+增量和增量同步: 12c及以上版本租户模式:
“全量”: 该模式为数据库一次性同步,适用于可中断业务的数据库同步场景,全量同步将非系统数据库的全部数据库对象和数据一次性同步至目标端数据库。 “增量”: 增量同步通过解析日志等技术,将源端产生的增量数据同步至目标端。 说明: 选择“全量+增量”同步模式,增量同步可以在全量同步完成的基础上
PostgreSQL为源强制结束任务 本小节介绍PostgreSQL为源的同步链路在强制结束任务后,如何清理源库逻辑复制槽、如何同步序列值以及如何在源数据库已经无法连接的情况下,重置目标库中自增或自减列关联序列的序列值。 复制槽名命名规则为“drs_唯一性标识”。其中唯一性标识需要将任务node
败的风险。 数据同步拓扑 对象同步范围勾选“增量DDL”时可见,数据同步功能支持多种同步拓扑,您可以根据业务需求规划您的同步实例。数据同步拓扑说明可参考数据同步拓扑介绍。 增量支持DDL 对象同步范围勾选“增量DDL”时可见,选择增量同步的DDL类型,用户根据需求可选择“默认值”或“自定义”。