检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
例,则无法创建同步任务。 数据类型不兼容时,可能引起同步失败。 源数据库中存在主键重复的数据时, 直接同步将导致目标库数据比源库少, 请务必检查并订正数据后启动同步。 源库的表如果包含系统列_ddm_lock、_slot,该列下的数据在同步过程中会被过滤,导致数据丢失。 任务创建
PostgreSQL为源强制结束任务 本小节介绍PostgreSQL为源的同步链路在强制结束任务后,如何清理源库逻辑复制槽、如何同步序列值以及如何在源数据库已经无法连接的情况下,重置目标库中自增或自减列关联序列的序列值。 复制槽名命名规则为“drs_唯一性标识”。其中唯一性标识需要将任务node
将源端和目标端数据库保持数据持续一致。 说明: 选择“全量+增量”同步模式,增量同步可以在全量同步完成的基础上实现数据的持续同步,无需中断业务,实现同步过程中源业务和数据库继续对外提供访问。 源数据库实例类型 同步模式为“全量+增量”时,需要根据源数据库的具体来源进行设置,目前
实时同步管理 批量数据加工 批量设置同步策略 高级设置 父主题: API v3(不再推广)
量底层实现原理可参考产品架构和功能原理。 “全量+增量”: 该模式为数据持续性实时同步,通过全量过程完成目标端数据库的初始化后,增量同步阶段通过解析日志等技术,将源端和目标端数据保持数据持续一致。 说明: 选择“全量+增量”同步模式,增量同步可以在全量同步完成的基础上实现数据的持
据同步完成后进入增量同步状态。 增量同步会持续性同步增量数据,不会自动结束。 确认同步任务执行结果 由于本次实践为增量同步模式,DRS任务会将源库的产生的增量数据持续同步至目标库中,直到手动任务结束。下面我们通过在源库GaussDB中插入数据,查看Kafka的接收到的数据来验证同步结果。
要求才能保证数据同步顺利开展: 全量同步:需要具有CREATE SESSION,SELECT ANY DICTIONARY,针对单表的SELECT权限(GRANT SELECT ON <userName.tbName> to drsUser;)。 全量+增量和增量同步: 12c及以上版本租户模式:
败的风险。 数据同步拓扑 对象同步范围勾选“增量DDL”时可见,数据同步功能支持多种同步拓扑,您可以根据业务需求规划您的同步实例。数据同步拓扑说明可参考数据同步拓扑介绍。 增量支持DDL 对象同步范围勾选“增量DDL”时可见,选择增量同步的DDL类型,用户根据需求可选择“默认值”或“自定义”。
目标库信息 参数 描述 数据库实例名称 默认为创建同步任务时选择的RDS for MySQL数据库实例,不可进行修改。 数据库用户名 目标数据库对应的数据库用户名。 数据库密码 目标数据库的登录密码。 目标数据库的用户名和密码将在同步过程中被加密暂存到数据库和同步实例主机上,待该任务删除后会永久清除。
增量同步阶段通过解析日志等技术,将源端和目标端数据库保持数据持续一致。 说明: 选择“全量+增量”同步模式,增量同步可以在全量同步完成的基础上实现数据的持续同步,无需中断业务,实现同步过程中源业务和数据库继续对外提供访问。 是否开启Binlog快速清理 选择是否开启目标数据库实例
立即中止。 覆盖 当同步数据与目标数据库已有数据冲突时(主键/唯一键存在重复等),将覆盖原来的冲突数据。 过滤DROP DATABASE 实时同步过程中,源数据库端执行的DDL操作在一定程度上会影响数据的同步能力,为了降低同步数据的风险,数据复制服务提供了过滤DDL操作的功能,目前支持默认过滤删除数据库的操作。
结束同步任务 业务系统和数据库切换至目标数据库后,可选择结束同步任务。对于需要恢复目标数据库或停止同步的任务,您可选择结束任务,避免源数据库的操作继续同步到目标数据库,造成数据覆盖问题。 如下状态下的任务可以结束: 创建中 配置 等待启动 全量同步 全量同步失败 增量同步 增量同步失败
续同步,无需中断业务,实现同步过程中源业务和数据库继续对外提供访问。 “全量”: 该模式为数据库一次性同步,适用于可中断业务的数据库同步场景,全量同步将非系统数据库的全部数据库对象和数据一次性同步至目标端数据库。 “增量”: 增量同步通过解析日志等技术,将源端产生的增量数据同步至目标端。
对于库级和实例级迁移、同步任务,由于Online DDL使用的临时表在同步列表中,DRS会自动同步DDL操作,因此不需要特殊处理。 对于表级迁移或同步任务,如果创建DRS任务时,迁移或同步对象列表中已经提前添加了第三方Online DDL涉及的临时表的场景,DRS也会自动同步DDL操作,不需要特殊处理。
“全量”: 该模式为数据库一次性同步,适用于可中断业务的数据库同步场景,全量同步将非系统数据库的全部数据库对象和数据一次性同步至目标端数据库。 “增量”: 增量同步通过解析日志等技术,将源端产生的增量数据同步至目标端。 说明: 选择“全量+增量”同步模式,增量同步可以在全量同步完成的基础上
目标端数据保持数据持续一致。 说明: 选择“全量+增量”同步模式,增量同步可以在全量同步完成的基础上实现数据的持续同步,无需中断业务,实现同步过程中源业务和数据库继续对外提供访问。 全量 该模式为数据库一次性同步,适用于可中断业务的数据库同步场景,全量同步将用户选择的数据库对象和数据一次性同步至目标端数据库。
启动同步 UGO结构迁移阶段1:表、主键、唯一键/索引等 DRS同步阶段1:全量同步 UGO结构迁移阶段2:普通索引 DRS同步阶段2:增量同步 UGO结构迁移阶段3:触发器、事件、任务、外键、sequence 父主题: 本地Oracle同步到GaussDB主备版
双向同步任务倒换 双向同步中,为了防止DDL回环,只有正向任务支持DDL,反向不支持DDL。针对该特点,DRS提供修改任务方向功能,用户可使用此功能调换任务角色,实现反向的DDL。 约束限制 仅支持双向同步任务进行方向转换。 正向、反向任务均为暂停状态时,才能进行方向转换。 方向转换后,需要续传任务使转换生效。
无需中断业务,实现同步过程中源业务和数据库继续对外提供访问。 全量 该模式为数据库一次性同步,适用于可中断业务的数据库同步场景,全量同步将用户选择的数据库对象和数据一次性同步至目标端数据库。 增量 该模式通过解析日志等技术,将源端产生的增量数据持续同步至目标端数据库。 指定公网IP
源端表字段的jdbc类型。 data 最新的数据,为JSON数组,如果type参数是插入则表示最新插入的数据,如果是更新,则表示更新后的最新数据。 old 旧数据,如果type参数是更新,则表示更新前的数据;如果是删除,则表示被删除的数据;如果是插入,取值为null。 pkNames