检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
效果。 图1 实时灾备倒换 图2 双主灾备原理 防回环同步原理概述(DML) 从源库解析日志时,解析到的数据中可能包含某种标记,包含这种标记的数据是通过DRS写到源库的,应用写入的数据无标记,解析后过滤掉不符合标记条件的数据。 回放数据到目标库时,对要回放的数据打上特殊标记,这个标记会记录到数据库日志中。
IP、DRS节点的IP同时能与源库的所有VIP互通(Oracle内部机制),否则无法通过连通性检查。如果不使用SCAN IP,可以使用某一节点的VIP,这种情况下DRS日志解析只会在VIP指定的RAC节点上进行。 如果源库为RAC,增量同步首次启动时所有RAC节点必须正常在线,否则增量启动会出现异常。
IP配置DRS任务,需要保证SCAN IP、DRS节点的IP同时能与源库的所有VIP互通(Oracle内部机制),否则无法通过连通性检查。如果不使用SCAN IP,可以使用某一节点的VIP,这种情况下DRS日志解析只会在VIP指定的RAC节点上进行。 由于Oracle与MySQL的部分语法有
迁移至目标端数据库。 增量模式:该模式通过解析日志等技术,将源端产生的增量数据持续迁移至目标端数据库。 全量+增量模式:该模式为数据库持续性迁移,适用于对业务中断敏感的场景,通过全量迁移过程完成目标端数据库的初始化后,增量迁移阶段通过解析日志等技术,将源端持续迁移至目标端数据库,保持数据一致。
查看订阅数据 数据复制服务支持通过管理控制台在线查看增量订阅数据,能够查看的时间范围为订阅任务的数据范围(不含视图和存储过程的数据)。 本小节介绍在线查看订阅数据的方式,及数据记录的各个字段的含义。 前提条件 已登录数据复制服务管理控制台。 已成功创建数据订阅任务。 操作步骤 在
同步用户权限:同步用户的default privilege需要为系统默认值,否则可能导致目标库与源库的对象权限不一致。 说明: 同步事件触发器、文本搜索解析器、文本搜索模板时,不仅要求目标库版本为RDS for PostgreSQL 11.11及以上,还要求目标库连接用户为root用户或root用户的成员。
认数据库选择”按钮。 确认目标库选择后单击“确认”。 目标数据库确认后,弹出提示框。 立即创建:页面跳转至创建迁移项目信息填写页面,可直接创建迁移项目。 稍后创建:不进行页面跳转,仍停留在“目标数据库分析”页签。 父主题: 创建UGO任务
再编辑操作如果删除或者新增了流量文件,需要在重置任务时勾选解析重置,再重新进行回放,可参考重置回放任务。 流量回放过程为并发执行,DDL语句和DML语句在同一个batch(10s)内,可能存在顺序打乱执行的情况。 解析阶段须知 解析文件选择完成后,不支持文件重命名操作。 回放阶段须知
创建DRS同步任务 本章节介绍创建DRS实例,将RDS for MySQL上的数据库增量同步到Kafka。 同步前检查 在创建任务前,需要针对同步条件进行手工自检,以确保您的同步任务更加顺畅。 本示例中,为RDS for MySQL到Kafka的出云同步,您可以参考出云同步使用须知获取相关信息。
再编辑操作如果删除或者新增了流量文件,需要在重置任务时勾选解析重置,再重新进行回放,可参考重置回放任务。 流量回放过程为并发执行,DDL语句和DML语句在同一个batch(10s)内,可能存在顺序打乱执行的情况。 解析阶段须知 解析文件选择完成后,不支持文件重命名操作。 回放阶段须知
再编辑操作如果删除或者新增了流量文件,需要在重置任务时勾选解析重置,再重新进行回放,可参考重置回放任务。 流量回放过程为并发执行,DDL语句和DML语句在同一个batch(10s)内,可能存在顺序打乱执行的情况。 解析阶段须知 解析文件选择完成后,不支持文件重命名操作。 回放阶段须知
再编辑操作如果删除或者新增了流量文件,需要在重置任务时勾选解析重置,再重新进行回放,可参考重置回放任务。 流量回放过程为并发执行,DDL语句和DML语句在同一个batch(10s)内,可能存在顺序打乱执行的情况。 解析阶段须知 解析文件选择完成后,不支持文件重命名操作。 回放阶段须知
再编辑操作如果删除或者新增了流量文件,需要在重置任务时勾选解析重置,再重新进行回放,可参考重置回放任务。 流量回放过程为并发执行,DDL语句和DML语句在同一个batch(10s)内,可能存在顺序打乱执行的情况。 解析阶段须知 解析文件选择完成后,不支持文件重命名操作。 回放阶段须知
录制回放 解析失败,提示OBS连接失败 父主题: 失败案例
迁移方案概览 由于安全原因,数据库的IP地址有时不能暴露在公网上,但是选择专线网络进行数据库迁移,成本又高。这种情况下,您可以选用数据复制服务提供的备份迁移,通过将源数据库的数据导出成备份文件,并上传至对象存储服务,然后恢复到目标数据库。备份迁移可以帮助您在云服务不触碰源数据库的情况下,实现数据迁移。
据库的初始化后,增量同步阶段通过解析日志等技术,将源端和目标端数据保持数据持续一致。 全量 该模式为数据库一次性同步,适用于可中断业务的数据库同步场景,全量同步将非系统数据库的全部数据库对象和数据一次性同步至目标端数据库。 增量: 增量同步通过解析日志等技术,将源端产生的增量数据同步至目标端。
等待启动 已经下发了定时启动任务到回放实例上,等待回放实例启动任务。 启动中 正在启动回放任务。 启动失败 录制回放任务启动失败。 解析中 正在解析流量文件。 回放中 正在进行录制回放。 回放失败 流量数据回放到目标数据库失败。 回放完成 所选择的流量文件的SQL已经全部回放到了目标数据库。
能够和全量数据接续,保证数据的完整性和一致性。 第三阶段:增量数据迁移。全量任务结束后,增量迁移任务启动,此时会从全量开始的增量数据持续的解析转换和回放,直到追平当前的增量数据。 第四阶段:为了防止触发器、事件在迁移阶段对于数据的操作,在结束任务阶段再迁移触发器、事件。 全量数据迁移的底层模块主要原理:
要进行续传或重置操作,否则会导致同步对象缓存被清理,再编辑修改同步对象失败。 对于首次启动增量失败的任务,如果是抓取和解析失败的情况,请先确保主任务的抓取和解析进程正常,然后进行再编辑加减表操作。 再编辑修改同步对象进行新增或减少表操作时,在任务启动之后,如果遇到异常导致子任务失
之间的同步。 源数据库实例 用户所创建的GaussDB分布式版实例。 同步实例所在子网 请选择同步实例所在的子网。也可以单击“查看子网”,跳转至“网络控制台”查看实例所在子网帮助选择。 默认值为当前所选数据库实例所在子网,请选择有可用IP地址的子网。为确保同步实例创建成功,仅显示已经开启DHCP的子网。