检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MySQL数据同步对源数据库和目标数据库有什么影响 以下数据以MySQL2MySQL大规格实时同步任务为例,不同规格对数据库的连接数存在差异,仅供参考。 DRS对源数据库的压力及影响 全量(初始化)阶段,DRS需要从源库将所有存量数据查询一次。DRS查询使用简单SQL语句,对源库
操作流程 创建DDM实例,并且将Oracle数据同步到DDM的主要任务流程如图1所示。 图1 流程图 父主题: 本地Oracle同步到DDM
如何通过设置VPC安全组,实现DRS任务网络互通 基于安全的考虑,本云VPC与外部网络是隔离的,VPC内是无法访问外部的弹性IP(如其他云数据库的弹性IP、云下数据库的弹性IP等)。但数据库迁移场景需要确保本云VPC内的DRS实例与源、目标数据库可连通,为此,您需要分别设置源数据
使用建议 如果您使用的是全量同步模式,确保源和目标数据库无业务写入,保证同步前后数据一致。如果您使用的是全量+增量同步模式,支持在源数据库有业务数据写入的情况下进行同步。 数据库同步与环境多样性和人为操作均有密切关系,为了确保同步的平顺,建议您在进行正式的数据库同步之前进行一次演练,可以帮助您提前发现问题并解决问题。
修改。 数据库用户名 目标数据库的用户名。 数据库密码 目标数据库的用户名所对应的密码。 源和目标数据库用户名和密码将在同步过程中被加密暂存到数据库和同步实例主机上,待该任务删除后会永久清除。 在“设置同步”页面,选择同步对象和同步用户,单击“下一步”。 图8 设置同步 表12 同步对象
在“设置同步”页面,选择同步策略、数据格式和同步对象,单击“下一步”。 图8 设置同步 表11 同步对象 参数 描述 DML同步 选择需要同步的DML操作,默认都勾选。 不勾选Delete则不会同步源库增量数据中的Delete语句,可能会导致数据不一致,因此存在数据冲突或任务失败的风险。
一键存在重复等),同步任务将失败并立即中止。 覆盖 当同步数据与目标数据库已有数据冲突时(主键/唯一键存在重复等),将覆盖原来的冲突数据。 过滤DROP语句 实时同步过程中,源数据库端执行的DDL操作在一定程度上会影响数据的同步能力,为了降低同步数据的风险,数据复制服务提供了过滤
左侧导航栏选择“实时同步管理”,单击“创建同步任务”。 配置同步实例信息。 选择区域、项目,填写任务名称。 配置同步实例信息,选择“数据流动方向”、“源数据库引擎”、“目标数据库引擎”、“网络类型”、“目标数据库实例”、“同步实例所在子网”(非必选)、“同步模式”,选择“规格类型”和“可用区”、,选填“标签”。
跳跃续传同步任务 实时同步中可能因外部因素需要暂时停止同步,用户在解决问题后,可以通过跳跃续传功能跳过暂停时间段的数据继续同步。目前仅DDM->Oracle的增量同步阶段,支持跳跃续传功能。 前提条件 已登录数据复制服务控制台。 任务状态为暂停。 操作步骤 在“实时同步管理”页面
具体请参考 DRS增量同步怎样填启动位点 数据同步拓扑 数据同步功能支持多种同步拓扑,您可以根据业务需求规划您的同步实例。数据同步拓扑说明可参考数据同步拓扑介绍。 增量支持DDL 选择增量同步的DDL类型,用户根据需求可选择“默认值”或“自定义”。 “默认值”: 库级同步情况下,Binl
析日志等技术,将源端和目标端数据保持数据持续一致。 全量 该模式为数据库一次性同步,适用于可中断业务的数据库同步场景,全量同步将非系统数据库的全部数据库对象和数据一次性同步至目标端数据库。 增量: 增量同步通过解析日志等技术,将源端产生的增量数据同步至目标端。 指定公网IP 网络
重置同步位点 对于MySQL->GaussDB(DWS)的实时同步链路,DRS支持增量位点重置功能,可根据用户选择的重置位点时间,将同步任务调整到问题发生之前,重新同步。 约束限制 目前仅支持引擎为MySQL->GaussDB(DWS)的同步任务支持重置位点。 任务在增量阶段时,需要先暂停任务,再进行重置位点。
同步规格变更 当DRS任务规格无法满足业务需要时,可参考以下内容升级DRS任务规格,变更开始后,任务状态为规格变更中,数据同步处于暂停阶段,变更完成后,会自动续传。 约束限制 账户余额大于等于0元,才可变更规格。 目前同步仅支持任务类型为单AZ的同步任务升级实例规格,不支持父子任务升级实例规格,不支持降低规格。
将MySQL同步到Kafka 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 本地自建MySQL数据库 ECS自建MySQL数据库 Kafka 使用建议 DRS任务启动和全量数据同步阶段,请不要在源数据库执行DDL操作,否则可能导致任务异常。 为保证同步前后数据一致性,确保同步期间目标数据库无业务写入。
全量: 该模式为数据库一次性同步,适用于可中断业务的数据库同步场景,全量同步将非系统数据库的全部数据库对象和数据一次性同步至目标端数据库,包括:表、视图、存储过程等。 增量 该模式通过解析日志等技术,将源端产生的增量数据持续同步至目标端数据库。 指定公网IP 网络类型选择“公网
支持包括:表、数据、索引、视图、存储过程、函数、数据库账号、数据库参数等。 可选择表级、库级或全部迁移维度。 支持同构、异构数据库间的数据同步,维持不同业务之间的数据持续性流动。 聚焦于表和数据,并满足多种灵活性的需求。 可选择表级、库级同步维度。 支持同构数据库间的数据灾备。 实现异地数据库主备倒换的效果。
选择“全量+增量”同步模式,增量同步可以在全量同步完成的基础上实现数据的持续同步,无需中断业务,实现同步过程中源业务和数据库继续对外提供访问。 “全量”: 该模式为数据库一次性同步,适用于可中断业务的数据库同步场景,全量同步将非系统数据库的全部数据库对象和数据一次性同步至目标端数据库。 “增量”:
查询数据库的当前位点 例如,查询数据库当前LSN位点 图4 查询lsn 根据获取信息,任务的启动位点设置为如下: 图5 设置启动位点 DDS为源 DDS到MongoDB和DDS到Kafka的同步出云任务,支持设置启动位点,在“设置同步”页面用户可以选填启动位点,同步任务从启动
场景。 全量同步阶段: 对于全量同步中的目标数据库表对象,不能进行写入操作,否则会导致数据不一致。 全量同步分为表结构同步(含索引)、数据同步两个阶段,任务中只要有一个表的结构在目标库中创建成功即进入数据同步阶段。如果同步完成产生失败表,再启动时将只同步数据,不同步表结构信息,用户必须手动在目标库中建表。
创建数据库评估任务 登录UGO控制台。 单击左侧导航栏“结构迁移 > 数据库评估”。 在评估数据库页面,单击右上角的“创建项目”。 查看Oracle源数据库准备和授权,源库准备完成后,单击“启动创建”。 进入基本信息页面,完成基本信息的填写。 基本信息填写完成后,“开始测试”高亮显示。