检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建同步任务 使用流程 一次完整的实时同步,是通过创建实时同步任务,以同步任务作为导向,依次进行同步进度观察、同步日志分析、同步数据一致性对比等多项操作。通过多项指标和数据的对比分析,可以帮助您实现不同业务系统间的数据实时同步。 一次完整的实时同步包含如下过程: 图1 实时同步流程
DRS是否支持双向实时同步 DRS目前支持MySQL->MySQL的双向同步,为白名单功能,需要提交工单申请才能使用。您可以在管理控制台右上角,选择“工单 > 新建工单”,完成工单提交。 双向同步任务在创建过程对步骤是有严格要求的,请按照以下步骤进行部署,以确保双向任务顺利部署。
导入同步对象 实时同步支持通过文件导入同步对象,创建实时同步任务后,在“设置同步”页面可选择“导入对象文件”。 使用须知 文件导入仅支持导入Windows Microsoft Excel 97-2003版本(*.xls),2007及以上版本(*.xlsx)的文件,下载的压缩包提供上述两个版本模板。
创建DRS同步任务 本章节介绍如何创建DRS同步任务,将本地自建Oracle上的数据库同步到华为云DDM。 同步前检查 在创建任务前,需要针对同步条件进行手工自检,以确保您的同步任务更加顺畅。 本示例为同步到DDM入云同步,您可以参考DRS使用须知获取相关信息。 创建同步任务 登录华为云控制台。
创建DRS同步任务 本章节介绍创建DRS实例,将RDS for MySQL上的数据库增量同步到Kafka。 同步前检查 在创建任务前,需要针对同步条件进行手工自检,以确保您的同步任务更加顺畅。 本示例中,为RDS for MySQL到Kafka的出云同步,您可以参考出云同步使用须知获取相关信息。
全量+增量数据同步 将MySQL同步到PostgreSQL GaussDB分布式版 增量数据同步 全量数据同步 全量+增量数据同步 将MySQL同步到GaussDB分布式版(入云) 将MySQL同步到GaussDB分布式版(自建) GaussDB主备版 增量数据同步 全量数据同步 全量+增量数据同步
在同步前,您需要参考入云使用须知获取同步相关说明。 创建同步任务 登录华为云控制台。 单击管理控制台左上角的,选择区域。 选择目标实例所在的区域。 单击左侧的服务列表图标,选择“数据库 > 数据复制服务 DRS”。 左侧导航栏选择“实时同步管理”,单击“创建同步任务”。 配置同步实例信息。 选择区域、项目,填写任务名称。
支持的高级特性 数据复制服务提供的实时同步任务支持多种特性,有效的帮助您提高实时同步的成功率。 表4 高级特性列表 特性 说明 同步级别 数据复制服务提供的实时同步功能支持库级同步和表级同步。 库级同步是以库为单位的同步,不可单独选择表,且库中新增表会自动加入同步关系之中。 表级同步是以表为单
d_Gtid_Set。 数据同步拓扑 对象同步范围勾选“增量DDL”时可见,数据同步功能支持多种同步拓扑,您可以根据业务需求规划您的同步实例。数据同步拓扑说明可参考数据同步拓扑介绍。 增量支持DDL 对象同步范围勾选“增量DDL”时可见,选择增量同步的DDL类型,用户根据需求可选择“默认值”或“自定义”。
单击左侧的服务列表图标,选择“应用中间件 > 分布式消息服务Kafka版”。 在“Kafka专享版”页面,单击Kafka实例的名称。 选择“消息查询”页签,在Kafka对应的Topic中,查看接收到相应的JSON格式数据。 结束同步任务。 根据业务情况,确认数据已全部同步至目标库,可以结束当前任务。
同步完成。同步过程中,数据和索引的同步相对较慢。 在全量同步过程中,DRS展示同步进度和明细,您可以查看具体同步对象的进度,当“对象数目”和“已迁移数目”相等时,表示该对象已经同步完成,可通过“查看详情”查看每个对象的同步进度。增量同步中,“进度明细”将不再显示,您可以使用“同步对比”页签查看一致性情况。
编辑同步对象 数据复制服务提供的编辑同步对象功能,可以对已启动并在增量中的同步任务对象进行修改。 对于正常增量中的任务,您可以通过编辑同步对象功能来增加或者移除同步的数据库和表。对于新增加的表,DRS会进行所选对象同步。 对于增量失败中的任务,也可通过编辑同步对象功能修改同步对象
行chunk同步,会导致返回的行数不准确,对比结果不一致。详细情况可参考MongoDB官方文档。 操作步骤 本小节以DDS到MongoDB的出云单增量实时同步为示例,介绍如何使用数据复制服务配置实时同步任务。 在“实时同步管理”页面,单击“创建同步任务”。 在“同步实例”页面,填
以保证服务中断后的顺利恢复。 选择同步对象时,单次选择的库表名称和列名称的大小不能超过4M。如果超过该限制,可以通过再编辑同步对象功能,分批增加同步对象。 操作步骤 在“实时同步管理”页面,单击“创建同步任务”。 在“同步实例”页面,填选区域、项目、任务名称、描述、同步实例信息,单击“开始创建”。
详细说明可参考Kafka认证方式。 在“设置同步”页面,选择Topic和同步对象,单击“下一步”。 图8 同步模式 表9 同步模式和对象 参数 描述 DML同步 选择需要同步的DML操作,默认都勾选。 不勾选Delete则不会同步源库增量数据中的Delete语句,可能会导致数据
以保证服务中断后的顺利恢复。 选择同步对象时,单次选择的库表名称和列名称的大小不能超过4M。如果超过该限制,可以通过再编辑同步对象功能,分批增加同步对象。 操作步骤 在“实时同步管理”页面,单击“创建同步任务”。 在“同步实例”页面,填选区域、项目、任务名称、描述、同步实例信息,单击“开始创建”。
是否可进行实时同步。 在“任务确认”页面,设置同步任务的启动时间,并确认同步任务信息无误后,勾选协议,单击“启动任务”,提交同步任务。 同步任务提交后,您可在“实时同步管理”页面,查看并管理自己的任务。 方式二 在“实时同步管理”界面,选择指定同步任务,单击任务名称。 单击“进入”,进入“源库及目标库”页面。
本地Oracle同步到GaussDB分布式版 本地Oracle同步到GaussDB主备版 本地Oracle同步到DDM RDS for MySQL同步到Kafka GaussDB分布式版同步到Kafka GaussDB主备版数据同步到Kafka
MOVEMENT。 全量同步对象类型 全量同步对象类型,可选同步表结构、同步数据、同步索引,根据实际需求进行选择要同步内容。 同步数据为必选项。 选择同步表结构的时候目标库不能有同名的表。 不选同步表结构的时候目标库必须有相应的表,且要保证表结构与所选表结构相同。 DML同步 选择需要同步的DML操作,默认都勾选。
11及以上版本 支持的同步对象范围 在使用DRS进行同步时,不同类型的同步任务,支持的同步对象范围不同,详细情况可参考表2。DRS会根据用户选择,在“预检查”阶段对同步对象进行自动检查。 表2 支持的同步对象 类型名称 使用须知 同步对象范围 不支持实例级同步:每次至多同步一个库(dat