检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建同步任务 使用流程 一次完整的实时同步,是通过创建实时同步任务,以同步任务作为导向,依次进行同步进度观察、同步日志分析、同步数据一致性对比等多项操作。通过多项指标和数据的对比分析,可以帮助您实现不同业务系统间的数据实时同步。 一次完整的实时同步包含如下过程: 图1 实时同步流程
同步数据库 本章节介绍创建DRS实例,将本地Oracle上的test_info数据库同步到GaussDB实例中test_database_info数据库中。 同步前检查 在创建任务前,需要针对同步条件进行手工自检,以确保您的同步任务更加顺畅。 在同步前,您需要参考入云使用须知获取同步相关说明。
场景描述 本实践通过创建DRS同步任务,实现将源数据库RDS for MySQL的增量数据同步到目标端Kafka,主要包含以下部分内容: 介绍如何在华为云创建RDS for MySQL实例。 介绍如何在华为云创建分布式消息服务Kafka。 介绍如何创建DRS同步任务。 前提条件 拥有华为云实名认证账号。
通过创建事件触发器和函数实现PostgreSQL增量DDL同步 本小结介绍PostgreSQL->RDS for PostgreSQL实时同步,通过在源库创建事件触发器和函数获取源库的DDL信息,然后在DRS增量实时同步阶段实现DDL操作的同步。 前提条件 当前支持的DDL操作包含如下:
MySQL 增量数据同步 全量数据同步 全量+增量数据同步 将DDM同步到MySQL(入云) 本地自建MySQL数据库 ECS自建MySQL数据库 其他云上MySQL数据库 增量数据同步 全量数据同步 全量+增量数据同步 将DDM同步到MySQL(出云) DDM 全量+增量数据同步 将DDM同步到DDM
导入同步对象 实时同步支持通过文件导入同步对象,创建实时同步任务后,在“设置同步”页面可选择“导入对象文件”。 使用须知 文件导入仅支持导入Windows Microsoft Excel 97-2003版本(*.xls),2007及以上版本(*.xlsx)的文件,下载的压缩包提供上述两个版本模板。
DRS是否支持双向实时同步 DRS目前支持MySQL->MySQL的双向同步,为白名单功能,需要提交工单申请才能使用。您可以在管理控制台右上角,选择“工单 > 新建工单”,完成工单提交。 双向同步任务在创建过程对步骤是有严格要求的,请按照以下步骤进行部署,以确保双向任务顺利部署。
如果创建的任务为全量同步,任务启动后先进行全量数据同步,数据同步完成后任务自动结束。 如果创建的任务为全量+增量同步,任务启动后先进入全量同步,全量数据同步完成后进入增量同步状态。 增量同步会持续性同步增量数据,不会自动结束。 父主题: 本地Oracle同步到DDM
VPC 云数据库 GaussDB 数据复制服务 DRS 数据管理服务 DAS 使用说明 本实践的资源规划仅作为演示,实际业务场景资源以用户实际需求为准。 本实践端到端的数据为测试数据,仅供参考。 全量同步可以实现数据迁移;增量同步可以实现实时同步源端和目标端两个库之间的数据。 前提条件
数据同步拓扑介绍 DRS实时同步功能目前支持多种拓扑类型,用户可根据自己的需求进行规划,详细说明可参考以下内容。 为保证同步数据的一致性,请勿对目标数据库中的同步对象进行修改操作。 一对一实时同步 用户创建一个同步任务来实现一对一的实时同步。 一对多实时同步 用户需要用户创建多个
检查无误后,单击“下一步”,进入下一步操作。 查看数据过滤 在“实时同步管理”页面任务列表中,选择需要查看数据加工的任务,单击任务名称。 选择“数据加工”页签,查看数据过滤记录。单击右上角的,可刷新数据。 查看列加工 在“实时同步管理”页面任务列表中,选择需要查看的任务,单击任务名称。 选择“同步映射”页签,单击
单击管理控制台左上角的,选择区域“华南-广州”。 单击左侧的服务列表图标,选择“数据库 > 数据复制服务 DRS”。 选择左侧“实时同步管理”,单击“创建同步任务”。 填写同步任务参数: 配置同步任务名称。 选择需要同步任务的源库、目标数据库以及网络信息。 这里的源库选择源端RDS for MySQL准备创建的RDS实例。
数据对比(对比同步项) 对比使用场景 对比实时同步项可以清晰反馈出源数据库和目标数据库的数据是否存在差异。为了尽可能减少业务的影响和业务中断时间,实时同步场景提供了以下几种对比方式: 对象级对比:支持对数据库、索引、表、视图、存储过程和函数、表的排序规则等对象进行对比。 数据级对比分为行对比和内容对比。
实时同步 实时同步是指在不同的系统之间,将数据通过同步技术从一个数据源拷贝到其他数据库,并保持一致,实现关键业务的数据实时流动。实时同步不同于迁移,迁移是以整体数据库搬迁为目的,而实时同步是维持不同业务之间的数据持续性流动。 目前部分功能仅支持白名单用户使用,需要提交工单申请才能
查询同步进度 实时同步进度展示了同步过程中,各同步对象的同步进度,DRS通过流式进度展示,可以帮助您实时了解同步完成的情况。 在全量同步过程中,DRS展示进度总览,您可以查看结构、数据、索引迁移的进度。同步进度是根据同步对象的数量来统计百分比进行展示,当显示为100%时,表示该项
同步前构造数据 同步前需要在源库构造一些数据类型,供同步完成后验证数据。 DRS支持的数据类型如下所示: 表1 数据类型映射关系 源库数据类型 目标库数据类型 源库数据类型做主键,同步能力 源库数据类型做非主键,同步能力 源库数据类型做主键,对比能力 源库数据类型做非主键,对比能力
“全量+增量”: 该模式为数据持续性实时同步,通过全量过程完成目标端数据库的初始化后,增量同步阶段通过解析日志等技术,将源端和目标端数据保持数据持续一致。 说明: 选择“全量+增量”同步模式,增量同步可以在全量同步完成的基础上实现数据的持续同步,无需中断业务,实现同步过程中源业务和数据库继续对外提供访问。
确认同步任务执行结果 由于本次实践为增量同步模式,DRS任务会将源库的产生的增量数据持续同步至目标库中,直到手动任务结束。下面我们通过在源库RDS for MySQL中插入数据,查看Kafka的接收到的数据来验证同步结果。 操作步骤 登录华为云控制台。 单击管理控制台左上角的,选择区域“华南-广州”。
行chunk同步,会导致返回的行数不准确,对比结果不一致。详细情况可参考MongoDB官方文档。 操作步骤 本小节以DDS到MongoDB的出云单增量实时同步为示例,介绍如何使用数据复制服务配置实时同步任务。 在“实时同步管理”页面,单击“创建同步任务”。 在“同步实例”页面,填
编辑同步对象 数据复制服务提供的编辑同步对象功能,可以对已启动并在增量中的同步任务对象进行修改。 对于正常增量中的任务,您可以通过编辑同步对象功能来增加或者移除同步的数据库和表。对于新增加的表,DRS会进行所选对象同步。 对于增量失败中的任务,也可通过编辑同步对象功能修改同步对象