检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建同步任务 使用流程 一次完整的实时同步,是通过创建实时同步任务,以同步任务作为导向,依次进行同步进度观察、同步日志分析、同步数据一致性对比等多项操作。通过多项指标和数据的对比分析,可以帮助您实现不同业务系统间的数据实时同步。 一次完整的实时同步包含如下过程: 图1 实时同步流程
创建DRS同步任务 本章节介绍如何创建DRS同步任务,将本地自建Oracle上的数据库同步到华为云DDM。 同步前检查 在创建任务前,需要针对同步条件进行手工自检,以确保您的同步任务更加顺畅。 本示例为同步到DDM入云同步,您可以参考DRS使用须知获取相关信息。 创建同步任务 登录华为云控制台。
同步数据库 本章节介绍创建DRS实例,将本地Oracle上的test_info数据库同步到GaussDB实例中test_database_info数据库中。 同步前检查 在创建任务前,需要针对同步条件进行手工自检,以确保您的同步任务更加顺畅。 在同步前,您需要参考入云使用须知获取同步相关说明。
全量+增量数据同步 将MySQL同步到PostgreSQL GaussDB分布式版 增量数据同步 全量数据同步 全量+增量数据同步 将MySQL同步到GaussDB分布式版(入云) 将MySQL同步到GaussDB分布式版(自建) GaussDB主备版 增量数据同步 全量数据同步 全量+增量数据同步
创建DRS同步任务 本章节介绍创建DRS实例,将RDS for MySQL上的数据库增量同步到Kafka。 同步前检查 在创建任务前,需要针对同步条件进行手工自检,以确保您的同步任务更加顺畅。 本示例中,为RDS for MySQL到Kafka的出云同步,您可以参考出云同步使用须知获取相关信息。
DRS是否支持双向实时同步 DRS目前支持MySQL->MySQL的双向同步,为白名单功能,需要提交工单申请才能使用。您可以在管理控制台右上角,选择“工单 > 新建工单”,完成工单提交。 双向同步任务在创建过程对步骤是有严格要求的,请按照以下步骤进行部署,以确保双向任务顺利部署。
导入同步对象 实时同步支持通过文件导入同步对象,创建实时同步任务后,在“设置同步”页面可选择“导入对象文件”。 使用须知 文件导入仅支持导入Windows Microsoft Excel 97-2003版本(*.xls),2007及以上版本(*.xlsx)的文件,下载的压缩包提供上述两个版本模板。
安全风险。 目标数据库的用户名和密码将在同步过程中被加密暂存到数据库和同步实例主机上,待该任务删除后会永久清除。 在“设置同步”页面,选择启动位点和同步对象,单击“下一步”。 图7 同步模式 表9 同步对象 参数 描述 启动位点 增量同步的启动位点,格式为timestamp:in
概述 场景描述 本实践使用DRS的实时同步功能将本地Oracle数据库实时迁移至华为云GaussDB。通过全量+增量同步,实现源数据库Oracle和目标数据库GaussDB的数据长期同步。 解决问题 企业业务高速发展,传统数据库扩容性差,迫切需要分布式化改造。 传统数据库需要自购
确认同步任务执行结果 由于本次实践为增量同步模式,DRS任务会将源库的产生的增量数据持续同步至目标库中,直到手动任务结束。下面我们通过在源库RDS for MySQL中插入数据,查看Kafka的接收到的数据来验证同步结果。 操作步骤 登录华为云控制台。 单击管理控制台左上角的,选择区域“华南-广州”。
通过创建事件触发器和函数实现PostgreSQL增量DDL同步 本小结介绍PostgreSQL->RDS for PostgreSQL实时同步,通过在源库创建事件触发器和函数获取源库的DDL信息,然后在DRS增量实时同步阶段实现DDL操作的同步。 前提条件 当前支持的DDL操作包含如下: 表级同步支持:TRUNCATE(仅PostgreSQL
本实践通过创建DRS同步任务,实现将源数据库RDS for MySQL的增量数据同步到目标端Kafka,主要包含以下部分内容: 介绍如何在华为云创建RDS for MySQL实例。 介绍如何在华为云创建分布式消息服务Kafka。 介绍如何创建DRS同步任务。 前提条件 拥有华为云实名认证账号。
d_Gtid_Set。 数据同步拓扑 对象同步范围勾选“增量DDL”时可见,数据同步功能支持多种同步拓扑,您可以根据业务需求规划您的同步实例。数据同步拓扑说明可参考数据同步拓扑介绍。 增量支持DDL 对象同步范围勾选“增量DDL”时可见,选择增量同步的DDL类型,用户根据需求可选择“默认值”或“自定义”。
本地Oracle同步到GaussDB分布式版 本地Oracle同步到GaussDB主备版 本地Oracle同步到DDM RDS for MySQL同步到Kafka GaussDB分布式版同步到Kafka GaussDB主备版数据同步到Kafka
同步完成。同步过程中,数据和索引的同步相对较慢。 在全量同步过程中,DRS展示同步进度和明细,您可以查看具体同步对象的进度,当“对象数目”和“已迁移数目”相等时,表示该对象已经同步完成,可通过“查看详情”查看每个对象的同步进度。增量同步中,“进度明细”将不再显示,您可以使用“同步对比”页签查看一致性情况。
数据复制服务提供的实时同步任务支持多种特性,有效的帮助您提高实时同步的成功率。 表4 高级特性列表 特性 说明 同步级别 数据复制服务提供的实时同步功能支持库级同步和表级同步。 库级同步是以库为单位的同步,不可单独选择表,且库中新增表会自动加入同步关系之中。 表级同步是以表为单位的同步,不可以
您也可以在创建任务后修改流速模式。具体方法请参见修改流速模式。 全量同步对象类型 全量同步对象类型,可选同步表结构、同步数据,根据实际需求进行选择要同步内容。 同步数据为必选项。 选择同步表结构的时候目标库不能有同名的表。 不选同步表结构的时候目标库必须有相应的表,且要保证表结构与所选表结构相同。
详细说明可参考Kafka认证方式。 在“设置同步”页面,选择Topic和同步对象,单击“下一步”。 图8 同步模式 表9 同步模式和对象 参数 描述 DML同步 选择需要同步的DML操作,默认都勾选。 不勾选Delete则不会同步源库增量数据中的Delete语句,可能会导致数据
您也可以在创建任务后修改流速模式。具体方法请参见修改流速模式。 全量同步对象类型 全量同步对象类型,可选同步表结构、同步数据,根据实际需求进行选择要同步内容。 同步数据为必选项。 选择同步表结构的时候目标库不能有同名的表。 不选同步表结构的时候目标库必须有相应的表,且要保证表结构与所选表结构相同。
在“任务确认”页面,设置同步任务的启动时间,并确认同步任务信息无误后,勾选协议,单击“启动任务”,提交同步任务。 同步任务提交后,您可在“实时同步管理”页面,查看并管理自己的任务。 方式二 在“实时同步管理”界面,选择指定同步任务,单击任务名称。 单击“进入”,进入“源库及目标库”页面。 执行2到6。