检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
实时同步 其他云PostgreSQL同步到RDS for PostgreSQL ECS自建PostgreSQL同步到RDS for PostgreSQL 本地PostgreSQL同步到RDS for PostgreSQL 本地MySQL同步到GaussDB分布式版 本地Oracle同步到GaussDB分布式版
数据复制服务提供的实时同步任务支持多种特性,有效的帮助您提高实时同步的成功率。 表4 高级特性列表 特性 说明 同步级别 数据复制服务提供的实时同步功能支持库级同步和表级同步。 库级同步是以库为单位的同步,不可单独选择表,且库中新增表会自动加入同步关系之中。 表级同步是以表为单位的同步,不可以
创建同步任务 使用流程 一次完整的实时同步,是通过创建实时同步任务,以同步任务作为导向,依次进行同步进度观察、同步日志分析、同步数据一致性对比等多项操作。通过多项指标和数据的对比分析,可以帮助您实现不同业务系统间的数据实时同步。 一次完整的实时同步包含如下过程: 图1 实时同步流程
同步数据库 本章节介绍创建DRS实例,将本地Oracle上的test_info数据库同步到GaussDB实例中test_database_info数据库中。 同步前检查 在创建任务前,需要针对同步条件进行手工自检,以确保您的同步任务更加顺畅。 在同步前,您需要参考入云使用须知获取同步相关说明。
DRS是否支持双向实时同步 DRS目前支持MySQL->MySQL的双向同步,为白名单功能,需要提交工单申请才能使用。您可以在管理控制台右上角,选择“工单 > 新建工单”,完成工单提交。 双向同步任务在创建过程对步骤是有严格要求的,请按照以下步骤进行部署,以确保双向任务顺利部署。
本服务目前已不支持,请使用数据治理中心进行同步。 增量数据同步 全量数据同步 全量+增量数据同步 将MySQL同步到GaussDB(DWS) 数据治理中心 RDS for MariaDB 增量数据同步 全量数据同步 全量+增量数据同步 将MySQL同步到MariaDB(入云) RDS for MySQL 本地自建MySQL数据库
导入同步对象 实时同步支持通过文件导入同步对象,创建实时同步任务后,在“设置同步”页面可选择“导入对象文件”。 使用须知 文件导入仅支持导入Windows Microsoft Excel 97-2003版本(*.xls),2007及以上版本(*.xlsx)的文件,下载的压缩包提供上述两个版本模板。
安全风险。 目标数据库的用户名和密码将在同步过程中被加密暂存到数据库和同步实例主机上,待该任务删除后会永久清除。 在“设置同步”页面,选择启动位点和同步对象,单击“下一步”。 图7 同步模式 表9 同步对象 参数 描述 启动位点 增量同步的启动位点,格式为timestamp:in
创建DRS同步任务 本章节介绍如何创建DRS同步任务,将本地自建Oracle上的数据库同步到华为云DDM。 同步前检查 在创建任务前,需要针对同步条件进行手工自检,以确保您的同步任务更加顺畅。 本示例为同步到DDM入云同步,您可以参考DRS使用须知获取相关信息。 创建同步任务 登录华为云控制台。
具体请参考 DRS增量同步怎样填启动位点 数据同步拓扑 对象同步范围勾选“增量DDL”时可见,数据同步功能支持多种同步拓扑,您可以根据业务需求规划您的同步实例。数据同步拓扑说明可参考数据同步拓扑介绍。 增量支持DDL 对象同步范围勾选“增量DDL”时可见,选择增量同步的DDL类型,用户根据需求可选择“默认值”或“自定义”。
自建MySQL服务器 创建VPC和安全组 创建ECS(MySQL服务器) 安装社区版MySQL 创建ECS并安装MySQL客户端 测试自建MySQL性能 父主题: 实施步骤
创建DRS同步任务 本章节介绍创建DRS实例,将RDS for MySQL上的数据库增量同步到Kafka。 同步前检查 在创建任务前,需要针对同步条件进行手工自检,以确保您的同步任务更加顺畅。 本示例中,为RDS for MySQL到Kafka的出云同步,您可以参考出云同步使用须知获取相关信息。
本实践使用DRS的实时同步功能将本地Oracle数据库实时迁移至华为云GaussDB。通过全量+增量同步,实现源数据库Oracle和目标数据库GaussDB的数据长期同步。 解决问题 企业业务高速发展,传统数据库扩容性差,迫切需要分布式化改造。 传统数据库需要自购并安装服务器、系统、数据库等软件,运维成本高、难度大。
DBCOMPATIBILITY 'mysql'; 同步前检查 在创建任务前,需要针对同步条件进行手工自检,以确保您的同步任务更加顺畅。 在同步前,您需要参考入云使用须知获取同步相关说明。 创建DRS同步任务 本章节介绍创建DRS实例,将本地MySQL上的test_info数据库同步到GaussDB实例中t
通过创建事件触发器和函数实现PostgreSQL增量DDL同步 本小结介绍PostgreSQL->RDS for PostgreSQL实时同步,通过在源库创建事件触发器和函数获取源库的DDL信息,然后在DRS增量实时同步阶段实现DDL操作的同步。 前提条件 当前支持的DDL操作包含如下: 表级同步支持:TRUNCATE(仅PostgreSQL
创建ECS(MySQL服务器) 购买弹性云服务器,用于安装MySQL社区版。 登录华为云管理控制台。 单击管理控制台左上角的,选择区域“华南-广州”。 单击页面左上角,选择“计算 > 弹性云服务器 ECS”。 单击“购买云服务器”。 配置弹性云服务器参数。 选择通用计算型s6.xlarge
详细说明可参考Kafka认证方式。 在“设置同步”页面,选择Topic和同步对象,单击“下一步”。 图8 同步模式 表9 同步模式和对象 参数 描述 DML同步 选择需要同步的DML操作,默认都勾选。 不勾选Delete则不会同步源库增量数据中的Delete语句,可能会导致数据
确认同步任务执行结果 由于本次实践为增量同步模式,DRS任务会将源库的产生的增量数据持续同步至目标库中,直到手动任务结束。下面我们通过在源库RDS for MySQL中插入数据,查看Kafka的接收到的数据来验证同步结果。 操作步骤 登录华为云控制台。 单击管理控制台左上角的,选择区域“华南-广州”。
本实践通过创建DRS同步任务,实现将源数据库RDS for MySQL的增量数据同步到目标端Kafka,主要包含以下部分内容: 介绍如何在华为云创建RDS for MySQL实例。 介绍如何在华为云创建分布式消息服务Kafka。 介绍如何创建DRS同步任务。 前提条件 拥有华为云实名认证账号。
本实践端到端的数据为测试数据,仅供参考。 全量同步可以实现数据迁移;增量同步可以实现实时同步源端和目标端两个库之间的数据。 前提条件 拥有华为云实名认证账号。 账户余额大于等于0元。 如果测试使用,需要自行在本地搭建Oracle数据库。 已知待迁移Oracle数据库的IP地址,端口,账户和密码。 父主题: