检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
概述 场景描述 本实践通过创建DRS同步任务,实现将源数据库RDS for MySQL的增量数据同步到目标端Kafka,主要包含以下部分内容: 介绍如何在华为云创建RDS for MySQL实例。 介绍如何在华为云创建分布式消息服务Kafka。 介绍如何创建DRS同步任务。 前提条件
将MySQL迁移到MySQL 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 本地自建数据库(MySQL 5.5、5.6、5.7、8.0版本) ECS自建数据库(MySQL 5.5、5.6、5.7、8.0版本) 其他云上数据库(MySQL 5.5、5.6、5.7、8.0
华为云数据库到华为云 同Region同VPC,通过VPC网络接入华为云 同Region不同VPC,通过VPC网络接入华为云 不同Region,通过公网网络接入华为云 不同Region,通过VPN网络接入华为云
本地MySQL同步到GaussDB分布式版 场景描述 本实践使用DRS的实时同步功能将本地MySQL数据库实时迁移至华为云GaussDB。通过全量+增量同步,实现源数据库MySQL和目标数据库GaussDB的数据长期同步。 解决问题 企业业务高速发展,传统数据库扩容性差,迫切需要分布式化改造
迁移数据库 本章节介绍创建DRS实例,源端MySQL分库分表的数据迁移到DDM实例中db_test_info逻辑库中。 迁移前检查 在创建任务前,需要针对迁移环境进行手工自检,以确保您的迁移任务更加顺畅。 在迁移前,您需要参考DRS使用须知获取迁移相关说明。 创建迁移任务 登录华为云控制台
访问数据复制服务 操作步骤 如果您未注册华为账号并开通华为云,请在华为云官网注册,详细操作请参见注册华为账号并开通华为云。注册成功后,可访问华为云的所有服务,包括数据复制服务、关系型数据库、文档数据库服务等。 如果您已注册华为账号并开通华为云,可直接登录管理控制台,访问数据复制服务
binlog_row_image参数是否为FULL MySQL迁移、同步时,源数据库的binlog_row_image参数必须设置为FULL,否则会导致迁移失败。 不通过原因 源数据库的binlog_row_image参数不为FULL。 处理建议 如果源数据库为云上RDS实例,可通过
PostgreSQL->PostgreSQL实时同步 任务启动失败报错,关键词“Initialize logical replication stream failed, the source database may have a long transaction: ****.”
事务隔离级别一致性校验 MySQL迁移时,源数据库和目标数据库的事务隔离级别需要保持一致。 不通过原因 源数据库和目标数据库的事务隔离级别不一致。 处理建议 修改数据库隔离级别参数(tx_isolation或者transaction_isolation),使源库和目标库的事务隔离级别保持一致
其他云MySQL迁移到GaussDB(for MySQL) 方案概述 资源规划 操作流程 创建VPC和安全组 创建GaussDB(for MySQL)实例 其他云MySQL实例准备 创建DRS迁移任务 确认迁移结果 父主题: 实时迁移
其他云PostgreSQL同步到RDS for PostgreSQL 数据复制服务(Data Replication Service,简称DRS)支持将其他云PostgreSQL数据库的数据实时同步到本云云数据库PostgreSQL实例。通过DRS提供的实时同步任务,实现关键业务的数据实时流动
图解数据复制服务 DRS简介 DRS五大功能 DRS数据对比 DRS用户权限迁移
DRS对比任务对数据库有什么影响 对象对比:会查询源库及目标库的系统表,占用10个左右的session的连接数,正常情况不会对数据库产生影响。但是如果对象数量巨大(比如几十万张表),可能会对数据库产生一定的查询压力。 行数对比:会查询源库及目标库的表行数,占用10个左右的session
批量配置异常通知 功能介绍 批量设置告警信息,已结束的任务不支持设置。 支持选择已有的SMN主题和手动输入手机号、邮箱两种方式,具体根据自己使用情况选择。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供
状态码 状态码如表1所示: 表1 状态码 状态码 编码 错误码说明 100 Continue 继续请求。 这个临时响应用来通知客户端,它的部分请求已经被服务器接收,且仍未被拒绝。 101 Switching Protocols 切换协议。只能切换到更高级的协议。 例如,切换到HTTP
支持的监控指标 功能说明 本节定义了数据复制服务上报云监控的监控指标的命名空间,监控指标列表和维度定义,用户可以通过云监控提供的API接口来检索数据复制服务产生的监控指标和告警信息。 命名空间 SYS.DRS 实例监控指标 数据复制服务性能监控指标,如表1所示。 表1 数据复制服务支持的监控指标
支持的监控指标 功能说明 本节定义了数据复制服务上报云监控的监控指标的命名空间,监控指标列表和维度定义,用户可以通过云监控提供的API接口来检索数据复制服务产生的监控指标和告警信息。 命名空间 SYS.DRS 实例监控指标 数据复制服务性能监控指标,如表1所示。 表1 数据复制服务支持的监控指标
支持的监控指标 功能说明 本节定义了数据复制服务上报云监控的监控指标的命名空间,监控指标列表和维度定义,用户可以通过云监控提供的API接口来检索数据复制服务产生的监控指标和告警信息。 命名空间 SYS.DRS 实例监控指标 数据复制服务性能监控指标,如表1所示。 表1 数据复制服务支持的监控指标
数据复制服务是否采用了压缩技术 压缩技术是提升性能和解决数据膨胀的关键技术,DRS在数据传输和增量数据存储两大环节采用了压缩技术。 数据传输压缩:在网络带宽不理想的环境中,进行数据同步与传输,DRS可以开启压缩开关,以减少数据传输对带宽的占用量。 增量数据存储压缩:增量数据转储成逻辑文件后
数据复制服务是否采用了并发技术 并发技术是提升性能的关键技术,DRS在多个环节采用了并发技术,总体可以分为两个大类并发技术:读写类并发和线程类并发。 读写类并发 为了提升全量阶段历史数据的搬迁,同时对抗网络的不稳定性,DRS实现了数据行级并发抽取效果,从而使得历史数据搬迁速度最大化