检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
GaussDB分布式版同步到Kafka 场景描述 本实践通过创建DRS同步任务,实现将源数据库GaussDB分布式版的增量数据同步到目标端Kafka。 前提条件 拥有华为云实名认证账号。 账户余额大于等于0元。 已登录数据复制服务控制台。 服务列表 虚拟私有云 VPC 云数据库GaussDB
灾备阶段失败报错,关键词“A dml without pk write target db fail” 场景描述 MySQL为源灾备任务报错,日志界面提示:A dml without pk write target db fail。 可能原因 无主键表由于缺乏行的唯一性标志,在网络不稳定情况下
实时同步 实时同步是指在不同的系统之间,将数据通过同步技术从一个数据源拷贝到其他数据库,并保持一致,实现关键业务的数据实时流动。实时同步不同于迁移,迁移是以整体数据库搬迁为目的,而实时同步是维持不同业务之间的数据持续性流动。 目前部分功能仅支持白名单用户使用,需要提交工单申请才能使用
将Microsoft SQL Server同步到Kafka 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 本地自建Microsoft SQL Server(企业版2012、2014、2016、2017、2019版本,标准版2016 SP2及以上版本、2017、2019
将MariaDB同步到GaussDB(for MySQL) 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 本地自建MariaDB数据库 10.0、10.1、10.2、10.3、10.4、10.5版本 ECS自建MariaDB数据库 10.0、10.1、10.2、10.3
Kafka认证方式 PLAINTEXT方式 无安全认证方式,仅需输入IP和端口进行连接。 图1 PLAINTEXT SASL_PLAINTEXT认证 使用SASL机制连接Kafka,需要设置SASL相关配置。 图2 SASL_PLAINTEXT 表1 参数信息 参数 描述 SASL
创建回放任务 使用场景 录制回放是指将源数据库发生的真实业务流量,在目标数据库模拟执行,从而观察和检验目标数据库的功能和性能表现。常用于以下两个场景: 功能验证回放:数据库搬迁前,通过录制回放可以提前得知源业务在目标数据库的运行效果。 业务加压回放:通过控制回放的线程及回放速度,来模拟源业务流量放大的效果
方案概述 场景描述 本实践主要包含以下内容: 介绍如何创建GaussDB(for MySQL)实例。 介绍如何将其他云MySQL迁移到GaussDB(for MySQL)实例。 前提条件 拥有华为云实名认证账号。 账户余额大于等于0元。 部署架构 本示例中,DRS源数据库为其他云MySQL
将GaussDB(for MySQL)同步到GaussDB(for MySQL) 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 GaussDB(for MySQL)主备实例 8.0版本 GaussDB(for MySQL)主备实例 8.0版本 数据库账号权限要求
本地MySQL同步到GaussDB分布式版 场景描述 本实践使用DRS的实时同步功能将本地MySQL数据库实时迁移至华为云GaussDB。通过全量+增量同步,实现源数据库MySQL和目标数据库GaussDB的数据长期同步。 解决问题 企业业务高速发展,传统数据库扩容性差,迫切需要分布式化改造
创建DRS同步任务 本章节介绍创建DRS实例,将RDS for MySQL上的数据库增量同步到Kafka。 同步前检查 在创建任务前,需要针对同步条件进行手工自检,以确保您的同步任务更加顺畅。 本示例中,为RDS for MySQL到Kafka的出云同步,您可以参考出云同步使用须知获取相关信息
资源规划 表1 资源规划 类别 子类 规划 备注 VPC VPC名称 vpc-src-172 自定义,易理解可识别。 所属Region 测试Region 现网实际选择时建议选择和自己业务区最近的Region,减少网络时延。 可用区 可用区3 - 子网网段 172.16.0.0/16
将MySQL同步到MariaDB 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 本地自建MySQL数据库(MySQL 5.5、5.6、5.7、8.0版本) ECS自建MySQL数据库(MySQL 5.5、5.6、5.7、8.0版本) 其他云上MySQL数据库(MySQL
创建灾备任务 使用场景 为了解决地区故障导致的业务不可用,数据复制服务推出灾备场景,为用户业务连续性提供数据库的同步保障。当主实例所在区域发生突发生自然灾害等状况无法连接时,可将异地灾备实例切换为主实例,在应用端修改数据库链接地址后,即可快速恢复应用的业务访问。数据复制服务提供的实时灾备功能
备份迁移失败,提示同名数据库已经存在 操作场景 客户通过全量备份数据迁移上云时,报错:The restore database already exists in the destination DB instance。 问题分析 为了保证RDS for SQL Server数据的安全性
MySQL到MySQL 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 RDS for MySQL RDS for MySQL 数据库账号权限要求 使用DRS创建录制回放任务时,连接源和目标数据库账号的权限建议保持一致,再启动任务。 使用须知 为了确保录制回放任务各个阶段的平顺
MySQL到MySQL 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 ECS自建MySQL 5.6、5.7、8.0版本 本地自建MySQL 5.6、5.7、8.0版本 其他云上MySQL 5.6、5.7、8.0版本 RDS for MySQL 数据库账号权限要求
DRS对比任务耗时预估 对象对比:根据源库查询性能,一般会在几分钟内返回结果,如果对象数据量特别巨大,对比时长可能达到几十分钟。 行数对比:使用select count方式,查询速度跟数据库性能相关。 内容对比:在数据库没有压力并且网络正常的情况下,对比速度大概是5M/s。 用户对比
修改流速模式 流速模式支持限速和不限速,默认为不限速。DRS提供创建任务后修改流速模式功能,目前DRS支持限速功能的同步链路可参考支持限速的链路。 约束限制 限速模式指的是限制秒级的流量上限,可能因为网络波动原因导致统计值的降低,实际统计的值可能会低于限速值大小。 限速模式只对全量同步阶段生效
通过DRS迁移MySQL分库分表总流程 本实践的主要任务流如图1所示: 图1 操作流程 表1 迁移流程 序号 步骤 说明 1 迁移前构造数据 迁移前在源端数据库构造数据,供迁移后查看是否迁移成功。 2 目标端DDM准备 创建VPC和安全组:为创建实例准备网络资源。 创建DDM实例: