检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本章节介绍创建DRS实例,将自建MySQL服务器上的loadtest数据库迁移到RDS for MySQL实例。 迁移前检查 在创建任务前,需要针对迁移环境进行手工自检,以确保您的迁移任务更加顺畅。 本示例中,为MySQL到RDS for MySQL的入云迁移,您可以参考入云使用须知获取相关信息。
创建GaussDB(for MySQL)实例 本章节介绍创建GaussDB(for MySQL)实例,该实例选择和自建MySQL服务器相同的VPC和安全组。 登录华为云管理控制台。 单击管理控制台左上角的,选择区域“华南-广州”。 单击页面左上角,选择“数据库 > 云数据库 GaussDB(for MySQL)”。
实施步骤 自建MySQL服务器 上云操作 父主题: ECS自建MySQL迁移到GaussDB(for MySQL)
传统数据库性能瓶颈问题,复杂查询性能较差。 如何不中断业务并且平滑的实现数据迁移。 业务架构图 迁移原理 本次实践使用全量+增量同步功能,原理如下: 全量同步阶段,先进行结构迁移,例如表、主键、唯一键的迁移。 结构迁移完成后,启动增量数据抽取,以确保全量数据同步期间的增量数据完整的抽取到DRS实例。 启动全量迁移任务。
DRS支持单AZ任务转为双AZ任务,在保证原来任务运行的情况下提高了任务的可靠性。 约束限制 DRS仅支持单AZ任务变更为双AZ任务,双AZ任务无法变更为单AZ任务。 仅支持增量中、增量失败、暂停状态的任务进行变更。 目前仅支持GaussDB主备版->Kafka的同步任务进行变更。 操作步骤 登录管理控制台。
AZ”或“单AZ”。双AZ任务为一主一备的经典高可用架构,在任务创建后,DRS会同时创建一主一备两个子任务,当主AZ任务发生异常,DRS会自动启动备AZ任务继续进行同步,提高同步任务的可靠性。 DRS目前支持以下链路在创建时进行任务类型的选择: 入云 MySQL->MySQL MySQL->GaussDB(for
盖原来的冲突数据。 过滤DROP DATABASE 实时同步过程中,源数据库端执行的DDL操作在一定程度上会影响数据的同步能力,为了降低同步数据的风险,数据复制服务提供了过滤DDL操作的功能,目前支持默认过滤删除数据库的操作。 是,表示过程中不会同步用户在源数据库端执行的删除数据库的操作。
数据订阅 数据订阅是获取数据库中关键业务的数据变化信息,并将其缓存并提供统一的SDK接口,方便下游业务订阅、获取、并消费,其支持的数据库和订阅的数据类型如表25所示,更多数据订阅的功能特性可参考数据订阅。 表25 数据库信息 数据库引擎 支持订阅的数据类型 RDS for MySQL
创建RDS for MySQL实例 本章节介绍创建RDS for MySQL实例,该实例选择和自建MySQL服务器相同的VPC和安全组。 进入购买云数据库RDS页面。 配置实例基本信息。选择区域“华东-上海一”。 图1 基本信息 选择实例规格,其他参数默认配置。 图2 实例规格 单击“立即购买”。
支持的监控指标 功能说明 本节定义了数据复制服务上报云监控的监控指标的命名空间,监控指标列表和维度定义,用户可以通过云监控提供的API接口来检索数据复制服务产生的监控指标和告警信息。 命名空间 SYS.DRS 实例监控指标 数据复制服务性能监控指标,如表1所示。 表1 数据复制服务支持的监控指标
支持的监控指标 功能说明 本节定义了数据复制服务上报云监控的监控指标的命名空间,监控指标列表和维度定义,用户可以通过云监控提供的API接口来检索数据复制服务产生的监控指标和告警信息。 命名空间 SYS.DRS 实例监控指标 数据复制服务性能监控指标,如表1所示。 表1 数据复制服务支持的监控指标
支持的监控指标 功能说明 本节定义了数据复制服务上报云监控的监控指标的命名空间,监控指标列表和维度定义,用户可以通过云监控提供的API接口来检索数据复制服务产生的监控指标和告警信息。 命名空间 SYS.DRS 实例监控指标 数据复制服务性能监控指标,如表1所示。 表1 数据复制服务支持的监控指标
如果表中只有LOB字段,可能出现数据不一致性或任务失败的情况。 增量阶段不支持Oracle字符集扩展的字符,标准字符集无法解析Oracle自定义扩展字符。 不支持同步源库中的临时表。 不支持默认值含有表达式的函数的表的同步。 不支持同步源库中有虚拟列的表。 增量同步不支持Oracle上的分布式事务(XA事务)和PARALLEL
产生一定的查询压力。 行数对比:会查询源库及目标库的表行数,占用10个左右的session的连接数,正常的select count语句基本不会对数据库产生影响。但是如果表数据量巨大(亿级)会对数据库产生一定的查询压力,返回查询结果会比较慢。 内容对比:会查询源库及目标库的全部数据
实时迁移 实时迁移是指在数据复制服务能够同时连通源数据库和目标数据库的情况下,只需要配置迁移的源、目标数据库实例及迁移对象即可完成整个数据迁移过程,再通过多项指标和数据的对比分析,帮助确定合适的业务割接时机,实现最小化业务中断的数据库迁移。 实时迁移支持多种网络迁移方式,如:公网网络、V
以上脚本执行完成后,用户即可在自己的新实例上看到同名的登录账号,并且密码跟权限是完全跟本地一致的。 DBLink连接 DBLink连接指SQL Server支持用户通过创建DBLink连接的方式,跟外部实例上的数据库进行交互,这种方式可以极大的方便用户不同实例间,不同数据库类型之间的数据库查询,同步
以上脚本执行完成后,用户即可在自己的新实例上看到同名的登录账号,并且密码跟权限是完全跟本地一致的。 DBLink连接 DBLink连接指SQL Server支持用户通过创建DBLink连接的方式,跟外部实例上的数据库进行交互,这种方式可以极大的方便用户不同实例间,不同数据库类型之间的数据库查询,同步
实例类型 单机 本示例中为单机。 实际使用时,为提升业务可靠性,推荐选择主备RDS实例。 存储类型 SSD云盘 - 可用区 可用区三 本示例中为单机。 实际业务场景推荐选择主备RDS实例,此时建议将两个实例创建在不同的可用区,提升业务可靠性。 规格 通用型 4 vCPUs | 8GB -
传统数据库需要自购并安装服务器、系统、数据库等软件,运维成本高、难度大。 传统数据库性能瓶颈问题,复杂查询性能较差。 如何不中断业务并且平滑的实现数据同步。 迁移原理 本次实践中UGO负责异构数据库结构对象迁移,DRS仅同步数据,原理如下: 使用UGO先完成基本对象的同步。 DRS进行全量同步,进入增量阶段后暂停任务。
保证数据的完整性和一致性。 第三阶段:增量数据迁移。全量任务结束后,增量迁移任务启动,此时会从全量开始的增量数据持续的解析转换和回放,直到追平当前的增量数据。 第四阶段:为了防止触发器、事件在迁移阶段对于数据的操作,在结束任务阶段再迁移触发器、事件。 全量数据迁移的底层模块主要原理: