检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DRS五大功能 父主题: 图解数据复制服务
产生一定的查询压力。 行数对比:会查询源库及目标库的表行数,占用10个左右的session的连接数,正常的select count语句基本不会对数据库产生影响。但是如果表数据量巨大(亿级)会对数据库产生一定的查询压力,返回查询结果会比较慢。 内容对比:会查询源库及目标库的全部数据
可以使用整个机器内存减一的50%(3.2的版本)或者60%(3.4以后的版本)。 解决方案 如果mongod服务是单独部署在一台机器上,则在迁移过程中最好不要执行会大量消耗内存的操作,比如:创建索引,排序查询等。 如果mongod服务和其他服务共同部署在一台机器上,则建议给mon
故障恢复的能力。在源数据库的数据未损坏或丢失的前提下,DRS实例可以从最近停止的点开始,继续进行数据复制。若实例底层的资源出现故障,则迁移至AZ内新的实例,并断点续传。DRS也提供了跨AZ高可用的能力,对于跨AZ高可用的实例,当主AZ的实例出现故障时,可以倒换至备AZ的实例,继续提供数据复制服务。
图解数据复制服务 DRS简介 DRS五大功能 DRS数据对比 DRS用户权限迁移
订阅数据展示的数据格式为数据复制服务内部的数据格式,数据记录的各个字段含义如表1所示: 表1 数据字段含义 数据字段名称 说明 服务ID RDS实例的IP:PORT。 库名 这条变更记录对应表所在的数据库的库名。 表名 这条变更记录对应的表的表名。 变更类型 这条变更记录的变更类型,
DRS支持断点续传吗 针对数据库的迁移、同步场景,在迁移、同步过程中由于不可抗拒因素(例如网络波动)导致的任务失败,DRS通过记录当前解析和回放的位点(该位点同时也是数据库内部一致性的依据),下次从该位点开始回放的方式来实现断点续传,以确保数据的完整性。 增量阶段的迁移、同步,DRS会自动
只读:目标数据库整个实例将转化为只读、不可写入的状态,迁移任务结束后恢复可读写状态,此选项可有效地确保数据迁移的完整性和成功率,推荐此选项。 读写:目标数据库可以读写,但需要避免操作或接入应用后会更改迁移中的数据(注意:无业务的程序常常也有微量的数据操作),进而形成数据冲突、任务故障、
行同步,提高同步任务的可靠性。适用于业务数据量较大,需要长期同步,并对中断时间有严格要求的场景。 单AZ任务:采用单个节点部署架构,每个任务只创建一个节点,性价比较高。适用于业务数据量较小,短期同步,并对中断时间无严格要求的场景。 目前仅部分链路支持任务类型的选择,详细说明可参考双AZ任务倒换。
数据复制服务是否支持关系型数据库的HA实例迁移 数据复制服务的高可用性保障机制,可以支持关系型数据库的单实例和HA实例的迁移。针对HA实例的迁移,DRS的自动重连技术在连接短暂中断后连接可以得到修复,断点续传技术,根据数据库内部连续性标志可以确保实时同步的连续性和一致性。 源数据库的HA设计,满足
故障恢复 任务续传 为了提高服务的可用性及韧性,DRS提供了断点续传及故障恢复的能力。在源数据库的数据未损坏或丢失的前提下,DRS实例可以从最近停止的点开始,继续进行数据复制。 实例高可用 可用区指在同一区域下,电力、网络隔离的物理区域,可用区之间内网互通,不同可用区之间物理隔离
如果自建MySQL和GaussDB(for MySQL)实例不在同一个VPC内,相比于相同VPC的情况,需要配置两个VPC的对等连接,部署架构图如图2所示。 图1 同一VPC的部署架构 图2 不同VPC场景的部署架构 GaussDB(for MySQL)产品优势 性能强悍:采用计算与存储分离
DRS任务在迁移过程中由于不确定因素导致迁移任务失败,后台会进行多次断点续传的重试,无需人工干预。但有时候存在无法自动修复的场景,比如源日志被人为强制清理,导致无法继续迁移任务,则可通过重置功能,重新开始迁移而不用再次配置任务。 DRS目前支持以下迁移链路的重置: MySQL->MySQL MySQL->DDM
不支持源数据库中开启TDE加密的数据库进行备份迁移。 不支持高版本的数据库备份文件在低版本实例数据库上进行还原(例如从2017版本->2016版本的还原)。 企业版->标准版->Web版的还原存在一定失败的风险(取决于是否开启高版本的特性)。 迁移过程中,实例显示处于迁移状态,当前正在迁移的目标数据库
String 发送的实体的MIME类型。推荐用户默认使用application/json,如果API是对象、镜像上传等接口,媒体类型可按照流类型的不同进行确定。 缺省值:application/json X-Auth-Token 是 String 从IAM服务获取的用户Token。
终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同,您可以从地区和终端节点中查询服务的终端节点。 数据复制服务API当前支持的Region如表1和表2所示,请您根据业务需要选择对应区域的终端节点。 表1 数据复制服务v5 API当前支持的Region 区域名称 区域
传统数据库性能瓶颈问题,复杂查询性能较差。 如何不中断业务并且平滑的实现数据迁移。 业务架构图 迁移原理 本次实践使用全量+增量同步功能,原理如下: 全量同步阶段,先进行结构迁移,例如表、主键、唯一键的迁移。 结构迁移完成后,启动增量数据抽取,以确保全量数据同步期间的增量数据完整的抽取到DRS实例。 启动全量迁移任务。
通过JDBC查询出来的值是空字符串,写入到目标库后是空字符串还是NULL取决于目标库对空字符串值的处理。 针对无主键且无索引的表,非大字段的列必须大于3列,否则会因为无法全列匹配导致增量异常。 不支持默认值含有表达式的函数的表的同步。 不支持同步源库中的临时表。 不支持同步源库中有虚拟列的表。
s检查 源数据库的GTID功能检查 源数据库是否存在使用不支持的存储引擎的表 源数据库是否为GaussDB(for MySQL)备库 源端表结构是否存在换行 源数据库和目标数据库的字符集是否一致 time_zone的一致性检查 collation_server的一致性检查 数据库
不支持默认值含有表达式的函数的表的同步。 不支持同步源库中的临时表。 不支持同步源库中有虚拟列的表。 不支持同步既是无主键表,又是分区表的自建表,可能会导致任务失败。 注意事项 为保证任务的正常运行,DRS提供了自动化的检查方法,在您启动DRS任务前,会针对源数据库和目标数据库的相关配置、条