检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据加工 数据复制服务支持对同步的对象进行加工,即可以为选择的对象添加规则。各链路支持的加工规则不一样,目前仅部分链路支持数据加工,支持数据加工链路参考表1,具体操作方法可参考对应的内容。 表1 支持数据加工的链路 同步方向 数据流向 数据过滤 附加列 列加工 入云 MySQL->MySQL
什么是数据复制服务 数据复制服务(Data Replication Service,简称DRS)是一种易用、稳定、高效、用于数据库实时迁移和数据库实时同步的云服务。 数据复制服务围绕云数据库,降低了数据库之间数据流通的复杂性,有效地帮助您减少数据传输的成本。 您可通过数据复制服务
DRS数据对比 父主题: 图解数据复制服务
数据对比 内容对比不支持哪些数据类型 DRS对比任务对数据库有什么影响 DRS对比任务耗时预估 DRS对比任务取消后,数据库有对比任务的查询进程未结束
SDK参考 08 修复 提供数据复制服务常见预检查不通过修复方法,以及任务运行过程中常见失败场景处理方法。 常见预检查项不通过修复方法 源数据库连接是否成功 目标数据库是否连接成功 源数据库用户权限是否足够 目标数据库用户权限是否足够 源数据库版本是否支持 目标数据库版本是否支持 版本是否符合从低到高或者同版本迁移
创建数据订阅任务 支持的数据库 表1 支持数据库信息 数据库引擎 支持订阅的数据类型 RDS for MySQL 5.6、5.7版本 数据更新 结构更新 由于订阅任务当前存在较多订阅对象和操作约束,推荐使用性能、稳定性更高的MySQL到Kafka同步链路进行数据订阅。 数据订阅与
数据订阅 支持的数据源类型 数据订阅支持的数据源类型包括: RDS for MySQL实例 支持的订阅对象 数据订阅的订阅对象可以为:表级订阅。 数据订阅将增量数据细分为数据变更(Data Manipulation Language 简称DML)和结构变更(Data Definition
任务创建成功之后,且完成数据库对象选择后再调用启动任务接口。详情可参考任务创建流程。 每张表仅支持添加一个校验规则。 Oracle为源库的数据过滤每次最多支持20000张表,MySQL为源库的数据过滤每次最多支持10000张表。 过滤条件不支持使用某种数据库引擎特有的packege、函数、变量、常量等写法,须使用通用SQL标准。
数据复制服务是否采用了压缩技术 压缩技术是提升性能和解决数据膨胀的关键技术,DRS在数据传输和增量数据存储两大环节采用了压缩技术。 数据传输压缩:在网络带宽不理想的环境中,进行数据同步与传输,DRS可以开启压缩开关,以减少数据传输对带宽的占用量。 增量数据存储压缩:增量数据转储成
数据复制服务对目标数据库有什么要求 在创建任务时,用户填写的连接目标数据库的用户,需具备一定的权限。不同链路的具体权限可参考使用须知中权限要求。 实时迁移请参考实时迁移方案概览 备份迁移请参考备份迁移方案概览 实时同步请参考实时同步方案概览 数据订阅强参考数据订阅使用须知 实时灾备请参考实时灾备方案概览
选择目标实例所在的区域。 单击左侧的服务列表图标,选择“数据库 > 数据复制服务 DRS”。 左侧导航栏选择“实时同步管理”,单击“创建同步任务”。 配置同步实例信息。 选择区域、项目,填写任务名称。 配置同步实例信息,选择“数据流动方向”、“源数据库引擎”、“目标数据库引擎”、“网络类型”、“DRS任
迁移数据库 本章节介绍创建DRS实例,源端MySQL分库分表的数据迁移到DDM实例中db_test_info逻辑库中。 迁移前检查 在创建任务前,需要针对迁移环境进行手工自检,以确保您的迁移任务更加顺畅。 在迁移前,您需要参考DRS使用须知获取迁移相关说明。 创建迁移任务 登录华为云控制台。
支持的数据库 数据复制服务支持多种数据源之间的数据流通,实时迁移、备份迁移、实时同步、数据订阅和实时灾备对不同数据库的支持情况如下所示。 实时迁移 实时迁移适用于跨云平台、云下数据库迁移上云或云上跨区域等多种业务场景的全部数据库对象迁移,其支持的数据库、版本和迁移类型如下所示,更多实时迁移的功能特性可参考实时迁移。
MySQL数据同步对源数据库和目标数据库有什么影响 以下数据以MySQL2MySQL大规格实时同步任务为例,不同规格对数据库的连接数存在差异,仅供参考。 DRS对源数据库的压力及影响 全量(初始化)阶段,DRS需要从源库将所有存量数据查询一次。DRS查询使用简单SQL语句,对源库
数据类型映射关系 由于异构数据库之间的数据类型不是一一对应的,所以数据复制服务在进行迁移或同步时,会根据两种不同的数据库类型进行对应的数据类型映射。 本章节根据不同的数据库引擎,提供对应的数据库映射关系列表,方便您在进行数据库迁移或同步的时候参考。 MySQL->PostgreSQL
对比方式:分为静态对比和动态对比两种。 静态对比:对源数据库和目标数据库进行一次全量内容对比,内容对比完成后对比任务结束,适用于无数据变化的非业务时间。 动态对比:先对源数据库和目标数据库进行一次全量内容对比,对比任务完成后进入增量对比阶段,实时比对源数据库和目标数据库的增量数据,适用于有数据变化的业务时间。 目前仅MySQL引擎支持对比方式选择。
对比方式:分为静态对比和动态对比两种。 静态对比:对源数据库和目标数据库进行一次全量内容对比,内容对比完成后对比任务结束,适用于无数据变化的非业务时间。 动态对比:先对源数据库和目标数据库进行一次全量内容对比,对比任务完成后进入增量对比阶段,实时比对源数据库和目标数据库的增量数据,适用于有数据变化的业务时间。 对
目标数据库是否存在和源数据库同名的数据库 MySQL迁移场景 表1 目标数据库是否存在和源数据库同名的数据库 预检查项 目标数据库是否存在和源数据库同名的数据库 描述 校验用户提供的目标数据库是否存在与源数据库相同的数据库。 不通过提示及处理建议 不通过原因:源数据库连接失败,导致该项检查无法进行。
DRS对比任务耗时预估 对象对比:根据源库查询性能,一般会在几分钟内返回结果,如果对象数据量特别巨大,对比时长可能达到几十分钟。 行数对比:使用select count方式,查询速度跟数据库性能相关。 内容对比:在数据库没有压力并且网络正常的情况下,对比速度大概是5M/s。 用户对比:与对象
RDS全量备份:关系型数据库实例自动或手动生成的全量备份。 操作须知 目标数据库的可用磁盘空间大小至少为待还原数据库总数据量大小的1.5倍。 待还原数据库名称,必须跟备份文件中数据库名称一致(区分大小写)。 不支持源数据库中开启TDE加密的数据库进行备份迁移。 不支持高版本的数据库备份文件在