检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据加工 数据复制服务支持对同步的对象进行加工,即可以为选择的对象添加规则。各链路支持的加工规则不一样,目前仅部分链路支持数据加工,支持数据加工链路参考表1,具体操作方法可参考对应的内容。 表1 支持数据加工的链路 同步方向 数据流向 数据过滤 附加列 列加工 入云 MySQL->MySQL
DRS数据对比 父主题: 图解数据复制服务
参数 是否必选 参数类型 描述 jobs 是 Array of objects 批量预检查请求列表。 详情请参见表4。 表4 jobs字段数据结构说明 参数 是否必选 参数类型 描述 job_id 是 String 任务ID。 precheck_mode 是 String 预检查模式。取值:
MySQL数据同步对源数据库和目标数据库有什么影响 以下数据以MySQL2MySQL大规格实时同步任务为例,不同规格对数据库的连接数存在差异,仅供参考。 DRS对源数据库的压力及影响 全量(初始化)阶段,DRS需要从源库将所有存量数据查询一次。DRS查询使用简单SQL语句,对源库
预检查不通过项修复方法 磁盘空间检查 数据库参数检查 源库实例状态检查 目标库实例状态检查 数据库用户权限检查 数据库版本检查 网络情况 数据库对象检查 数据库配置项检查 冲突检查 SSL连接检查 对象依赖关系检查 源数据库信息检查 预检查超时
数据对比 内容对比不支持哪些数据类型 DRS对比任务对数据库有什么影响 DRS对比任务耗时预估 DRS对比任务取消后,数据库有对比任务的查询进程未结束
任务创建成功之后,且完成数据库对象选择后再调用启动任务接口。详情可参考任务创建流程。 每张表仅支持添加一个校验规则。 Oracle为源库的数据过滤每次最多支持20000张表,MySQL为源库的数据过滤每次最多支持10000张表。 过滤条件不支持使用某种数据库引擎特有的packege、函数、变量、常量等写法,须使用通用SQL标准。
创建数据订阅任务 支持的数据库 表1 支持数据库信息 数据库引擎 支持订阅的数据类型 RDS for MySQL 5.6、5.7版本 数据更新 结构更新 由于订阅任务当前存在较多订阅对象和操作约束,推荐使用性能、稳定性更高的MySQL到Kafka同步链路进行数据订阅。 数据订阅与
对比方式:分为静态对比和动态对比两种。 静态对比:对源数据库和目标数据库进行一次全量内容对比,内容对比完成后对比任务结束,适用于无数据变化的非业务时间。 动态对比:先对源数据库和目标数据库进行一次全量内容对比,对比任务完成后进入增量对比阶段,实时比对源数据库和目标数据库的增量数据,适用于有数据变化的业务时间。 对
选择目标实例所在的区域。 单击左侧的服务列表图标,选择“数据库 > 数据复制服务 DRS”。 左侧导航栏选择“实时同步管理”,单击“创建同步任务”。 配置同步实例信息。 选择区域、项目,填写任务名称。 配置同步实例信息,选择“数据流动方向”、“源数据库引擎”、“目标数据库引擎”、“网络类型”、“DRS任
数据库参数检查 源数据库binlog日志是否开启 源数据库binlog格式检查 源数据库expire_logs_days参数检查 源数据库和目标数据库的字符集是否一致 源数据库参数server_id是否符合增量迁移要求 源数据库和目标数据库表名大小写敏感性检查 源数据库中是否存在非ASCII字符的对象名称
数据类型映射关系 由于异构数据库之间的数据类型不是一一对应的,所以数据复制服务在进行迁移或同步时,会根据两种不同的数据库类型进行对应的数据类型映射。 本章节根据不同的数据库引擎,提供对应的数据库映射关系列表,方便您在进行数据库迁移或同步的时候参考。 MySQL->PostgreSQL
SDK参考 08 修复 提供数据复制服务常见预检查不通过修复方法,以及任务运行过程中常见失败场景处理方法。 常见预检查项不通过修复方法 源数据库连接是否成功 目标数据库是否连接成功 源数据库用户权限是否足够 目标数据库用户权限是否足够 源数据库版本是否支持 目标数据库版本是否支持 版本是否符合从低到高或者同版本迁移
对比方式:分为静态对比和动态对比两种。 静态对比:对源数据库和目标数据库进行一次全量内容对比,内容对比完成后对比任务结束,适用于无数据变化的非业务时间。 动态对比:先对源数据库和目标数据库进行一次全量内容对比,对比任务完成后进入增量对比阶段,实时比对源数据库和目标数据库的增量数据,适用于有数据变化的业务时间。 目前仅MySQL引擎支持对比方式选择。
数据复制服务是否采用了压缩技术 压缩技术是提升性能和解决数据膨胀的关键技术,DRS在数据传输和增量数据存储两大环节采用了压缩技术。 数据传输压缩:在网络带宽不理想的环境中,进行数据同步与传输,DRS可以开启压缩开关,以减少数据传输对带宽的占用量。 增量数据存储压缩:增量数据转储成
RDS全量备份:关系型数据库实例自动或手动生成的全量备份。 操作须知 目标数据库的可用磁盘空间大小至少为待还原数据库总数据量大小的1.5倍。 待还原数据库名称,必须跟备份文件中数据库名称一致(区分大小写)。 不支持源数据库中开启TDE加密的数据库进行备份迁移。 不支持高版本的数据库备份文件在
DRS对比任务耗时预估 对象对比:根据源库查询性能,一般会在几分钟内返回结果,如果对象数据量特别巨大,对比时长可能达到几十分钟。 行数对比:使用select count方式,查询速度跟数据库性能相关。 内容对比:在数据库没有压力并且网络正常的情况下,对比速度大概是5M/s。 用户对比:与对象
目标数据库是否存在和源数据库同名的数据库 MySQL迁移场景 表1 目标数据库是否存在和源数据库同名的数据库 预检查项 目标数据库是否存在和源数据库同名的数据库 描述 校验用户提供的目标数据库是否存在与源数据库相同的数据库。 不通过提示及处理建议 不通过原因:源数据库连接失败,导致该项检查无法进行。
增量数据同步 全量数据同步 全量+增量数据同步 Kafka 0.11及以上版本 增量数据同步 DDM为源同步方案 表14 数据库信息 源数据库引擎 源数据库类型和版本 目标数据库类型和版本 同步模式 DDM DDM RDS for MySQL 所有版本 增量数据同步 全量数据同步
迁移数据库 本章节介绍创建DRS实例,源端MySQL分库分表的数据迁移到DDM实例中db_test_info逻辑库中。 迁移前检查 在创建任务前,需要针对迁移环境进行手工自检,以确保您的迁移任务更加顺畅。 在迁移前,您需要参考DRS使用须知获取迁移相关说明。 创建迁移任务 登录华为云控制台。