检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
批量数据加工 功能介绍 数据复制服务支持对同步的对象进行加工,即可以为选择的对象添加规则。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 接口约束 任务创建成功之后,且完成数据库对象选择后再调用启动任务接口
数据类型映射关系 由于异构数据库之间的数据类型不是一一对应的,所以数据复制服务在进行迁移或同步时,会根据两种不同的数据库类型进行对应的数据类型映射。 本章节根据不同的数据库引擎,提供对应的数据库映射关系列表,方便您在进行数据库迁移或同步的时候参考。 MySQL->PostgreSQL
数据复制服务是否采用了并发技术 并发技术是提升性能的关键技术,DRS在多个环节采用了并发技术,总体可以分为两个大类并发技术:读写类并发和线程类并发。 读写类并发 为了提升全量阶段历史数据的搬迁,同时对抗网络的不稳定性,DRS实现了数据行级并发抽取效果,从而使得历史数据搬迁速度最大化
如何判断数据迁移任务可以停止 您可参考以下方法,确认任务是否可以结束。结束之前您需要确认完成以下几点: 请您确认至少在业务低峰期有过一次完整的数据对比。 完成业务割接。 先中断业务(如果业务负载非常轻,也可以尝试不中断业务)。 在源数据库端执行如下语句(此处以MySQL为例),并观察在
将Oracle同步到Kafka 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 本地自建数据库(Oracle 10g、11g、12c、18c、19c、21c版本) ECS自建数据库(Oracle 10g、11g、12c、18c、19c、21c版本) Kafka 使用建议
同步数据库 本章节介绍创建DRS实例,将本地Oracle上的test_info数据库同步到GaussDB实例中test_database_info数据库中。 同步前检查 在创建任务前,需要针对同步条件进行手工自检,以确保您的同步任务更加顺畅。 在同步前,您需要参考入云使用须知获取同步相关说明
创建迁移任务 使用流程 一次完整的实时迁移,是通过创建实时迁移任务,以迁移任务作为数据库迁移的导向,依次进行迁移进度观察、迁移日志分析、迁移数据一致性对比等多项操作。通过多项指标和数据的对比分析,可以帮助您确定合适的业务割接时机,实现最小化业务中断的数据库迁移。 一次完整的实时迁移包含如下过程
数据对比(对比同步项) 对比使用场景 对比实时同步项可以清晰反馈出源数据库和目标数据库的数据是否存在差异。为了尽可能减少业务的影响和业务中断时间,实时同步场景提供了以下几种对比方式: 对象级对比:支持对数据库、索引、表、视图、存储过程和函数、表的排序规则等对象进行对比。 数据级对比分为行对比和内容对比
迁移数据库 本章节介绍创建DRS实例,源端MySQL分库分表的数据迁移到DDM实例中db_test_info逻辑库中。 迁移前检查 在创建任务前,需要针对迁移环境进行手工自检,以确保您的迁移任务更加顺畅。 在迁移前,您需要参考DRS使用须知获取迁移相关说明。 创建迁移任务 登录华为云控制台
内容对比不支持哪些数据类型 DRS提供的数据比对功能可以清晰反馈出源数据库和目标数据库的数据是否存在差异。 目前对于以下数据类型,DRS不支持内容对比,进行内容对比时会自动跳过。 表1 不支持内容对比的数据类型 源数据库类型 数据类型 MySQL TINYBLOB、BLOB、MEDIUMBLOB
不支持同步系统表(public schema下的redis_progress_detail、redis_status、pgxc_redsitb、redis_progress)。
创建同步任务 使用流程 一次完整的实时同步,是通过创建实时同步任务,以同步任务作为导向,依次进行同步进度观察、同步日志分析、同步数据一致性对比等多项操作。通过多项指标和数据的对比分析,可以帮助您实现不同业务系统间的数据实时同步。 一次完整的实时同步包含如下过程: 图1 实时同步流程
源数据库和目标数据库的字符集是否一致 检查源数据库和目标数据库的数据库的字符集是否一致。当源数据库和目标数据库字符集不一致时,可能导致部分数据乱码、数据不一致等问题 不通过原因 源数据库和目标数据库字符集不一致。 处理建议 修改源数据库或者目标数据库字符集。 数据库为MySQL时,
源库表是否开启了CDC 检查Microsoft SQL Server源库表是否开启了CDC。Microsoft SQL Server为源的增量同步基于SQL Server提供的CDC能力,如果SQL Server源库的CDC功能出现被关闭,则增量同步就会受到影响。 不通过原因 源数据库待同步的表未开启
源数据库是否处于备机状态 PostgreSQL为源的全量+增量实时同步任务,源库不可以为备机,否则,无法进行增量同步。全量实时同步任务,源库可以为备机,但是参数“hot_standby_feedback”必须为on,否则可能导致同步失败。 不通过原因 全量+增量实时同步任务,源库为备机
枚举值: oracle ecs_oracle cloud_gaussdbv5 mysql ecs_mysql cloud_mysql redis ecs_redis rediscluster ecs_rediscluster cloud_gaussdb_redis ip String
合规说明 您了解并同意,您使用本服务符合法律法规的要求,包含但不限于符合数据内容、数据转移、数据跨境等合法合规要求。 DRS仅按照您的指示,为您提供标准服务,并不对您使用本服务的合法合规性负责。 如果您非法使用本服务或者使用本服务从事非法行为,由此引起的一切后果由您承担。 父主题:
MySQL数据同步对源数据库和目标数据库有什么影响 以下数据以MySQL2MySQL大规格实时同步任务为例,不同规格对数据库的连接数存在差异,仅供参考。 DRS对源数据库的压力及影响 全量(初始化)阶段,DRS需要从源库将所有存量数据查询一次。DRS查询使用简单SQL语句,对源库影响主要体现在
Oracle->MySQL 表1 数据类型映射关系 数据类型(Oracle) 条件 数据类型(MySQL) 是否支持映射 CHAR length<=255 CHAR 支持 CHAR length>255 VARCHAR 支持 VARCHAR Size(整行)<=65536 VARCHAR
不同Region,通过公网网络接入华为云 使用DRS将不同Region的华为云ECS数据库迁移到华为云云数据库时,选择公网网络其网络示意图如图1所示: 图1 网络示意图 源数据库为ECS自建数据库,源和目标数据库属于不同Region,DRS使用公网网络。需要给源数据库所在ECS绑定弹性公网