检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
虚拟私有云 VPC 云数据库 RDS 分布式消息服务Kafka 数据复制服务 DRS 数据管理服务 DAS 部署架构 本示例中,DRS源数据库为华为云RDS for MySQL,目标端为华为云同Region下的分布式消息服务Kafka,通过VPC网络,将源数据库的增量数据同步到目标端,部署架构可参考图1。
数据库对象检查 源数据库是否存在MyISAM表 源库中是否存在无权限迁移的函数或存储过程 源数据库同名对象检查 源库是否包含无日志表(UNLOGGED TABLE) 源库约束完整性检查 源数据库索引(_id)检查 源数据库索引长度检查 源数据库是否存在使用不支持的存储引擎的表 映射到目标库中的库名是否合法
例,并使用数据复制服务DRS将本地MySQL数据库的数据迁移至TaurusDB。通过DRS提供的实时迁移任务,实现在数据库迁移过程中业务中断时间最小化。 应用场景 企业业务高速发展,传统数据库扩容性差,迫切需要分布式化改造。 传统数据库需要自购并安装服务器、系统、数据库等软件,运维成本高、难度大。
数据复制服务是否采用了并发技术 并发技术是提升性能的关键技术,DRS在多个环节采用了并发技术,总体可以分为两个大类并发技术:读写类并发和线程类并发。 读写类并发 为了提升全量阶段历史数据的搬迁,同时对抗网络的不稳定性,DRS实现了数据行级并发抽取效果,从而使得历史数据搬迁速度最大
处理建议 全量+增量的实时同步任务,修改源数据库,配置为主机。 全量实时同步任务,修改源数据库,配置为主机。或者在启动全量同步前,修改源库参数“hot_standby_feedback”为on,全量同步结束后,将该参数改回off。 父主题: 数据库参数检查
数据库版本检查 源数据库版本是否支持 目标数据库版本是否支持 版本是否符合从低到高或者同版本迁移 父主题: 预检查不通过项修复方法
数据库兼容类型检查 目标数据库兼容类型检查。当数据库类型不兼容时,可能会导致数据乱码或者同步失败。 不通过原因 MySQL->GaussDB(DWS)同步场景,无主键表、空字符串迁移不支持DWS的ORA兼容模式。 MySQL->GaussDB同步场景,目标数据库不兼容MySQL。
Oracle等异构数据库迁移到MySQL后的数据库排序规则为什么是utf8mb4_bin 由于不同的数据库支持的字符集有差异,Oracle等数据库迁移到MySQL后,会转换成支持字符相对全面的UTF8MB4字符集。此字符集对应的默认排序字符集为utf8_general_ci,是大
源数据库的SSL状态检查 PostgreSQL同步场景 表1 源数据库的SSL状态检查 预检查项 源数据库的SSL状态检查。 描述 检查源数据库的SSL是否开启。 不通过提示及处理建议 不通过原因:源数据库的SSL连接关闭了。 处理建议:建议打开源数据库的SSL连接,指定配置文件
对比方式:分为静态对比和动态对比两种。 静态对比:对源数据库和目标数据库进行一次全量内容对比,内容对比完成后对比任务结束,适用于无数据变化的非业务时间。 动态对比:先对源数据库和目标数据库进行一次全量内容对比,对比任务完成后进入增量对比阶段,实时比对源数据库和目标数据库的增量数据,适用于有数据变化的业务时间。 目
的连接数,正常的select count语句基本不会对数据库产生影响。但是如果表数据量巨大(亿级)会对数据库产生一定的查询压力,返回查询结果会比较慢。 内容对比:会查询源库及目标库的全部数据,涉及每个字段都会对比,所以会对数据库产生一定的查询压力,主要体现在IO上,查询速度受限于
compare:表示数据对比的过滤。 枚举值: job compare process_rule_level 否 String 数据加工规则作用级别 table 表示数据同步时的过滤 combinations 表示组合集,对多个表的操作 当进行数据过滤规则校验,必填 当需要更新数据加工规则(数据过滤、列加工等)时,必填
String 该列在目标库的名称(列名映射),当该列为“附加列”时须与数据库表级对象中列名保持一致。 type String 该列字段的数据类型。 列过滤:填写源列字段的数据类型。 附加列:新填充的列指定字段的数据类型,根据不同操作类型来决定取值范围与约束。取值: 以默认值方式,支持:int
object_scope String 该数据库在实时同步场景下的类型。 target_root_db Object 数据库对象迁移或同步目标库信息,两层到三层数据库同步需要填写。 详情请参见表5。 object_info Map<String,DatabaseObject> 数据库对象迁移或同步信息。
参数类型 描述 id 否 String 两层数据库场景: 数据库名称和数据库表名称,例如格式为t_auto_db---users,其中t_auto_db为数据库名称,users为表名称。 三层数据库场景: 数据库名称、数据库schema名称、数据库表名称,例如格式为t_auto_db-
ol_size”,参数对比功能对应用到目标数据库的值做了内控,最大不会超过目标数据库总内存的70%。所以有时候是无法完全和源数据库该参数取值一致,这是为了避免目标数据库设置过大,而导致数据库无法启动,如果您觉得上述最大值偏小,可以在数据库中通过执行命令手动设置更大的值,具体可参考参数对比详细介绍
objects 修改的参数信息。 详情请参见表4。 表4 params字段数据结构说明 参数 是否必选 参数类型 描述 key 是 String 数据库参数名。 target_value 是 String 目标数据库参数值。 响应参数 状态码: 202 表5 响应Body参数 参数 参数类型
与其他服务关系 云数据库RDS 数据复制服务可将已有数据库迁移到本云云数据库RDS(Relational Database Service,简称RDS)。关系型数据库的更多信息,请参考《云数据库RDS用户指南》。 目前数据复制服务支持将如下场景的关系型数据库迁移到本云关系型数据库: VPC网络
源数据库字符集是否支持 Oracle为源同步时,DRS会对源数据库字符集进行检查。源数据库的字符集不支持时,可能会导致数据同步失败。 不通过原因 源数据库的字符集不支持。源库为Oracle的同步目前支持字符集:ZHS16GBK、AL32UTF8、UTF8、US7ASCII、WE8
批量数据库对象选择 功能介绍 迁移之前,选择需要迁移的数据库或者表。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 接口约束 仅实时迁移、实时同步支持对象选择。 任务创建成