检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对象名修改(对象名映射) 实时同步功能可以支持源数据库和目标数据库中的同步对象(包括数据库、schema、表)的名称不同。对象名映射功能主要在如下场景使用: 对象名修改:如果同步的数据库对象在目标数据库中的命名和源数据库中不同,那么可以使用DRS提供的对象名映射功能进行修改。 多
MySQL->PostgreSQL 表1 数据类型映射关系 数据类型(MySQL) 数据类型(PostgreSQL) 是否支持映射 BIGINT NUMERIC|BIGINT 支持 BINARY BYTEA 支持 BIT BIT 支持 BLOB BYTEA 支持 BOOLEAN BOOL
资源规划 表1 资源规划 类别 子类 规划 备注 VPC VPC名称 vpc-src-172 自定义,易理解可识别。 所属Region 测试Region 现网实际选择时建议选择和自己业务区最近的Region,减少网络时延。 可用区 可用区3 - 子网网段 172.16.0.0/16
目标库使用gsloader等工具创建相关系统表(如 public.pgxc_copy_error_log,public.gs_copy_summary)时,DRS访问相关系统表需要有系统表的all privilege权限,详细信息可参考《GaussDB工具参考》。 建议创建单独用于
MySQL->GaussDB MySQL->GaussDB B、MYSQL和PG兼容性模式 表1 数据类型映射关系 数据类型(MySQL) 数据类型(GaussDB) 是否支持映射 CHAR CHARACTER 支持,如果源库该类型的字段含有占用超过一个字节的字符,需适当增加目标库该字段的长度。
低版本迁移至MySQL 8.0,应该注意哪些问题 MySQL 8.0较MySQL 5.7增加了一些新的特性,并在性能表现上存在差异。迁移前,需要做兼容性分析并给出解决方案。可以从兼容性、系统变量等方面考虑。 兼容性分析: 针对MySQL8.0社区版与MySQL5.7社区版进行分析,包括以下两方面:
ine ddl,默认不同步。 是,表示表级同步支持同步online ddl,可勾选PT-OSC,GH-OST,DMS三种onlineDDL工具,其中PT-OSC和GH-OST支持配置影子表和无用表的正则表达式(已提供默认值,无特殊场景不建议修改正则表达式)。 图12 Online
ine ddl,默认不同步。 是,表示表级同步支持同步online ddl,可勾选PT-OCS,GH-OST,DMS三种onlineDDL工具,其中PT-OSC和GH-OST支持配置影子表和无用表的正则表达式(已提供默认值,无特殊场景不建议修改正则表达式) 图9 Online DDL
ine ddl,默认不同步。 是,表示表级同步支持同步online ddl,可勾选PT-OCS,GH-OST,DMS三种onlineDDL工具,其中PT-OSC和GH-OST支持配置影子表和无用表的正则表达式(已提供默认值,无特殊场景不建议修改正则表达式)。 图10 Online
增量同步支持任务再编辑追加同步对象。 表级同步时,增量同步过程支持使用Online DDL,可参考DRS实时同步支持使用Online DDL工具吗。 同步对比阶段: 建议在源库的业务低峰期进行数据比对,防止误报不一致数据,以及减少对源库和DRS任务的冲击。 在增量同步过程中做对比时
增量同步支持任务再编辑追加同步对象。 表级同步时,增量同步过程支持使用Online DDL,可参考DRS实时同步支持使用Online DDL工具吗。 同步对比阶段: 建议在源库的业务低峰期进行数据比对,防止误报不一致数据,以及减少对源库和DRS任务的冲击。 在增量同步过程中做对比时
ine ddl,默认不同步。 是,表示表级同步支持同步online ddl,可勾选PT-OSC,GH-OST,DMS三种onlineDDL工具,其中PT-OSC和GH-OST支持配置影子表和无用表的正则表达式(已提供默认值,无特殊场景不建议修改正则表达式)。 图10 Online
DRS预检查项一览表 DRS迁移过程一般包含四个阶段:任务启动阶段、全量阶段、增量阶段、结束任务阶段(单全量任务则包含三个阶段)。为了确保迁移各个阶段的平顺,DRS在任务正式启动前,会对任务源数据库、目标数据库中的参数、对象等信息进行自动化的扫描和检测,帮助您提高数据迁移的成功率,常见的预检查项清单如下所示。
可能会导致任务失败或数据不一致。 表级同步时,增量同步过程支持使用Online DDL,可参考DRS实时同步支持使用Online DDL工具吗。 支持任务再编辑追加同步对象。 常见故障排查: 在任务创建、启动、全量同步、增量同步、结束等过程中,如有遇到问题,可先参考“故障排查”章节进行排查。
可能会导致任务失败或数据不一致。 表级同步时,增量同步过程支持使用Online DDL,可参考DRS实时同步支持使用Online DDL工具吗。 支持任务再编辑追加同步对象。 常见故障排查: 在任务创建、启动、全量同步、增量同步、结束等过程中,如有遇到问题,可先参考“故障排查”章节进行排查。
MySQL->MySQL实时迁移和同步 全量阶段失败报错,关键词“Table *** doesn't exist” 全量阶段失败报错,关键词“The background process is unavailable” 全量阶段失败报错,关键词“Communications link
ine ddl,默认不同步。 是,表示表级同步支持同步online ddl,可勾选PT-OSC,GH-OST,DMS三种onlineDDL工具,其中PT-OSC和GH-OST支持配置影子表和无用表的正则表达式(已提供默认值,无特殊场景不建议修改正则表达式)。 图9 Online DDL
将DDM同步到DDM 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 DDM实例 DDM实例 数据库账号权限要求 在使用DRS进行同步时,连接源库和目标库的数据库账号需要满足以下权限要求,才能启动实时同步任务。不同类型的同步任务,需要的账号权限也不同,详细可参考表
案例总览 表1 案例总览 链路 相关文档 MongoDB->DDS实时迁移 全量迁移失败报错,关键词“Prematurely reached end of stream” 全量迁移失败报错,关键词“not authorized on *** to execute command {***}”
将DDS同步到Kafka 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 DDS实例(4.0、4.2、4.4、5.0版本) 说明: DDS 5.0版本当前仅支持副本集,不支持集群。 Kafka 使用建议 数据库同步与环境多样性和人为操作均有密切关系,为了确保同步的