检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
传统数据库需要自购并安装服务器、系统、数据库等软件,运维成本高、难度大。 传统数据库性能瓶颈问题,复杂查询性能较差。 如何不中断业务并且平滑地实现数据同步。 迁移原理 本次实践中UGO负责异构数据库结构对象迁移,DRS仅同步数据,原理如下: 使用UGO先完成基本对象的同步。
投递到Kafka的数据格式 可选择JSON格式,可参考Kafka消息格式。 同步对象 同步对象选择db_test下的table3_表。 单击“下一步”。 选择数据加工方式。RDS for MySQL到Kafka数据同步目前只支持列加工,列加工提供列级的查询和过滤能力。
出云 将MySQL同步到MySQL 将MySQL同步到Kafka 将MySQL同步到CSS/ES 将MySQL同步到Oracle 将MySQL同步到MariaDB 将DDM同步到MySQL 将DDM同步到Oracle 将DDM同步到Kafka 将DDS同步到MongoDB 将DDS
索引名是否支持 表结构一致性检查 存在约束不验证添加前数据 目标库附加列检查 主备库是否开启隐式主键检查 源库表复制属性检查 源库指定名称的复制槽是否存在 实例类型是否匹配迁移模式 物理复制库检查 目标库大小写敏感检查 源库表是否开启了CDC 源库CDC数据保留时间是否足够 源库服务器计算机名是否一致
本地MySQL迁移到RDS for MySQL 数据复制服务(Data Replication Service,简称DRS)支持将本地MySQL数据库的数据迁移至云数据库 RDS for MySQL实例。通过DRS提供的实时迁移任务,实现在数据库迁移过程中业务和数据库不停机,业务中断时间最小化
create_time Long 连接创建时间,格式为时间戳。 db_type String 连接类型。 config ConnectionConfig object 连接的配置项。 endpoint BaseEndpoint object 数据库基本信息。
自建DNS服务配置(选填) 图6 自建DNS服务器 表5 自建DNS信息 参数 描述 是否配置自建DNS服务器 当用户需要填写自建的内网域名数据库地址作为源或者目标库时,请开启此选项。 自建DNS服务IP 填写用户自建的DNS服务IP信息。
同步场景操作参考 Kafka消息格式 Kafka认证方式 GaussDB分布式版为源任务序列值同步 GaussDB分布式版为源强制结束任务 GaussDB集中式版为源强制结束任务 PostgreSQL为源强制结束任务 通过创建事件触发器和函数实现PostgreSQL增量DDL同步
传统数据库需要自购并安装服务器、系统、数据库等软件,运维成本高、难度大。 传统数据库性能瓶颈问题,复杂查询性能较差。 如何不中断业务并且平滑地实现数据迁移。
create_time Long 连接创建时间,格式为时间戳。 db_type String 连接类型。 config ConnectionConfig object 连接的配置项。 endpoint BaseEndpoint object 数据库基本信息。
图2 查看订阅数据 订阅数据展示的数据格式为数据复制服务内部的数据格式,数据记录的各个字段含义如表1所示: 表1 数据字段含义 数据字段名称 说明 服务ID RDS实例的IP:PORT。 库名 这条变更记录对应表所在的数据库的库名。 表名 这条变更记录对应的表的表名。
当接口调用出错时,会返回错误码及错误信息说明,错误响应的Body体格式如下所示。
"ts" : Timestamp(<timestamp>, <inre>) },转换成timestamp:incre格式即可。
当topic_policy取2时,Topic名字格式支持database一个变量,其他字符都当做常量,不填默认为$database$ 当topic_policy取3时,Topic名字格式支持database、schema和tablename三个变量,其他字符当做常量。
投送到kafka的数据格式 选择投送到kafka的数据格式。 Avro:可以显示Avro二进制编码,高效获取数据。 JSON:为Json消息格式,方便解释格式,但需要占用更多的空间。 JSON-C:一种能够兼容多个批量,流式计算框架的数据格式。
创建DRS迁移任务 本章节介绍如何创建DRS迁移任务,将华为云不同Region的RDS for MySQL上的数据库迁移到华为云DDM。 迁移前检查 在创建任务前,需要针对迁移环境进行手工自检,以确保您的同步任务更加顺畅。 本示例为MySQL到DDM入云迁移,您可以参考迁移使用须知获取相关信息
将MySQL同步到Kafka 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 本地自建MySQL数据库 ECS自建MySQL数据库 Kafka 使用建议 DRS任务启动和全量数据同步阶段,请不要在源数据库执行DDL操作,否则可能导致任务异常。
在迁移完成后,导出该表数据,修改为目标库合法格式后,手动迁移至目标库。 父主题: MySQL->MySQL实时迁移和同步
父主题: 华为云ECS自建数据库到华为云
父主题: 华为云ECS自建数据库到华为云