检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
将DDS同步到Kafka 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 DDS实例(4.0、4.2、4.4、5.0版本) 说明: DDS 5.0版本当前仅支持副本集,不支持集群。 Kafka 使用建议 数据库同步与环境多样性和人为操作均有密切关系,为了确保同步的
将MongoDB迁移到GeminiDB Mongo 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 本地自建Mongo数据库(3.2、3.4、4.0版本) ECS自建Mongo数据库(3.2、3.4、4.0版本) 其他云上Mongo数据库(3.2、3.4、4.0版本)
将AWS DocumentDB同步到DDS 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 AWS云上DocumentDB数据库(4.0副本集、5.0副本集、5.0集群) 说明: 创建AWS集群默认为5.0版本 副本集支持全+增、单全、单增任务 集群只支持单全任务,不支持增量任务
将MongoDB同步到DDS 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 本地自建Mongo数据库(3.2、3.4、3.6、4.0、4.2、4.4、5.0版本) ECS自建Mongo数据库(3.2、3.4、3.6、4.0、4.2、4.4、5.0版本) 其他云上Mongo数据库(3
如何处理迁移实例和数据库网络连接异常 数据迁移前请确保完成网络准备和安全规则设置。如果连接异常,请按照本节方法排查网络配置是否正确。 本节将以MySQL到RDS for MySQL的迁移为示例,从三种迁移场景(跨云数据库实时迁移、本地数据库实时迁移、ECS自建数据库实时迁移)进行说明。
将DDS迁移到MongoDB 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 DDS实例(3.2、3.4、4.0、4.2、4.4、5.0版本) 说明: DDS 5.0版本当前仅支持副本集,不支持集群。 本地自建Mongo数据库(3.2、3.6、3.4、4.0、4.2、4
GeminiDB Cassandra(DynamoDB接口) 3.11版本 说明: 目前仅支持白名单用户使用。 全量数据同步 全量+增量数据同步 数据订阅 数据订阅是获取数据库中关键业务的数据变化信息,并将其缓存并提供统一的SDK接口,方便下游业务订阅、获取、并消费,其支持的数据库和
Kafka消息格式 同步到Kafka集群中的数据以Avro、JSON和JSON-C格式存储。不同链路支持的数据格式可参考表1: 表1 支持的数据格式 数据流向 Avro JSON JSON-C MySQL->Kafka 支持 支持 支持 Oracle->Kafka 支持 支持 暂不支持
同步方案概览 实时同步是指在不同的系统之间,将数据通过同步技术从一个数据源拷贝到其他数据库,并保持一致,实现关键业务的数据实时流动。 实时同步不同于迁移,迁移是以整体数据库搬迁为目的,而实时同步是维持不同业务之间的数据持续性流动。 常用场景:实时分析,报表系统,数仓环境。 同步特
可能会导致数据不一致,因此存在数据冲突或任务失败的风险。 增量读取方式 选择增量阶段读取日志方式。 LogMiner:采用Oracle官方接口读取重做日志文件,稳定性好。 Binary Reader: 采用DRS自研方式直接读取和解析原始重做日志文件,性能高,对Oracle资源消耗低。
可能会导致数据不一致,因此存在数据冲突或任务失败的风险。 增量读取方式 选择增量阶段读取日志方式。 LogMiner:采用Oracle官方接口读取重做日志文件,稳定性好。 Binary Reader:Binary Reader 采用DRS自研方式直接读取和解析原始重做日志文件,性能高,对Oracle资源消耗低。
可能会导致数据不一致,因此存在数据冲突或任务失败的风险。 增量读取方式 选择增量阶段读取日志方式。 LogMiner:采用Oracle官方接口读取重做日志文件,稳定性好。 Binary Reader: 采用DRS自研方式直接读取和解析原始重做日志文件,性能高,对Oracle资源消耗低。
GaussDB(for MySQL)到GaussDB(for MySQL)双主灾备 支持的源和目标数据库 表1 支持的数据库 业务数据库 灾备数据库 GaussDB(for MySQL)主备实例 GaussDB(for MySQL)主备实例 目前仅支持白名单用户使用。 数据库账号权限要求
创建迁移任务 使用流程 一次完整的实时迁移,是通过创建实时迁移任务,以迁移任务作为数据库迁移的导向,依次进行迁移进度观察、迁移日志分析、迁移数据一致性对比等多项操作。通过多项指标和数据的对比分析,可以帮助您确定合适的业务割接时机,实现最小化业务中断的数据库迁移。 一次完整的实时迁移包含如下过程:
可能会导致数据不一致,因此存在数据冲突或任务失败的风险。 增量读取方式 选择增量阶段读取日志方式。 LogMiner:采用Oracle官方接口读取重做日志文件,稳定性好。 Binary Reader:Binary Reader 采用DRS自研方式直接读取和解析原始重做日志文件,性能高,对Oracle资源消耗低。
将PostgreSQL同步到GaussDB分布式版 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 本地自建数据库(PostgreSQL 9.4、9.5、9.6、10、11、12、13、14版本) ECS自建数据库(PostgreSQL 9.4、9.5、9.6、10、11、12、13、14版本)
将MySQL迁移到GaussDB(for MySQL) 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 本地自建数据库(MySQL 5.5、5.6、5.7、8.0版本) ECS自建数据库(MySQL 5.5、5.6、5.7、8.0版本) 其他云上数据库(MySQL
MySQL到GaussDB(for MySQL)单主灾备 支持的源和目标数据库 表1 支持的数据库 灾备关系 业务数据库 灾备数据库 本云为备 本地自建MySQL数据库 ECS自建MySQL数据库 其他云上MySQL数据库 RDS for MySQL GaussDB(for MySQL)主备实例
GaussDB(for MySQL)到GaussDB(for MySQL)单主灾备 支持的源和目标数据库 表1 支持的数据库 业务数据库 灾备数据库 GaussDB(for MySQL)主备实例 GaussDB(for MySQL)主备实例 数据库账号权限要求 在使用DRS进行灾
将PostgreSQL同步到GaussDB主备版 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 本地自建数据库(PostgreSQL 9.4、9.5、9.6、10、11、12、13、14版本) ECS自建数据库(PostgreSQL 9.4、9.5、9.6、10、11、12、13、14版本)