检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
将DDS同步到Kafka 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 DDS实例(4.0、4.2、4.4、5.0版本) 说明: DDS 5.0版本当前仅支持副本集,不支持集群。 Kafka 使用建议 数据库同步与环境多样性和人为操作均有密切关系,为了确保同步的平顺,建
6、10、11、12、13、14、15版本) ECS自建数据库(PostgreSQL 9.4、9.5、9.6、10、11、12、13、14、15版本) 其他云上数据库(PostgreSQL 9.4、9.5、9.6、10、11、12、13、14、15版本) RDS for PostgreSQL(9
内的数据,超范围的数据可能导致任务异常,例如年份大于9999时会出现数据截断。 如果源库为RAC,增量同步首次启动时所有RAC节点必须正常在线,否则增量启动会出现异常。 如果源库为RAC,增量同步时,不支持增加、减少节点数量,避免导致增量同步异常(为保证数据的强一致性)。 表的对
ECS自建数据库(Oracle 10g、11g、12c、18c、19c、21c版本) GaussDB(DWS)集群(8.1.3、8.2.0版本) 目前仅支持白名单用户使用。 数据库账号权限要求 在使用DRS进行同步时,连接源库和目标库的数据库账号需要满足以下权限要求,才能启动实时
5、9.6、10、11、12、13、14、15版本) 本地自建数据库(PostgreSQL 9.5、9.6、10、11、12、13、14、15版本) ECS自建数据库(PostgreSQL 9.5、9.6、10、11、12、13、14、15版本) 说明: 仅支持目标库大版本等于或高于源库大版本。
支持的数据库 源数据库 目标数据库 其他云上DynamoDB(Web服务) GeminiDB Cassandra(DynamoDB接口)实例 3.11版本 目前仅支持白名单用户使用。 支持的同步对象范围 在使用DRS进行同步时,不同类型的同步任务,支持的同步对象范围不同,详细情况可参考表2。
CLIENT、WITH GRANT OPTION,RDS for MySQL实例的root账户默认已具备上述权限。当业务数据库为8.0.14-8.0.18版本时,还需要有SESSION_VARIABLES_ADMIN权限。当业务数据库为8.0.2及以上版本时,还需要授予XA_RECOVER_AD
支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 其他云上DynamoDB(Web服务) GeminiDB Cassandra实例 3.11版本 目前仅支持白名单用户使用。 支持的同步对象范围 在使用DRS进行同步时,不同类型的同步任务,支持的同步对象范围不同,详细情况可参考表2。
本地自建数据库(PostgreSQL 9.4、9.5、9.6、10、11、12、13、14版本) ECS自建数据库(PostgreSQL 9.4、9.5、9.6、10、11、12、13、14版本) Kafka 0.11及以上版本 支持的同步对象范围 在使用DRS进行同步时,不同类型
ECS自建数据库(Oracle 10g、11g、12c、18c、19c、21c版本) RDS for MySQL(5.5、5.6、5.7、8.0版本) 数据库账号权限要求 在使用DRS进行同步时,连接源库和目标库的数据库账号需要满足以下权限要求,才能启动实时同步任务。不同类型的同步任务
String 数据库类型。取值: oracle:Oracle。 gaussdbv5:GaussDB分布式版。 redis:Redis。 rediscluster:Redis集群版。 gaussredis: GeminiDB Redis。 枚举值: oracle gaussdbv5 redis
IP,可以使用某一节点的VIP,这种情况下DRS日志解析只会在VIP指定的RAC节点上进行。 若源库为RAC,增量同步首次启动时所有RAC节点必须正常在线,否则增量启动会出现异常。 若源库为RAC,增量同步时,不支持增加、减少节点数量,避免导致增量同步异常(为保证数据的强一致性)。 当使用PDB数据库同步时,由于Oracle
不支持宽松模式可以写入但严格模式下无法写入的非标浮点类型的数据的迁移,这种非标浮点类型数据可能会有无法命中的风险导致数据迁移失败。 源数据库为MySQL 8.0版本时,不支持迁移带有函数索引的表。 全量和增量迁移不支持隐藏列(INVISIBLE),隐藏列是MySQL 8.0.23开始支持的特性,例如:
支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 GaussDB(for MySQL)主备实例 8.0版本 GaussDB(for MySQL)主备实例 8.0版本 数据库账号权限要求 在使用DRS进行同步时,连接源库和目标库的数据库账号需要满足以下权限要求,才能启动实时
String 数据库类型。取值: oracle:Oracle。 gaussdbv5:GaussDB分布式版。 redis:Redis。 rediscluster:Redis集群版。 gaussredis: GeminiDB Redis。 枚举值: oracle gaussdbv5 redis
IP,可以使用某一节点的VIP,这种情况下DRS日志解析只会在VIP指定的RAC节点上进行。 如果源库为RAC,增量同步首次启动时所有RAC节点必须正常在线,否则增量启动会出现异常。 如果源库为RAC,增量同步时,不支持增加、减少节点数量,避免导致增量同步异常(为保证数据的强一致性)。 当Or
目标数据库 GaussDB(for MySQL)主备实例 ElasticSearch 5.5、6.2、6.5、7.1、7.6、7.9、7.10版本 目前仅支持白名单用户使用。 使用建议 DRS任务启动和全量数据同步阶段,请不要在源数据库执行DDL操作,否则可能导致任务异常。 为保证同
DRS迁移任务 迁移任务名 DRS-dds 自定义。 源数据库引擎 MongoDB 本示例中源数据库为自建MongoDB,即在本地服务器上安装社区版MongoDB。 目标数据库引擎 DDS 本示例中目标数据库为华为云DDS实例。 网络类型 公用网络 本示例中采用公用网络。 网络示意图 图1
USER、RELOAD、REPLICATION SLAVE、REPLICATION CLIENT、WITH GRANT OPTION。 当业务数据库为8.0.14-8.0.18版本时,还需要有SESSION_VARIABLES_ADMIN权限。 当业务数据库为8.0.2及以上版本时,还需要授予XA_RECOVER_A
由于GaussDB(for MySQL)之前版本全量SQL文件格式不统一,当前支持GaussDB(for MySQL)2.0.8.3-2.0.28.15版本,以及后续发布的补丁版本2.0.28.xx系列全量SQL的解析。 GaussDB(for MySQL)默认全量SQL记录的最大为4KB,针