华为云用户手册

数据库用户权限要求 在使用DRS进行同步时，连接源库和目标库的数据库用户需要满足以下权限要求，才能启动实时同步任务。不同类型的同步任务，需要的用户权限也不同，详细可参考表3进行赋权。DRS会在“预检查”阶段对数据库用户权限进行自动检查，并给出处理建议。 建议创建单独用于DRS任务连接的数据库用户，避免因为数据库用户密码修改，导致的任务连接失败。 连接源或目标数据库的用户密码修改后，请尽快修改DRS任务中的连接信息，避免任务连接失败后自动重试，导致数据库用户被锁定影响使用。 由于 分布式数据库 为源链路需要检查每个DN的连通性，建议使用非root数据库用户进行同步，避免因为密码填写错误在连接DN过程中导致用户被锁定。 表3 数据库用户权限 类型名称 增量同步 源数据库连接用户 用户具备sysadmin角色或以下最小权限： 需要REPLICATION权限或继承了内置角色gs_role_replication的权限、DATABASE的CONNECT权限、SCHEMA的USAGE权限、表的SELECT权限。 需要具备远程连接权限，添加方法可参考 GaussDB 远程连接配置方法。 需要保证安全组和防火墙策略放开对应连接端口，详细说明可参考GaussDB为源链路增量同步连接及端口说明。

使用建议 DRS任务启动和全量数据同步阶段，请不要在源数据库执行DDL操作，否则可能导致任务异常。 为保证同步前后数据一致性，确保同步期间目标数据库无业务写入。 数据库同步与环境多样性和人为操作均有密切关系，为了确保同步的平顺，建议您在进行正式的数据库同步之前进行一次演练，可以帮助您提前发现问题并解决问题。 建议您在启动任务时选择“稍后启动”功能，将启动时间设置在业务低峰期，避免同步对业务造成性能影响。如果同步不可避免业务高峰期，推荐使用同步限速功能，即“流速模式”选择“限速”。 在网络无瓶颈的情况下，全量同步会对源数据库增加约50MB/s的查询压力，以及占用2~4个CPU。 同步无主键表时，会存在3s以内的单表级锁定。 DRS并发读取数据库，会占用大约6-10个session连接数，需要考虑该连接数对业务的影响。 全量阶段读取表数据时，特别是大表的读取，可能会阻塞业务上对大表的独占锁操作。 更多DRS对数据库的影响，可参考DRS对源数据库和目标数据库有什么影响。

使用须知 在创建同步任务前，请务必阅读以下使用须知。 建议创建单独用于DRS任务连接的数据库账号，避免因为数据库账号密码修改，导致的任务连接失败。 连接源和目标数据库的账号密码修改后，请尽快修改DRS任务中的连接信息，避免任务连接失败后自动重试，导致数据库账号被锁定影响使用。 表2 使用须知 类型名称 使用和操作限制 数据库权限设置 源数据库最小权限要求： 增量同步权限要求： 副本集：连接源数据库的用户需要有admin库的readAnyDatabase权限，有local数据库的read权限。 单节点：连接源数据库的用户需要有admin库的readAnyDatabase权限，有local数据库的read权限。 集群：连接源数据库mongos节点的用户需要有admin库的readAnyDatabase权限，有config数据库的read权限。 目标数据库最小权限要求：连接目标数据库的用户需要有admin数据库的dbAdminAnyDatabase权限，有目标数据库的readWrite权限。对于目标数据库是集群的实例，迁移账号还要有config库的read权限。 同步对象约束 副本集：目前只支持集合（包括验证器，是否是固定集合），索引和视图的同步。 集群：目前只支持集合（包括验证器，是否是固定集合），分片键，索引和视图的同步。 单节点：目前只支持集合（包括验证器，是否是固定集合），索引和视图的同步。 不支持_id字段没有索引的集合。 不支持BinData()的第一个参数为2。 不支持范围分片的情况下maxKey当主键。 源库为集群时，不支持DBPointer和DBRef数据类型。 请勿在源库集合的String类型字段中存储非UTF-8类型字符串，否则会导致同步前后数据不一致。 源数据库要求 增量同步时，源数据库的Oplog日志必须打开。 在磁盘空间允许的情况下，建议源数据库Oplog保存时间越长越好，建议为3天。 源数据库的库名不能包含/\."$和空格，集合名和视图名中不能包含$字符或以system.开头。 如果源数据库是集群，则必须关闭Balancer并清理孤儿文档。详细操作可参考如何关闭集合均衡器Balancer和分片集群MongoDB迁移前清除孤儿文档。 目标数据库要求 不支持从高版本同步到低版本。 目标数据库实例的运行状态必须正常。 目标数据库实例必须有足够的磁盘空间。 操作须知 源数据库为非集群实例时，增量同步阶段支持如下操作： 支持数据库（database）新建、删除。 支持文档（document）新增、删除、更新。 支持集合（collection）新建、删除。 支持索引（index）新建、删除。 支持视图（view）新建，删除。 支持convertToCapped、collMod、renameCollection命令。 源库是集群实例时： 不支持集群版本小于4.0。 增量阶段不允许对同步对象做删除操作，否则会导致任务失败。 会消耗源数据库一定量的CPU，内存资源，请提前做好源数据库资源评估。 受MongoDB Change Streams自身性能影响，如果源库的负载比较大，Change Streams会出现处理速度无法跟上Oplog产生速度，进而导致DRS同步出现时延。 目前仅支持drop database，drop collection，rename的DDL，其他DDL均不支持。 增量阶段单表最多支持10000条/秒左右的同步速度。 启动时，指定的启动位点必须在Oplog的范围内。 目标数据库的同步账号必须是有写权限。对于目标数据库是集群的实例，同步账号还要有对config数据的读权限。 对于在源数据库已经存在TTL索引的集合，或者在增量同步期间在源库数据创建了TTL索引的集合，由于源数据库和目标库数据库时区，时钟的不一致，不能保证同步完成之后数据的一致性。 压缩参数block_compressor的取值，根据源库对应集合的stats().wiredTiger.creationString.block_compressor来决定，如果目标库已经存在对应的空集合，则不迁移压缩参数；特殊的，对于不支持的压缩参数，按照目标库实例的net.compression.compressors参数决定。当目标库的存储引擎不是wiredTiger时，DRS不同步压缩参数。 出云同步的目标数据库如果是副本集，则建议目标数据库填写所有的主节点和备节点信息，以防主备切换影响同步任务。如果是填写主备节点，注意填写的节点信息必须属于同一个副本集实例。 出云同步的目标数据库如果是集群，则建议填写多个mongos信息，以防单个mongos节点故障影响同步任务，并且多个mongos信息还可以实现负载均衡。如果填写多个mongos信息，注意所有所填的信息必须属于同一个集群实例。 同步过程中，不允许修改、删除连接源和目标数据库的用户的用户名、密码、权限，或修改源和目标数据库的端口号。 在整个同步过程中，为了保持数据一致性，不允许对正在同步中的目标数据库进行修改操作（包括但不限于DDL、DML操作）。 在整个同步过程中，不支持源数据库主备切换导致数据回滚的情况。 不支持系统库的同步，用户名和角色需要在目标库手动创建。 不支持增量同步阶段insert、update源库大于16MB的文档。 任务增量阶段，为保证同步的性能，会集合级的进行并发回放。特殊地，以下情况只支持单线程写入，不支持并发回放： 集合的索引中有unique key时； 集合属性的capped为true时； 这种情况可能会导致任务时延增高。 为了防止回环，不支持同时启动入云迁移和出云同步任务。 行对比时，集群实例如果存在孤儿文档或者正在进行chunk同步，会导致返回的行数不准确，对比结果不一致。详细情况可参考MongoDB官方文档。

支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 DDS实例（3.2、3.4、4.0、4.2、4.4版本） 本地自建Mongo数据库（3.2、3.6、3.4、4.0、4.2、4.4版本） E CS 自建Mongo数据库（3.2、3.6、3.4、4.0、4.2、4.4版本） 其他云上Mongo数据库（3.2、3.6、3.4、4.0、4.2、4.4版本） 说明： 仅支持目标库版本等于或高于源库版本。

使用建议 DRS任务启动和全量数据同步阶段，请不要在源数据库执行DDL操作，否则可能导致任务异常。 为保证同步前后数据一致性，确保同步期间目标数据库无业务写入。 数据库同步与环境多样性和人为操作均有密切关系，为了确保同步的平顺，建议您在进行正式的数据库同步之前进行一次演练，可以帮助您提前发现问题并解决问题。 基于以下原因，建议您在启动任务时选择“稍后启动”功能，将启动时间设置在业务低峰期，相对静止的数据可以有效提升一次性同步成功率，避免同步对业务造成性能影响。如果同步不可避免业务高峰期，推荐使用同步限速功能，即“流速模式”选择“限速”。 在网络无瓶颈的情况下，全量同步会对源数据库增加约50MB/s的查询压力，以及占用2~4个CPU。 同步无主键表时，为了确保数据一致性，会存在3s以内的单表级锁定。 正在同步的数据被其他事务长时间锁死，可能导致读数据超时。 由于MySQL固有特点限制，CPU资源紧张时，存储引擎为Tokudb的表，读取速度可能下降至10%。 DRS并发读取数据库，会占用大约6-10个session连接数，需要考虑该连接数对业务的影响。 全量阶段读取表数据时，特别是大表的读取，可能会阻塞业务上对大表的独占锁操作。 更多DRS对数据库的影响，可参考DRS对源数据库和目标数据库有什么影响。 数据对比 建议您结合数据对比的“稍后启动”功能，选择业务低峰期进行数据对比，以便得到更为具有参考性的对比结果。由于同步具有轻微的时差，在数据持续操作过程中进行对比任务，可能会出现少量数据不一致对比结果，从而失去参考意义。 如果涉及多对一场景的同步任务，可参考多对一的场景约束及操作建议。 如果涉及表级汇集的多对一同步任务，则不支持DDL，否则会导致同步全部失败。

注意事项 为保证任务的正常运行，DRS提供了自动化的检查方法，在您启动DRS任务前，会针对源数据库和目标数据库的相关配置、条件进行检查。主要的检查项和对应的处理建议请参考预检查项。除了预检查项目之外，您还需要注意的事情参见表4。 表4 注意事项 类型名称 使用和操作限制 源数据库限制 增量同步时，源数据库的Oplog日志必须打开。 在磁盘空间允许的情况下，建议源数据库Oplog保存时间越长越好，建议为3天。 使用限制 通用： 为了保持数据一致性，在整个同步过程中，不允许对正在同步中的目标数据库进行修改操作（包括但不限于DDL、DML操作）。 同步过程中，不允许修改、删除连接源和目标数据库的用户的用户名、密码、权限，或修改源和目标数据库的端口号。 在任务启动、任务全量同步阶段，不建议对源数据库做删除类型的DDL操作，例如删除数据库、集合、索引、文档、视图等，这样可能会引起任务同步失败。 在整个同步过程中，不支持源数据库主备切换导致数据回滚的情况。 不支持全量同步和增量同步阶段insert、update源库大于16MB的文档。 增量同步阶段： 源数据库为副本集实例时，增量同步阶段支持如下操作： 支持文档（document）新增、删除、更新。 支持集合（collection）新建、删除。 支持索引（index）新建、删除。 支持视图（view）新建，删除。 支持convertToCapped、collMod、renameCollection命令。 任务增量阶段，为保证同步的性能，会集合级的进行并发回放。特殊的情况只支持单线程写入，不支持并发回放： 集合的索引中有unique key时。 集合属性的capped为true时。 这种情况可能会导致任务时延增高。 常见故障排查： 在任务创建、启动、全量同步、增量同步、结束等过程中，如有遇到问题，可先参考“故障排查”章节进行排查。 其他限制 副本集：MongoDB数据库的副本集实例状态必须正常，要存在主节点。 压缩参数block_compressor的取值，根据源库对应集合的stats().wiredTiger.creationString.block_compressor来决定，如果目标库已经存在对应的空集合，则不同步压缩参数；特殊的，对于不支持的压缩参数，按照目标库实例的net.compression.compressors参数决定。当目标库为DDS 4.2版本时，由于目标库不支持压缩参数的设置，DRS不同步压缩参数。 如果源数据库的MongoDB服务不是单独部署的，而是和其他的服务部署在同一台机器，则必须要给源数据库的wiredTiger引擎加上cacheSizeGB的参数配置，建议值设为最小空闲内存的一半。 选择集合同步时，增量同步过程中不建议对集合进行重命名操作。 建议填写副本集所有的主节点和备节点信息，以防主备切换影响同步任务。如果填写的是主备多个节点的信息，注意所有的节点信息必须属于同一个副本集实例。 为了提高同步的速度，在开始同步之前，建议在源数据库删掉不需要的索引，只保留必须的索引。在同步过程中不建议对源库创建索引，如果必须要创建索引，请使用后台的方式创建索引。 为了防止回环，不支持在相同的源和目标库同时启动入云和出云任务。 说明： 同步任务支持源和目标为同一个数据库，为了避免回环，必须使用对象名映射功能进行重命名。

数据库账号权限要求 在使用DRS进行同步时，连接源库和目标库的数据库账号需要满足以下权限要求，才能启动实时同步任务。不同类型的同步任务，需要的账号权限也不同，详细可参考表2进行赋权。DRS会在“预检查”阶段对数据库账号权限进行自动检查，并给出处理建议。 表2 数据库账号权限 类型名称 全量+增量同步 源数据库连接账号 副本集：连接源数据库的用户需要有admin库的readAnyDatabase权限，有local库的read权限。 目标数据库连接账号 连接目标数据库的用户需要有admin库的dbAdminAnyDatabase权限，有目标数据库的readWrite权限。 建议创建单独用于DRS任务连接的数据库账号，避免因为数据库账号密码修改，导致的任务连接失败。 连接源和目标数据库的账号密码修改后，请尽快修改DRS任务中的连接信息，避免任务连接失败后自动重试，导致数据库账号被锁定影响使用。

支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 本地自建Mongo数据库（3.2、3.4、3.6、4.0、4.2、4.4版本） ECS自建Mongo数据库（3.2、3.4、3.6、4.0、4.2、4.4版本） 其他云上Mongo数据库（3.2、3.4、3.6、4.0、4.2、4.4版本） DDS实例（3.2、3.4、4.0、4.2、4.4版本） 说明： 源数据库不支持GeminiDB Mongo实例。 DDS实例（3.4、4.0、4.2、4.4版本） 说明： 仅支持目标库版本等于或高于源库版本。

支持的同步对象范围 在使用DRS进行同步时，不同类型的同步任务，支持的同步对象范围不同，详细情况可参考表3。DRS会根据用户选择，在“预检查”阶段对同步对象进行自动检查。 表3 支持的同步对象 类型名称 使用须知 同步对象范围 副本集：目前只支持集合（包括验证器，是否是固定集合），索引和视图的同步。 不支持同步系统库（如local、admin、config等）和系统集合，如果业务数据在系统库下，则需要先将业务数据移动到用户数据库下，可以使用renameCollection命令进行移出。 不支持视图的创建语句中有正则表达式。 不支持_id字段没有索引的集合。 不支持BinData()的第一个参数为2。 源库为4.4版本集群时，不支持复合哈希索引，不支持复合哈希分片键。 源库为4.4版本副本集时，不支持复合哈希索引。 请勿在源库集合的String类型字段中存储非UTF-8类型字符串，否则会导致同步前后数据不一致。

对数据库影响 对象对比：会查询源库及目标库的系统表，占用10个左右的session的连接数，正常情况不会对数据库产生影响。但是如果对象数量巨大（比如几十万张表），可能会对数据库产生一定的查询压力。 行数对比：会查询源库及目标库的表行数，占用10个左右的session的连接数，正常的select count语句基本不会对数据库产生影响。但是如果表数据量巨大（亿级）会对数据库产生一定的查询压力，返回查询结果会比较慢。 内容对比：会查询源库及目标库的全部数据，涉及每个字段都会对比，所以会对数据库产生一定的查询压力，主要体现在IO上，查询速度受限于源库和目标库的IO和网络带宽。占用1-2个CPU，占用10个左右的session的连接数。 用户对比：会查询源库及目标库的账户和权限，基本不会对数据库产生影响。

使用建议 DRS任务启动和全量数据同步阶段，请不要在源数据库执行DDL操作，否则可能导致任务异常。 为保证同步前后数据一致性，确保同步期间目标数据库无业务写入。 数据库同步与环境多样性和人为操作均有密切关系，为了确保同步的平顺，建议您在进行正式的数据库同步之前进行一次演练，可以帮助您提前发现问题并解决问题。 建议您在启动任务时选择“稍后启动”功能，将启动时间设置在业务低峰期，避免同步对业务造成性能影响。如果同步不可避免业务高峰期，推荐使用同步限速功能，即“流速模式”选择“限速”。 在网络无瓶颈的情况下，全量同步会对源数据库增加约50MB/s的查询压力，以及占用2~4个CPU。 同步无主键表时，会存在3s以内的单表级锁定。 DRS并发读取数据库，会占用大约6-10个session连接数，需要考虑该连接数对业务的影响。 全量阶段读取表数据时，特别是大表的读取，可能会阻塞业务上对大表的独占锁操作。 更多DRS对数据库的影响，可参考DRS对源数据库和目标数据库有什么影响。

JSON-C格式 JSON-C格式与JSON格式类似，区别是对于删除操作，JSON数据放在old上，JSON-C放在data上。对于timestamp类型数据转换成yyyy-mm-dd hh:mm:ss的字符串。 JSON-C定义详情参考表5： 表5 JSON-C参数说明 参数名称 说明 mysqlType 源端表字段名称和类型。 id DRS内部定义的事件操作的序列号，单调递增。 es 源库产生这一条记录的时间，13位Unix时间戳，单位为毫秒。 ts 写入到目标kafka的时间，13位Unix时间戳，单位为毫秒。 database 数据库名称（Oracle数据库填写schema）。 table 表名。 type 操作类型，比如DELETE，UPDATE，INSERT，DDL。 isDdl 是否是DDL操作。 sql DDL的SQL语句，在DML操作中，取值为""。 sqlType 源端表字段的jdbc类型。 data 最新的数据，为JSON数组，如果type参数是插入则表示最新插入的数据，如果是更新，则表示更新后的最新数据；如果是删除，则表示被删除的数据。 old 旧数据，如果type参数是更新，则表示更新前的数据；如果是插入，取值为null。 pkNames 主键名称。

JSON格式 MySQL、GaussDB(MySQL)到Kafka的JSON格式定义详情参考表2，DDS到Kafka的JSON格式定义详情参考表3，Oracle、PostgreSQL、GaussDB、Microsoft SQL Server到Kafka的JSON格式定义详情参考表4。 表2 MySQL到Kafka的参数说明 参数名称 说明 mysqlType 源端表字段名称和类型。 id DRS内部定义的事件操作的序列号，单调递增。 es 源库产生这一条记录的时间，13位Unix时间戳，单位为毫秒。 ts 写入到目标kafka的时间，13位Unix时间戳，单位为毫秒。 database 数据库名称。 table 表名。 type 操作类型，比如DELETE，UPDATE，INSERT，DDL，全量同步为INIT和INIT_DDL。 isDdl 是否是DDL操作。 sql DDL的SQL语句，在DML操作中，取值为""。 sqlType 源端表字段的jdbc类型。 data 最新的数据，为JSON数组，如果type参数是插入则表示最新插入的数据，如果是更新，则表示更新后的最新数据。 old 旧数据，如果type参数是更新，则表示更新前的数据；如果是删除，则表示被删除的数据；如果是插入，取值为null。 pkNames 主键名称。 { "mysqlType":{ "c11":"binary", "c10":"varchar", "c13":"text", "c12":"varbinary", "c14":"blob", "c1":"varchar", "c2":"varbinary", "c3":"int", "c4":"datetime", "c5":"timestamp", "c6":"char", "c7":"float", "c8":"double", "c9":"decimal", "id":"int" }, "id":27677, "es":1624614713000, "ts":1625058726990, "database":"test01", "table":"test ", "type":"UPDATE", "isDdl":false, "sql":"", "sqlType":{ "c11":-2, "c10":12, "c13":-1, "c12":-3, "c14":2004, "c1":12, "c2":-3, "c3":4, "c4":94, "c5":93, "c6":1, "c7":6, "c8":8, "c9":3, "id":4 }, "data":[ { "c11":"[]", "c10":"华为云huaweicloud", "c13":"asfiajhfiaf939-0239uoituqorjoqirfoidjfqrniowejoiwqjroqwjrowqjojoiqgoiegnkjgoi23roiugouofdug9u90weurtg103", "c12":"[106, 103, 111, 106, 103, 111, 105, 100, 115, 106, 103, 111, 106, 111, 115, 111, 103, 57, 51, 52, 48, 57, 52, 51, 48, 57, 116, 106, 104, 114, 103, 106, 101, 119, 57, 116, 117, 48, 57, 51, 52, 48, 116, 101, 114, 111, 101, 106, 103, 57, 56, 51, 48, 52, 105, 101, 117, 114, 103, 57, 101, 119, 117, 114, 103, 48, 119, 101, 117, 116, 57, 114, 48, 52, 117, 48, 57, 53, 116, 117, 51, 48, 57, 50, 117, 116, 48, 57, 51, 117, 116, 48, 119, 57, 101]", "c14":"[106, 103, 111, 106, 103, 111, 105, 100, 115, 106, 103, 111, 106, 111, 115, 111, 103, 57, 51, 52, 48, 57, 52, 51, 48, 57, 116, 106, 104, 114, 103, 106, 101, 119, 57, 116, 117, 48, 57, 51, 52, 48, 116, 101, 114, 111, 101, 106, 103, 57, 56, 51, 48, 52, 105, 55, 57, 56, 52, 54, 53, 52, 54, 54, 54, 49, 52, 54, 53, 33, 64, 35, 36, 37, 94, 42, 40, 41, 95, 41, 43, 95, 43, 124, 125, 34, 63, 62, 58, 58, 101, 117, 114, 103, 57, 101, 119, 117, 114, 103, 48, 119, 101, 117, 116, 57, 114, 48, 52, 117, 48, 57, 53, 116, 117, 51, 48, 57, 50, 117, 116, 48, 57, 51, 117, 116, 48, 119, 57, 101]", "c1":"cf3f70a7-7565-44b0-ae3c-83bec549ea8e:104", "c2":"[]", "c3":"103", "c4":"2021-06-25 17:51:53", "c5":"1624614713.201", "c6":"!@#$%90weurtg103", "c7":"10357.0", "c8":"1.2510357E7", "c9":"9874510357", "id":"104" } ], "old":[ { "c11":"[]", "c10":"华为云huaweicloud", "c13":"asfiajhfiaf939-0239", "c12":"[106, 103, 111, 106, 103, 111, 105, 100, 115, 106, 103, 111, 106, 111, 115, 111, 103, 57, 51, 52, 48, 57, 52, 51, 48, 57, 116, 106, 104, 114, 103, 106, 101, 119, 57, 116, 117, 48, 57, 51, 52, 48, 116, 101, 114, 111, 101, 106, 103, 57, 56, 51, 48, 52, 105, 101, 117, 114, 103, 57, 101, 119, 117, 114, 103, 48, 119, 101, 117, 116, 57, 114, 48, 52, 117, 48, 57, 53, 116, 117, 51, 48, 57, 50, 117, 116, 48, 57, 51, 117, 116, 48, 119, 57, 101]", "c14":"[106, 103, 111, 106, 103, 111, 105, 100, 115, 106, 103, 111, 106, 111, 115, 111, 103, 57, 51, 52, 48, 57, 52, 51, 48, 57, 116, 106, 104, 114, 103, 106, 101, 119, 57, 116, 117, 48, 57, 51, 52, 48, 116, 101, 114, 111, 101, 106, 103, 57, 56, 51, 48, 52, 105, 55, 57, 56, 52, 54, 53, 52, 54, 54, 54, 49, 52, 54, 53, 33, 64, 35, 36, 37, 94, 42, 40, 41, 95, 41, 43, 95, 43, 124, 125, 34, 63, 62, 58, 58, 101, 117, 114, 103, 57, 101, 119, 117, 114, 103, 48, 119, 101, 117, 116, 57, 114, 48, 52, 117, 48, 57, 53, 116, 117, 51, 48, 57, 50, 117, 116, 48, 57, 51, 117, 116, 48, 119, 57, 101]", "c1":"cf3f70a7-7565-44b0-ae3c-83bec549ea8e:104", "c2":"[]", "c3":"103", "c4":"2021-06-25 17:51:53", "c5":"1624614713.201", "c6":"!@#$%90weurtg103", "c7":"10357.0", "c8":"1.2510357E7", "c9":"9874510357", "id":"103" } ], "pkNames":[ "id" ] } 表3 DDS到Kafka的参数说明 参数名称 说明 id DRS内部定义的事件操作的序列号，单调递增。 op 操作类型，比如DELETE，UPDATE，INSERT，DDL。 dbType 源库类型：Mongo。 db 数据库名称。 coll 集合名称。 value 这一条记录的变更值。 where 这一条记录的变更条件。 recordType 具体的记录类型，比如insert、update、replace、doc。其中，update和replace表示op中的UPDATE具体操作。doc表示op中的DELETE删除的是文档数据而非视图数据。 extra 拓展字段，一般和recordType保持一致，作为扩展oplog记录使用。 es 这一条记录的commit时间，13位Unix时间戳，单位为毫秒。 ts 写入到目标kafka的时间，13位Unix时间戳，单位为毫秒。 clusterTime 与事件关联的oplog条目的时间戳，格式为timestamp:incre（timestamp是10位unix时间戳，单位为秒；incre代表当前命令在同一秒内执行的次序）。 // insert操作 { "id": 256, "op": "INSERT", "dbType": "MongoDB", "db": "ljx", "coll": "ljx", "value": "{\"_id\": ObjectId(\"64650cf67dc36a464e76e583\"), \"c1\": \"baz\", \"tags\": [\"mongodb\", \"database\", \"NoSQL\"]}", "where": null, "recordType": "insert", "extra": "insert", "es": 1684315111439, "ts": 1684315111576, "clusterTime": "1684344064:1" } // replace操作 { "id": 340, "op": "UPDATE", "dbType": "MongoDB", "db": "ljx", "coll": "ljx", "value": "{\"_id\": ObjectId(\"64650cf67dc36a464e76e583\"), \"c1\": \"sss\"}", "where": "{\"_id\": ObjectId(\"64650cf67dc36a464e76e583\")}", "recordType": "replace", "extra": "replace", "es": 1684315951831, "ts": 1684315951961, "clusterTime": "1684344904:9" } // update 更新值操作 { "id": 386, "op": "UPDATE", "dbType": "MongoDB", "db": "ljx", "coll": "ljx", "value": "{\"$set\": {\"c1\": \"aaa\"}}", "where": "{\"_id\": ObjectId(\"64650cf67dc36a464e76e583\")}", "recordType": "update", "extra": "update", "es": 1684316412008, "ts": 1684316412146, "clusterTime": "1684345365:1" } // update 更新键操作 { "id": 414, "op": "UPDATE", "dbType": "MongoDB", "db": "ljx", "coll": "ljx", "value": "{\"$unset\": {\"c1\": true}, \"$set\": {\"column1\": \"aaa\"}}", "where": "{\"_id\": ObjectId(\"64650cf67dc36a464e76e583\")}", "recordType": "update", "extra": "update", "es": 1684316692054, "ts": 1684316692184, "clusterTime": "1684345648:1" } // remove 操作 { "id": 471, "op": "DELETE", "dbType": "MongoDB", "db": "ljx", "coll": "ljx", "value": "{\"_id\": ObjectId(\"64650cf67dc36a464e76e583\")}", "where": null, "recordType": "doc", "extra": "doc", "es": 1684317252747, "ts": 1684317252869, "clusterTime": "1684346209:1" } 表4 其他数据库到Kafka的参数说明 参数名称 说明 columnType 源端表字段名称和数据类型。 说明： 数据类型不带长度、精度等。 dbType为Oracle、Microsoft SQL Server时暂为空。 dbType 源库类型。 schema schema名称。 opType 操作类型，比如DELETE，UPDATE，INSERT，DDL。 id DRS内部定义的事件操作的序列号，单调递增。 es 源库不同引擎对应类型如下： GaussDB主备版：当前事务的commit时间，13位Unix时间戳，单位为毫秒。 GaussDB分布式：当前事务的commit时间，13位Unix时间戳，单位为毫秒。 PostgreSQL：这一条记录上一个事务的commit时间，13位Unix时间戳，单位为毫秒。 Oracle：这一条记录的commit时间，13位Unix时间戳，单位为毫秒。 Microsoft SQL Server：这一条记录的commit时间，13位Unix时间戳，单位为毫秒。 ts 写入到目标kafka的时间，13位Unix时间戳，单位为毫秒。 database 数据库名称，dbType为Oracle时暂时为空。 table 表名。 type 操作类型，比如DELETE，UPDATE，INSERT，DDL。 isDdl 是否是DDL操作。 sql DDL的SQL语句，在DML操作中，取值为""。 sqlType 源端表字段的jdbc类型。 data 最新的数据，为JSON数组，如果type参数是插入则表示最新插入的数据，如果是更新，则表示更新后的最新数据。 old 旧数据，如果type参数是更新，则表示更新前的数据；如果是删除，则表示被删除的数据；如果是插入，取值为null。 pkNames 主键名称。 { "columnType": { "timestamp_column": "timestamp without time zone", "tstzrange_column": "tstzrange", "int4range_column": "int4range", "char_column": "character", "jsonb_column": "json", "boolean_column": "boolean", "bit_column": "bit", "smallint_column": "smallint", "bytea_column": "bytea" }, "dbType": "GaussDB Primary/Standby", "schema": "schema01", "opType": "UPDATE", "id": 332, "es": 1639626187000, "ts": 1639629261915, "database": "database01", "table": "table01", "type": "UPDATE", "isDdl": false, "sql": "", "sqlType": { "timestamp_column": 16, "tstzrange_column": 46, "int4range_column": 42, "char_column": 9, "jsonb_column": 22, "boolean_column": 8, "bit_column": 20, "smallint_column": 2, "bytea_column": 15 }, "data": [ { "timestamp_column": "2021-12-16 12:31:49.344365", "tstzrange_column": "(\"2010-01-01 14:30:00+08\",\"2010-01-01 15:30:00+08\")", "int4range_column": "[11,20)", "char_column": "g", "jsonb_column": "{\"key1\": \"value1\", \"key2\": \"value2\"}", "boolean_column": "false", "bit_column": "1", "smallint_column": "12", "bytea_column": "62797465615f64617461" } ], "old": [ { "timestamp_column": "2014-07-02 06:14:00.742", "tstzrange_column": "(\"2010-01-01 14:30:00+08\",\"2010-01-01 15:30:00+08\")", "int4range_column": "[11,20)", "char_column": "g", "jsonb_column": "{\"key1\": \"value1\", \"key2\": \"value2\"}", "boolean_column": "true", "bit_column": "1", "smallint_column": "12", "bytea_column": "62797465615f64617461" } ], "pkNames": null }

支持的数据库类型 目前，DRS实时同步支持的源数据库和目标数据库类型，如下表所示。 表1 同步方案 源数据库类型 目标数据库类型 同步模式 相关文档 本地自建MySQL数据库 ECS自建MySQL数据库 其他云上MySQL数据库 RDS for MySQL RDS for MySQL 增量数据同步 全量数据同步 全量+增量数据同步 将MySQL同步到MySQL（入云） GaussDB(for MySQL) 增量数据同步 全量+增量数据同步 将MySQL同步到GaussDB(for MySQL) RDS for PostgreSQL 全量数据同步 全量+增量数据同步 将MySQL同步到PostgreSQL GaussDB分布式版 增量数据同步 全量数据同步 全量+增量数据同步 将MySQL同步到GaussDB分布式版（入云） 将MySQL同步到GaussDB分布式版（自建） GaussDB主备版 增量数据同步 全量数据同步 全量+增量数据同步 将MySQL同步到GaussDB主备版（入云） 将MySQL同步到GaussDB主备版（自建） GaussDB(DWS) 增量数据同步 全量数据同步 全量+增量数据同步 将MySQL同步到GaussDB(DWS) RDS for MariaDB 增量数据同步 全量数据同步 全量+增量数据同步 将MySQL同步到MariaDB（入云） RDS for MySQL 本地自建MySQL数据库 ECS自建MySQL数据库 其他云上MySQL数据库 增量数据同步 全量+增量数据同步 将MySQL同步到MySQL（出云） Kafka 增量数据同步 全量+增量数据同步 将MySQL同步到Kafka（出云） CSS /ES 全量+增量数据同步 将MySQL同步到CSS/ES（出云） 本地自建Oracle数据库 ECS自建Oracle数据库 全量+增量数据同步 将MySQL同步到Oracle 本地自建MariaDB数据库 ECS自建MariaDB数据库 其他云上MariaDB数据库 增量数据同步 全量数据同步 全量+增量数据同步 将MySQL同步到MariaDB（出云） 本地自建MySQL数据库 ECS自建MySQL数据库 Kafka 增量数据同步 全量+增量数据同步 将MySQL同步到Kafka（自建-自建） CSS/ES 全量+增量数据同步 将MySQL同步到CSS/ES（自建-自建） 本地自建PostgreSQL数据库 ECS自建PostgreSQL数据库 其他云上PostgreSQL数据库 RDS for PostgreSQL RDS for PostgreSQL 增量数据同步 全量数据同步 全量+增量数据同步 将PostgreSQL同步到PostgreSQL GaussDB(DWS) 全量+增量数据同步 将PostgreSQL同步到GaussDB(DWS) GaussDB主备版 增量数据同步 全量数据同步 全量+增量数据同步 说明： 目前单增量数据同步仅支持白名单用户使用。 将PostgreSQL同步到GaussDB主备版 GaussDB分布式版 增量数据同步 全量数据同步 全量+增量数据同步 说明： 目前单增量数据同步仅支持白名单用户使用。 将PostgreSQL同步到GaussDB分布式版 本地自建PostgreSQL数据库 ECS自建PostgreSQL数据库 Kafka 增量数据同步 将PostgreSQL同步到Kafka（自建-自建） RDS for PostgreSQL 本地自建PostgreSQL数据库 ECS自建PostgreSQL数据库 增量数据同步 全量数据同步 全量+增量数据同步 将PostgreSQL同步到PostgreSQL（出云） Kafka 增量数据同步 将PostgreSQL同步到Kafka（出云） DDM RDS for MySQL 增量数据同步 全量数据同步 全量+增量数据同步 将DDM同步到MySQL（入云） 本地自建MySQL数据库 ECS自建MySQL数据库 其他云上MySQL数据库 增量数据同步 全量数据同步 全量+增量数据同步 将DDM同步到MySQL（出云） DDM 全量+增量数据同步 将DDM同步到DDM GaussDB(DWS) 全量+增量数据同步 将DDM同步到GaussDB(DWS) 本地自建Oracle数据库 ECS自建Oracle数据库 增量数据同步 全量数据同步 全量+增量数据同步 将DDM同步到Oracle Kafka 增量数据同步 将DDM同步到Kafka 本地自建Oracle数据库 ECS自建Oracle数据库 RDS for MySQL 增量数据同步 全量数据同步 全量+增量数据同步 将Oracle同步到MySQL GaussDB(for MySQL) 全量数据同步 全量+增量数据同步 将Oracle同步到GaussDB(for MySQL) RDS for PostgreSQL 全量数据同步 全量+增量数据同步 将Oracle同步到PostgreSQL GaussDB主备版 增量数据同步 全量数据同步 全量+增量数据同步 将Oracle同步到GaussDB主备版（入云） 将Oracle同步到GaussDB主备版（自建-自建） GaussDB分布式版 增量数据同步 全量数据同步 全量+增量数据同步 将Oracle同步到GaussDB分布式版（入云） 将Oracle同步到GaussDB分布式版（自建-自建） DDM 全量数据同步 全量+增量数据同步 将Oracle同步到DDM GaussDB(DWS) 增量数据同步 全量数据同步 全量+增量数据同步 将Oracle同步到GaussDB(DWS) Kafka 增量数据同步 将Oracle同步到Kafka GaussDB分布式版 本地自建MySQL数据库 ECS自建MySQL数据库 其他云上MySQL数据库 RDS for MySQL 全量数据同步 增量数据同步 全量+增量数据同步 将GaussDB分布式版同步到MySQL（出云） 将GaussDB分布式版同步到MySQL（自建-自建） 本地自建Oracle数据库 ECS自建Oracle数据库 全量数据同步 增量数据同步 全量+增量数据同步 将GaussDB分布式版同步到Oracle（出云） 将GaussDB分布式版同步到Oracle（自建-自建） GaussDB(DWS) 全量数据同步 增量数据同步 全量+增量数据同步 将GaussDB分布式版同步到GaussDB(DWS) Kafka 增量数据同步 将GaussDB分布式版同步到Kafka（出云） 将GaussDB分布式版同步到Kafka（自建-自建） GaussDB分布式版 全量数据同步 增量数据同步 全量+增量数据同步 将GaussDB分布式版同步到GaussDB分布式版（出云） 将GaussDB分布式版同步到GaussDB分布式版（自建-自建） GaussDB主备版 全量数据同步 增量数据同步 全量+增量数据同步 将GaussDB分布式版同步到GaussDB主备版（出云） 将GaussDB分布式版同步到GaussDB主备版（自建-自建） GaussDB主备版 本地自建MySQL数据库 ECS自建MySQL数据库 其他云上MySQL数据库 RDS for MySQL 全量数据同步 增量数据同步 全量+增量数据同步 将GaussDB主备版同步到MySQL（出云） 将GaussDB主备版同步到MySQL（自建-自建） 本地自建Oracle数据库 ECS自建Oracle数据库 全量数据同步 增量数据同步 全量+增量数据同步 将GaussDB主备版同步到Oracle（出云） 将GaussDB主备版同步到Oracle（自建-自建） Kafka 增量数据同步 将GaussDB主备版同步到Kafka（出云） 将GaussDB主备版同步到Kafka（自建-自建） GaussDB(DWS) 全量数据同步 增量数据同步 全量+增量数据同步 将GaussDB主备版同步到GaussDB(DWS) GaussDB分布式版 全量数据同步 增量数据同步 全量+增量数据同步 将GaussDB主备版同步到GaussDB分布式版（出云） 将GaussDB主备版同步到GaussDB分布式版（自建-自建） GaussDB主备版 全量数据同步 增量数据同步 全量+增量数据同步 将GaussDB主备版同步到GaussDB主备版（出云） 将GaussDB主备版同步到GaussDB主备版（自建-自建） GaussDB(for MySQL) GaussDB(for MySQL) 增量数据同步 全量+增量数据同步 将GaussDB(for MySQL)同步到GaussDB(for MySQL) 本地自建MySQL数据库 ECS自建MySQL数据库 其他云上MySQL数据库 RDS for MySQL 增量数据同步 全量+增量数据同步 将GaussDB(for MySQL)同步到MySQL GaussDB(DWS) 全量+增量数据同步 将GaussDB(for MySQL)同步到GaussDB(DWS) Kafka 增量数据同步 全量+增量数据同步 将GaussDB(for MySQL)同步到Kafka CSS/ES 全量+增量数据同步 将GaussDB(for MySQL)同步到CSS/ES 本地自建Oracle数据库 ECS自建Oracle数据库 全量+增量数据同步 将GaussDB(for MySQL)同步到Oracle DDS 自建MongoDB 其他云上MongoDB 增量数据同步支持以下方式： 副本集到副本集 集群到集群（源数据库集群版本不小于4.0） 将DDS同步到MongoDB Kafka 增量数据同步 将DDS同步到Kafka DB2 for LUW GaussDB分布式版 全量数据同步 全量+增量数据同步 将DB2 for LUW同步到GaussDB主备版（入云） 将DB2 for LUW同步到GaussDB主备版（自建） GaussDB主备版 全量数据同步 全量+增量数据同步 将DB2 for LUW同步到GaussDB分布式版（入云） 将DB2 for LUW同步到GaussDB分布式版 自建） GaussDB(DWS) 全量数据同步 全量+增量数据同步 将DB2 for LUW同步到GaussDB(DWS) TiDB GaussDB(for MySQL) 全量+增量数据同步 将TiDB同步到GaussDB(for MySQL) 本地自建Microsoft SQL Server数据库 ECS自建Microsoft SQL Server数据库 其他云上完全兼容Microsoft SQL Server的数据库 RDS for SQL Server GaussDB(DWS) 全量+增量数据同步 将Microsoft SQL Server同步到GaussDB(DWS) GaussDB主备版 增量数据同步 全量数据同步 全量+增量数据同步 将Microsoft SQL Server同步到GaussDB主备版 GaussDB分布式版 增量数据同步 全量数据同步 全量+增量数据同步 将Microsoft SQL Server同步到GaussDB分布式版 Microsoft SQL Server 说明： 目前仅支持白名单用户使用。 全量+增量数据同步 将Microsoft SQL Server同步到Microsoft SQL Server RDS for SQL Server Kafka 说明： 目前仅支持白名单用户使用。 增量数据同步 将Microsoft SQL Server同步到Kafka（出云） 本地自建Microsoft SQL Server数据库 ECS自建Microsoft SQL Server数据库 其他云上完全兼容Microsoft SQL Server的数据库 Kafka 说明： 目前仅支持白名单用户使用。 增量数据同步 将Microsoft SQL Server同步到Kafka（自建-自建） 本地自建Mongo数据库 ECS自建Mongo数据库 其他云上Mongo数据库 DDS DDS 全量+增量数据同步支持以下方式： 副本集到副本集 将MongoDB同步到DDS 本地自建MariaDB数据库 ECS自建MariaDB数据库 其他云上MariaDB数据库 RDS for MariaDB 全量+增量数据同步 将MariaDB同步到MariaDB 本地自建MariaDB数据库 ECS自建MariaDB数据库 其他云上MariaDB数据库 RDS for MySQL 增量数据同步 全量+增量数据同步 将MariaDB同步到MySQL GaussDB(for MySQL) 增量数据同步 全量+增量数据同步 将MariaDB同步到GaussDB(for MySQL) RDS for MariaDB 本地自建MariaDB数据库 ECS自建MariaDB数据库 其他云上MariaDB数据库 全量+增量数据同步 将MariaDB同步到MariaDB

数据库账号权限要求 在使用DRS进行同步时，连接源库和目标库的数据库账号需要满足以下权限要求，才能启动实时同步任务。不同类型的同步任务，需要的账号权限也不同，详细可参考表2进行赋权。DRS会在“预检查”阶段对数据库账号权限进行自动检查，并给出处理建议。 表2 数据库账号权限 类型名称 全量同步、全量+增量同步、增量同步 源数据库连接账号 源数据库DDM账户至少需要具备一个权限，例如：SELECT。 DDM物理分片数据库账号需要具备如下权限：SELECT、SHOW VIEW、EVENT、LOCK TABLES、REPLICATION SLAVE、REPLICATION CLIENT。 目标数据库连接账号 需要具备如下权限：SELECT、CREATE、ALTER、DROP、DELETE、INSERT、UPDATE。 RDS for MySQ L实例 的root账户默认已具备上述权限。 建议创建单独用于DRS任务连接的数据库账号，避免因为数据库账号密码修改，导致的任务连接失败。 连接源和目标数据库的账号密码修改后，请尽快修改DRS任务中的连接信息，避免任务连接失败后自动重试，导致数据库账号被锁定影响使用。

支持的同步对象范围 在使用DRS进行同步时，不同类型的同步任务，支持的同步对象范围不同，详细情况可参考表3。DRS会根据用户选择，在“预检查”阶段对同步对象进行自动检查。 表3 支持的同步对象 类型名称 使用须知 同步对象范围 全量同步支持数据、表结构和索引的同步。 源数据库不允许存在拆分键为timestamp类型的表。 源表的分库分表键要加到目标表的主键和唯一键中（也就是目标表的主键和唯一键中的列应该包含源表的分片列），避免数据冲突出现数据不一致问题。

数据库用户权限要求 在使用DRS进行同步时，连接源库和目标库的数据库用户需要满足以下权限要求，才能启动实时同步任务。不同类型的同步任务，需要的用户权限也不同，详细可参考表3进行赋权。DRS会在“预检查”阶段对数据库用户权限进行自动检查，并给出处理建议。 建议创建单独用于DRS任务连接的数据库用户，避免因为数据库用户密码修改，导致的任务连接失败。 连接源或目标数据库的用户密码修改后，请尽快修改DRS任务中的连接信息，避免任务连接失败后自动重试，导致数据库用户被锁定影响使用。 由于分布式数据库为源链路需要检查每个DN的连通性，建议使用非root数据库用户进行同步，避免因为密码填写错误在连接DN过程中导致用户被锁定。 表3 数据库用户权限 类型名称 全量同步 增量同步 全量+增量同步 源数据库连接用户 具备sysadmin角色或者以下最小权限： 需要DATABASE的CONNECT权限、SCHEMA的USAGE权限、表的SELECT或UPDATE权限（无主键表锁表需要UPDATE权限）、SEQUENCE的SELECT权限。 需要具备远程连接权限，添加方法可参考GaussDB远程连接配置方法。 具备sysadmin角色或者以下最小权限： 需要REPLICATION权限或继承了内置角色gs_role_replication的权限、DATABASE的CONNECT权限、SCHEMA的USAGE权限、表的SELECT权限。 需要具备远程连接权限，添加方法可参考GaussDB远程连接配置方法。 需要保证安全组和防火墙策略放开对应连接端口，详细说明可参考GaussDB为源链路增量同步连接及端口说明。 具备sysadmin角色或者以下最小权限： 需要REPLICATION权限或继承了内置角色gs_role_replication的权限、DATABASE的CONNECT权限、SCHEMA的USAGE权限、表的SELECT或UPDATE权限（无主键表锁表需要UPDATE权限）、SEQUENCE的SELECT权限。 需要具备远程连接权限，添加方法可参考GaussDB远程连接配置方法。 需要保证安全组和防火墙策略放开对应连接端口，详细说明可参考GaussDB为源链路增量同步连接及端口说明。 目标数据库连接用户 具备sysadmin角色或者以下最小权限： 需要DATABASE的CONNECT和CREATE权限、SCHEMA的USAGE和CREATE权限、表的INSERT、UPDATE、DELETE、SELECT、ALTER、INDEX、COMMENT权限。 目标库使用gsloader等工具创建相关系统表（如 public.pgxc_copy_error_log，public.gs_copy_summary）时，DRS访问相关系统表需要有系统表的all privilege权限，详细信息可参考《GaussDB工具参考》。

注意事项 为保证任务的正常运行，DRS提供了自动化的检查方法，在您启动DRS任务前，会针对源数据库和目标数据库的相关配置、条件进行检查。主要的检查项和对应的处理建议请参考预检查项。除了预检查项目之外，您还需要注意的事情参见表4。 表4 注意事项 类型名称 使用和操作限制 源数据库限制 不支持reset master或reset master to命令，可能会导致DRS任务失败或者数据不一致。 源数据库不允许存在与目标库同名的无主键表。 如果源数据库MariaDB不支持TLS1.2协议，需提交运维申请才能使用SSL测试连接。 使用限制 通用： 请勿修改源库和目标库的端口号，请勿修改、删除源库和目标库连接用户的密码、权限，否则可能导致任务失败。 请勿在目标库做写入操作，否则可能导致数据不一致。 全量同步阶段： 请勿在源库执行任何DDL，否则可能导致数据不一致或任务失败。 全量同步过程中，对MyISAM表执行修改操作时，可能造成数据不一致。 增量同步阶段： 增量同步过程中支持部分DDL操作。 一对一的场景下，默认同步的DDL类型有CREATE_TABLE，RENAME_TABLE，ADD_COLUMN，MODIFY_COLUMN，CHANGE_COLUMN，DROP_COLUMN，DROP_INDEX，ADD_INDEX，CREATE_INDEX，RENAME_INDEX，DROP_TABLE，TRUNCATE_TABLE，DROP_PARTITION，RENAME_COLUMN，DROP_PRIMARY_KEY，ADD_PRIMARY_KEY，客户可以根据自身需求，在对象选择页面选择需要同步的DDL类型。 增量同步支持表的重命名，源表和目标表必须都在对象选择里。 增量同步支持任务再编辑追加同步对象。 表级同步时，增量同步过程支持使用Online DDL，可参考DRS实时同步支持使用Online DDL工具吗。 同步对比阶段： 建议在源库的业务低峰期进行数据比对，防止误报不一致数据，以及减少对源库和DRS任务的冲击。 在增量同步过程中做对比时，源库如果存在写入，则对比结果可能不一致。 不支持在全量同步过程中做对比。 不支持数据对比过程中做限速。 常见故障排查： 在任务创建、启动、全量同步、增量同步、结束等过程中，如有遇到问题，可先参考“故障排查”章节进行排查。 其他限制 已选择的表与未选择的表之间互相rename的DDL操作，在任务同步中会被过滤掉，可能会导致任务失败或数据不一致。 对于一个DDL中存在一个rename的情况（例如：rename A TO B），只支持rename前后库表都在已选择库表中的rename操作（A和B都在已选择库表中），其他情况的rename DDL会被过滤； 对于一个DDL中存在多个rename的情况（例如：rename A TO B, B TO C），只支持rename前后库表都在已选择库表中的部分rename操作 ，其他情况的rename DDL会被过滤（A和B在已选择库表中，C不在，仅执行rename A TO B）。 不建议在多对一同步场景下的进行rename操作，可能会导致任务失败或数据不一致。 如果专属计算集群不支持4vCPU/8G或以上规格实例，则无法创建同步任务。 对于源数据库和目标数据库的版本有差异的同步链路，由于不同版本之间的部分特性差异，可能会出现语法兼容性问题，详情可参考MySQL或MariaDB不同版本之间的语法差异。 对于表中的物理生成列，如果列是根据一个时间类型生成的，会存在此列数据不一致的可能性。 进行表级多对一同步时，源库不允许存在无主键表。 当源数据库不存在视图，但是存在和视图同名的表结构时，请不要在源端执行对应的drop view if exists的SQL语句，否则会导致任务失败。这是因为在MariaDB中执行drop view if exists的时候，如果对应视图不存在，但是存在和视图名同名的表，该操作不会报异常，同时还会产生Binlog记录。同步到目标库时，MySQL在同样情况下执行drop view if exists时，会报is not view的异常，导致任务失败。 源库如果存在非标浮点类型，且非标浮点类型存在宽松模式可以写入但严格模式下无法写入的数据，同步过程可能会有数据不一致的风险。 在创建DRS任务之前，如果源数据库实例开启并设置了SQL限流规则，可能会导致DRS任务失败。 支持断点续传功能，但是对于无主键的表可能会出现重复插入数据的情况。 支持目标数据库中的表比源数据库多列场景，但是需要避免以下场景可能导致的任务失败。 目标端多的列要求非空且没有默认值，源端insert数据，同步到目标端后多的列为null，不符合目标端要求。 目标端多的列设置固定默认值，且有唯一约束。源端insert多条数据后，同步到目标端后多的列为固定默认值，不符合目标端要求。 不支持源数据库恢复到之前时间点的操作(PITR)。 不支持目标数据库恢复到全量同步时间段范围内的PITR操作。 不支持外键级联操作。当外键是普通索引的时候，可能会导致表结构创建失败，建议改成唯一索引。 不支持强制清理binlog，否则会导致同步任务失败。 不支持分区表的分区字段进行列映射。 任务创建后，目标库不能设置为只读。 多对一表级同步场景下，在“数据加工”页面设置了附加列为来源列，如果目标库中已经存在多对一映射之后的表，请在目标库中删除这张表或者清除表的数据，否则将不会通过附加列来创建联合主键。并且在同步过程中会因为数据冲突并忽略，而导致数据不一致。 需要DRS任务同步索引的情况下，目标库对应表上不能存在同名但不同列信息的索引。全量阶段DRS会忽略对应表上已存在的同名索引，增量阶段DDL根据索引名操作索引时会触发错位问题。

支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 本地自建MariaDB数据库 10.0、10.1、10.2、10.3、10.4、10.5版本 ECS自建MariaDB数据库 10.0、10.1、10.2、10.3、10.4、10.5版本 其他云上MariaDB数据库 10.0、10.1、10.2、10.3、10.4、10.5版本 RDS for MySQL 5.5、5.6、5.7、8.0版本 说明： 源库为MariaDB 10.0、10.1版本时，建议同步到目标库MySQL 5.6及以上的版本。 源库为MariaDB 10.2、10.3、10.4版本时，建议同步到目标库MySQL 5.7及以上的版本。 源库为MariaDB 10.5版本时，建议同步到目标库MySQL 8.0版本。

数据库账号权限要求 在使用DRS进行同步时，连接源库和目标库的数据库账号需要满足以下权限要求，才能启动实时同步任务。不同类型的同步任务，需要的账号权限也不同，详细可参考表2进行赋权。DRS会在“预检查”阶段对数据库账号权限进行自动检查，并给出处理建议。 建议创建单独用于DRS任务连接的数据库账号，避免因为数据库账号密码修改，导致的任务连接失败。 连接源和目标数据库的账号密码修改后，请尽快修改DRS任务中的连接信息，避免任务连接失败后自动重试，导致数据库账号被锁定影响使用。 表2 数据库账号权限 类型名称 增量、全量+增量同步 源数据库连接账号 SELECT、SHOW VIEW、EVENT、LOCK TABLES、RELOAD、REPLICATION SLAVE、REPLICATION CLIENT（或BIN LOG MONIOTOR，MariaDB 10.5及以上版本更改为此权限）。 目标数据库连接账号 SELECT、CREATE、DROP、DELETE、INSERT、UPDATE、ALTER、CREATE VIEW、CREATE ROUTINE、REFEREN CES ，RDS for MySQL实例的root账户默认已具备上述权限。当目标库为8.0.14-8.0.18版本时，还需要有SESSION_VARIABLES_ADMIN权限。

支持的同步对象范围 在使用DRS进行同步时，不同类型的同步任务，支持的同步对象范围不同，详细情况可参考表3。DRS会根据用户选择，在“预检查”阶段对同步对象进行自动检查。 表3 支持的同步对象 类型名称 使用须知 同步对象范围 支持表、主键索引、唯一索引、普通索引、存储过程、视图、函数的同步。 仅支持MyISAM和InnoDB表的同步。 不支持事件、触发器的同步。 视图、存储过程、函数依赖的表不支持做表名映射。 任务做表名映射时，不支持该表的外键约束同步。 任务做库名映射时，同步的对象中如果存在存储过程、视图、函数对象，全量阶段这些对象不会同步，会导致对象对比不一致。

数据库用户权限要求 在使用DRS进行同步时，连接源库和目标库的数据库用户需要满足以下权限要求，才能启动实时同步任务。不同类型的同步任务，需要的用户权限也不同，详细可参考表3进行赋权。DRS会在“预检查”阶段对数据库用户权限进行自动检查，并给出处理建议。 建议创建单独用于DRS任务连接的数据库用户，避免因为数据库用户密码修改，导致的任务连接失败。 连接源或目标数据库的用户密码修改后，请尽快修改DRS任务中的连接信息，避免任务连接失败后自动重试，导致数据库用户被锁定影响使用。 由于分布式数据库为源链路需要检查每个DN的连通性，建议使用非root数据库用户进行同步，避免因为密码填写错误在连接DN过程中导致用户被锁定。 表3 数据库用户权限 类型名称 全量同步 增量同步 全量+增量同步 源数据库连接用户 具备sysadmin角色或者以下最小权限： 需要DATABASE的CONNECT权限、SCHEMA的USAGE权限、表的SELECT或UPDATE权限（无主键表锁表需要UPDATE权限）、SEQUENCE的SELECT权限。 需要具备远程连接权限，添加方法可参考GaussDB远程连接配置方法。 具备sysadmin角色或者以下最小权限： 需要REPLICATION权限或继承了内置角色gs_role_replication的权限、DATABASE的CONNECT权限、SCHEMA的USAGE权限、表的SELECT权限。 需要具备远程连接权限，添加方法可参考GaussDB远程连接配置方法。 需要保证安全组和防火墙策略放开对应连接端口，详细说明可参考GaussDB为源链路增量同步连接及端口说明。 具备sysadmin角色或者以下最小权限： 需要REPLICATION权限或继承了内置角色gs_role_replication的权限、DATABASE的CONNECT权限、SCHEMA的USAGE权限、表的SELECT或UPDATE权限（无主键表锁表需要UPDATE权限）、SEQUENCE的SELECT权限。 需要具备远程连接权限，添加方法可参考GaussDB远程连接配置方法。 需要保证安全组和防火墙策略放开对应连接端口，详细说明可参考GaussDB为源链路增量同步连接及端口说明。 目标数据库连接用户 具备sysadmin角色或者以下最小权限： 需要DATABASE的CONNECT和CREATE权限、SCHEMA的USAGE和CREATE权限、表的INSERT、UPDATE、DELETE、SELECT、ALTER、INDEX、COMMENT权限。 目标库使用gsloader等工具创建相关系统表（如 public.pgxc_copy_error_log，public.gs_copy_summary）时，DRS访问相关系统表需要有系统表的all privilege权限，详细信息可参考《GaussDB工具参考》。

数据库用户权限要求 在使用DRS进行同步时，连接源库和目标库的数据库用户需要满足以下权限要求，才能启动实时同步任务。不同类型的同步任务，需要的用户权限也不同，详细可参考表3进行赋权。DRS会在“预检查”阶段对数据库用户权限进行自动检查，并给出处理建议。 建议创建单独用于DRS任务连接的数据库用户，避免因为数据库用户密码修改，导致的任务连接失败。 连接源或目标数据库的用户密码修改后，请尽快修改DRS任务中的连接信息，避免任务连接失败后自动重试，导致数据库用户被锁定影响使用。 由于分布式数据库为源链路需要检查每个DN的连通性，建议使用非root数据库用户进行同步，避免因为密码填写错误在连接DN过程中导致用户被锁定。 表3 数据库用户权限 类型名称 全量同步 增量同步 全量+增量同步 源数据库连接用户 用户具备sysadmin角色或以下最小权限： DATABASE的CONNECT权限、SCHEMA的USAGE权限、表的SELECT或UPDATE权限（无主键表锁表需要UPDATE权限）、SEQUENCE的SELECT权限。 需要具备远程连接权限，添加方法可参考GaussDB远程连接配置方法。 用户具备sysadmin角色或以下最小权限： REPLICATION权限或继承了内置角色gs_role_replication的权限、DATABASE的CONNECT权限、SCHEMA的USAGE权限、表的SELECT权限。 需要具备远程连接权限，添加方法可参考GaussDB远程连接配置方法。 需要保证安全组和防火墙策略放开对应连接端口，详细说明可参考GaussDB为源链路增量同步连接及端口说明。 用户具备sysadmin角色或以下最小权限： REPLICATION权限或继承了内置角色gs_role_replication的权限、DATABASE的CONNECT权限、SCHEMA的USAGE权限、表的SELECT或UPDATE权限（无主键表锁表需要UPDATE权限）、SEQUENCE的SELECT权限。 需要具备远程连接权限，添加方法可参考GaussDB远程连接配置方法。 需要保证安全组和防火墙策略放开对应连接端口，详细说明可参考GaussDB为源链路增量同步连接及端口说明。 目标数据库连接用户 用户需要具备DBA角色或者以下最小权限： CREATE SESSION权限，表的SELECT、INSERT权限，或者具备RESOURCE角色。 用户需要具备DBA角色或者以下最小权限： CREATE SESSION权限，表的SELECT、INSERT、UPDATE、DELETE权限，或者具备RESOURCE角色 用户需要具备DBA角色或者以下最小权限： CREATE SESSION权限，表的SELECT、INSERT、UPDATE、DELETE权限，或者具备RESOURCE角色。

支持的同步对象范围 在使用DRS进行同步时，不同类型的同步任务，支持的同步对象范围不同，详细情况可参考表2。DRS会根据用户选择，在“预检查”阶段对同步对象进行自动检查。 表2 支持的同步对象 类型名称 使用须知 同步对象范围 支持的字段类型： TINYINT、SMALLINT、INT、BIGINT、DECIMAL、NUMERIC、FLOAT、REAL、SMALLMONEY、MONEY、BIT、DATE、DATETIME、DATETIME2、DATETIMEOFFSET、TIME、TIMESTAMP、XML、CHAR、VARCHAR、NCHAR、NVARCHAR、BINARY、VARBINARY、IMAGE、HIERARCHYID、NTEXT、TEXT、UNIQUEIDENTIFIER。 不支持的字段类型：SQL_VARIANT、GEOMETRY、GEOGRAPHY。 增量同步的范围： 支持DML（Data Manipulation Language）：包括INSERT、UPDATE、DELETE。 不支持DDL（Data Definition Language）。

数据库账号权限要求 在使用DRS进行同步时，连接源库和目标库的数据库账号需要满足以下权限要求，才能启动实时同步任务。不同类型的同步任务，需要的账号权限也不同，详细可参考表3进行赋权。DRS会在“预检查”阶段对数据库账号权限进行自动检查，并给出处理建议。 表3 数据库账号权限 类型名称 增量同步 源数据库连接账号 需要具备sysadmin权限，或者view server state权限以及待同步数据库的db_datareader或db_owner权限。

使用须知 DRS增量同步过程一般包含三个阶段：任务启动阶段、增量阶段、结束任务阶段。为了确保同步各个阶段的平顺，在创建同步任务前，请务必阅读以下使用须知。 表4 使用须知 类型名称 使用和操作约定 任务启动前须知 源数据库参数要求： 源数据库模式必须设置为FULL模式。 源数据库必须开启SQL Server Agent代理服务。 源数据库若开启客户端配置中的“强制协议加密（Force Protocol Encrypton）”，必须同时开启“信任服务器证书（trust server certificate）”，如下图1所示： 图1 查看客户端属性 源数据库对象要求： 源库中不允许存在被禁用的表的聚簇索引，否则会导致同步失败。 源库中不允许存在名称为cdc的用户名或schema。 源库待同步对象的库名、schema名、表名只能包含如下字符：字母、数字、下划线和中划线，库名长度不能超过64个字符。 源库待同步对象的表中列名不能包含如下字符：[]?。 目标数据库参数要求： 目标库为社区Kafka。 Kafka的auto.create.topics.enable参数建议为false。 其他使用须知： 不支持源数据库主备切换，源数据库主备切换会导致同步任务失败。 不支持源数据库Microsoft SQL Server为TLS 1.0、TLS 1.1协议的同步，如果需要同步，建议源库升级到TLS 1.2及以上版本。 SQL Server为源的增量同步基于SQL Server提供的CDC能力，如果SQL Server源库的CDC功能出现异常（如被关闭、事务日志满等情况），则增量同步就会受到影响。 增量同步过程须知 请勿修改源库和目标库的端口号，请勿修改、删除源库和目标库连接用户的密码、权限，否则可能导致任务失败。 请勿在目标库做写入操作，否则可能导致数据不一致。 请勿在Kafka上删除接收DRS数据的topic，否则可能导致任务失败。 不支持DDL操作，源数据库进行的DDL操作不会同步到目标数据库。 不支持大数据类型IMAGE、TEXT、NTEXT的删除操作。 支持任务再编辑追加同步对象。

支持的同步对象范围 在使用DRS进行同步时，不同类型的同步任务，支持的同步对象范围不同，详细情况可参考表3。DRS会根据用户选择，在“预检查”阶段对同步对象进行自动检查。 表3 支持的同步对象 类型名称 使用须知 同步对象范围 全量同步时支持表、普通索引、主键与唯一约束、数据的同步。增量同步时支持表的实时同步。 全量阶段不支持bfile，xmltype、sdo_geometry、urowid和自定义类型。增量阶段不支持XMLTYPE、bfile，xmltype、sdo_geometry、urowid、interval year to month、interval day to second和自定义类型。 timestamp和interval day to second类型支持的最大精度是6。 全量同步结构不支持位图索引、倒排索引、函数索引。 增量同步LOB类型仅支持BasicFiles属性，不支持SecureFiles属性，支持的LOB类型大小限10M以内。 对于TIMESTAMP WITH TIME ZONE类型，根据目标库时区做转换后不得大于“9999-12-31 23:59:59.999999”。 不支持默认值含有表达式的函数的表的同步。 不支持同步源库中的临时表。 不支持同步源库中有虚拟列的表。 不支持同步既是无主键表，又是分区表的自建表，可能会导致任务失败。

数据库账号权限要求 在使用DRS进行同步时，连接源库和目标库的数据库账号需要满足以下权限要求，才能启动实时同步任务。不同类型的同步任务，需要的账号权限也不同，详细可参考表2进行赋权。DRS会在“预检查”阶段对数据库账号权限进行自动检查，并给出处理建议。 表2 数据库账号权限 类型名称 全量+增量同步 源数据库连接账号 源数据库DDM账户至少需要具备一个权限，例如：SELECT。 DDM物理分片数据库账号需要具备如下权限：SELECT、SHOW VIEW、EVENT、LOCK TABLES、REPLICATION SLAVE、REPLICATION CLIENT。 目标数据库连接账号 需要具备如下基本权限：CREATE、DROP、ALTER、INDEX、INSERT、DELETE、UPDATE、SELECT， 同时必须具备扩展权限：全表SELECT权限。目标中间件账户必须具备对所同步数据库的权限。 建议创建单独用于DRS任务连接的数据库账号，避免因为数据库账号密码修改，导致的任务连接失败。 连接源和目标数据库的账号密码修改后，请尽快修改DRS任务中的连接信息，避免任务连接失败后自动重试，导致数据库账号被锁定影响使用。

注意事项 为保证任务的正常运行，DRS提供了自动化的检查方法，在您启动DRS任务前，会针对源数据库和目标数据库的相关配置、条件进行检查。主要的检查项和对应的处理建议请参考预检查项。除了预检查项目之外，您还需要注意的事情参见表4。 表4 注意事项 类型名称 使用和操作限制 源数据库限制 源物理分片数据库建议开启skip-name-resolve，减少连接超时的可能性。 使用限制 通用： 在任务启动、任务全量同步阶段，不建议对源数据库做删除类型的DDL操作，这样可能会引起任务同步失败。 同步过程中，不允许修改、删除连接源和目标数据库的用户的用户名、密码、权限，或修改源和目标数据库的端口号。 同步过程中，不允许对源库需要同步的表结构进行修改。 同步过程中，不允许源端DDM正在同步的表做改变拆分键的操作；也不允许将单表/广播表改为拆分表，拆分表改为单表/广播表。 增量同步阶段： 不支持源数据库进行恢复操作。 支持部分DDL语句，包括：ADD COLUMN、CREATE TABLE、CREATE INDEX、DROP INDEX、RENAME INDEX、ADD INDEX。 对同一张表或列做DDL操作，需要在业务低峰期，并且时间间隔1分钟以上。 常见故障排查： 在任务创建、启动、全量同步、增量同步、结束等过程中，如有遇到问题，可先参考“故障排查”章节进行排查。 其他限制 如果专属计算集群不支持4vCPU/8G或以上规格实例，则无法创建同步任务。 数据类型不兼容时，可能引起同步失败。 源库如果存在非标浮点类型，且非标浮点类型存在宽松模式可以写入但严格模式下无法写入的数据，同步过程可能会有数据不一致的风险。 对于表中的物理生成列，如果列是根据一个时间类型生成的，会存在此列数据不一致的可能性。 支持目标数据库中的表比源数据库多列场景，但是需要避免以下场景可能导致的任务失败。 目标端多的列要求非空且没有默认值，源端insert数据，同步到目标端后多的列为null，不符合目标端要求。 目标端多的列设置固定默认值，且有唯一约束。源端insert多条数据后，同步到目标端后多的列为固定默认值，不符合目标端要求。 任务创建后，源数据库不支持增加逻辑库或修改旧逻辑库关联新的RDS，否则会导致数据无法正常同步或任务失败。 目标库需要提前创建逻辑库。 目标库如果已存在数据，DRS在增量同步过程中源库相同主键的数据将覆盖目标库已存在的数据，因此在同步前需要用户自行判断数据是否需要清除，建议用户在同步前自行清空目标库。 目标库实例如果选择将时间戳类型（TIMESTAMP，DATETIME）的列作为分片键，则源库数据在同步到目标库之后，作为分片键的该时间戳类型列的秒精度将被丢弃。 目标数据库存在表的AUTO_INCREMENT值至少不能小于源库表的AUTO_INCREMENT值。 选择表级对象同步时，增量同步过程中不建议对表进行重命名操作。 任务再编辑时，对新添加的表，在再编辑变更过程中禁止大批量导数据，建议在业务低峰期进行再编辑操作。 当目标DDM版本大于3.0.4.1版本，结束任务时，DRS会自动刷新DDM的自增列(sequence)起始值。

使用须知 DRS增量同步过程一般包含三个阶段：任务启动阶段、增量阶段、结束任务阶段。为了确保同步各个阶段的平顺，在创建同步任务前，请务必阅读以下使用须知。 表4 使用须知 类型名称 使用和操作约定 任务启动前须知 源数据库参数要求： 源数据库模式必须设置为FULL模式。 源数据库必须开启SQL Server Agent代理服务。 源数据库若开启客户端配置中的“强制协议加密（Force Protocol Encrypton）”，必须同时开启“信任服务器证书（trust server certificate）”，如下图1所示： 图1 查看客户端属性 源数据库对象要求： 源库中不允许存在被禁用的表的聚簇索引，否则会导致同步失败。 源库中不允许存在名称为cdc的用户名或schema。 源库待同步对象的库名、schema名、表名只能包含如下字符：字母、数字、下划线和中划线，库名长度不能超过64个字符。 源库待同步对象的表中列名不能包含如下字符：[]?。 目标数据库参数要求： 目标库为社区Kafka。 Kafka的auto.create.topics.enable参数建议为false。 其他使用须知： 不支持源数据库主备切换，源数据库主备切换会导致同步任务失败。 不支持源数据库Microsoft SQL Server为TLS 1.0、TLS 1.1协议的同步，如果需要同步，建议源库升级到TLS 1.2及以上版本。 SQL Server为源的增量同步基于SQL Server提供的CDC能力，如果SQL Server源库的CDC功能出现异常（如被关闭、事务日志满等情况），则增量同步就会受到影响。 增量同步过程须知 请勿修改源库和目标库的端口号，请勿修改、删除源库和目标库连接用户的密码、权限，否则可能导致任务失败。 请勿在目标库做写入操作，否则可能导致数据不一致。 请勿在Kafka上删除接收DRS数据的topic，否则可能导致任务失败。 不支持DDL操作，源数据库进行的DDL操作不会同步到目标数据库。 不支持大数据类型IMAGE、TEXT、NTEXT的删除操作。 支持任务再编辑追加同步对象。