数据复制服务 DRS-华为云

数据复制服务 DRS-创建校验任务:支持的数据库类型

支持的数据库类型目前，DRS校验任务支持的源数据库和目标数据库类型，如下表所示。表1 支持的数据库源数据库类型目标数据库类型本地自建MySQL数据库 E CS 自建MySQL数据库其他云上MySQL数据库 RDS for MySQL RDS for MySQL TaurusDB RDS for PostgreSQL GaussDB 分布式版 GaussDB集中式版 RDS for MariaDB RDS for MySQL 本地自建MySQL数据库 ECS自建MySQL数据库其他云上MySQL数据库 CSS /ES 本地自建Oracle数据库 ECS自建Oracle数据库本地自建MariaDB数据库 ECS自建MariaDB数据库其他云上MariaDB数据库本地自建MySQL数据库 ECS自建MySQL数据库 CSS/ES 本地自建PostgreSQL数据库 ECS自建PostgreSQL数据库其他云上PostgreSQL数据库 RDS for PostgreSQL RDS for PostgreSQL GaussDB集中式版 GaussDB分布式版 RDS for PostgreSQL 本地自建PostgreSQL数据库 ECS自建PostgreSQL数据库 DDM RDS for MySQL 本地自建MySQL数据库 ECS自建MySQL数据库其他云上MySQL数据库 DDM 本地自建Oracle数据库 ECS自建Oracle数据库本地自建Oracle数据库 ECS自建Oracle数据库 RDS for MySQL TaurusDB RDS for PostgreSQL GaussDB集中式版 GaussDB分布式版 DDM GaussDB分布式版本地自建MySQL数据库 ECS自建MySQL数据库其他云上MySQL数据库 RDS for MySQL 本地自建Oracle数据库 ECS自建Oracle数据库 GaussDB分布式版 GaussDB集中式版 GaussDB集中式版本地自建MySQL数据库 ECS自建MySQL数据库其他云上MySQL数据库 RDS for MySQL 本地自建Oracle数据库 ECS自建Oracle数据库 GaussDB分布式版 GaussDB集中式版 TaurusDB TaurusDB 本地自建MySQL数据库 ECS自建MySQL数据库其他云上MySQL数据库 RDS for MySQL CSS/ES 本地自建Oracle数据库 ECS自建Oracle数据库 DDS 自建MongoDB 其他云上MongoDB DB2 for LUW GaussDB分布式版 GaussDB集中式版 TiDB TaurusDB - GaussDB集中式版 GaussDB分布式版 Microsoft SQL Server 本地自建Mongo数据库 ECS自建Mongo数据库其他云上Mongo数据库 DDS DDS 本地自建MariaDB数据库 ECS自建MariaDB数据库其他云上MariaDB数据库 RDS for MariaDB 本地自建MariaDB数据库 ECS自建MariaDB数据库其他云上MariaDB数据库 RDS for MySQL TaurusDB RDS for MariaDB 本地自建MariaDB数据库 ECS自建MariaDB数据库其他云上MariaDB数据库 Cassandra GeminiDB Cassandra 其他云上DynamoDB（Web服务） GeminiDB Dynamo 说明：目前仅支持白名单用户使用。 Redis GenimiDB Redis GenimiDB Redis Redis

数据复制服务 DRS

数据复制服务 DRS-创建校验任务:数据库权限

数据库权限表2 数据库权限数据库校验所需权限 MySQL/RDS for MySQL SELECT TaurusDB SELECT DDM SELECT TiDB SELECT MariaDB SELECT PostgresSQL/RDS for PostgreSQL 数据库的CONNECT权限，模式的USAGE权限，表的SELECT权限，序列的SELECT权限。 Oracle 需要具有CREATE SESSION，SELECT ANY DICTIONARY，针对单表的SELECT权限。 GaussDB集中式版需要使用root或其他具有Sysadmin角色的数据库用户登录POSTGRES基库，赋予用户以下权限：库级权限：DATABASE的CONNECT权限。 SCHEMA级权限：SCHEMA的USAGE权限。表级权限：SCHEMA下所有表的SELECT权限。 GaussDB分布式版需要使用root或其他具有Sysadmin角色的数据库用户登录POSTGRES基库，赋予用户以下权限：库级权限：DATABASE的CONNECT权限。 SCHEMA级权限：SCHEMA的USAGE权限。表级权限：SCHEMA下所有表的SELECT权限。 MongoDB/DDS/AWS DocumentDB 副本集：连接源数据库的用户需要有admin库的readAnyDatabase权限，有local库的read权限。单节点：连接源数据库的用户需要有admin库的readAnyDatabase权限，有local库的read权限。 Microsoft SQL Server 需要具备sysadmin权限，或者待同步数据库的db_datareader或db_owner权限。 DB2 for LUW 需要用户具有CONNECT、DATAAC CES S权限。如果源数据库表结构存在DB2SECURITYLABEL字段类型，需要确保该用户具有该表全部数据的读权限。 CSS/ES 需要用户具有READ权限。 Cassandra 需要具备以下最小权限：权限系统表system_auth.roles和system_auth.role_permissions的SELECT权限、所需同步表的SELECT权限

数据复制服务 DRS

数据复制服务 DRS-校验任务:创建对比任务

创建对比任务在“校验任务管理”界面，选择指定的校验任务，单击任务名称。页面跳转至“基本信息”，切换到“校验任务”页签，进入“对比”信息页面。选择对比的内容。创建对象级对比：选择“对象级对比”页签，单击“开始对比”后稍等一段时间再单击，观察源数据库和目标数据库的各个对比项结果是否一致。若需要查看结果详情，可单击指定对比项操作列的“详情”按钮。图1 对象对比创建数据级对比：选择“数据级对比”页签，单击“创建对比任务”，选择“对比类型”和“对象选择”，单击“是”提交对比任务。图2 创建数据对比任务行数对比：用于对比源和目标端的表的行数是否相等。内容对比：用于对比源和目标端的表的内容是否相同。静态对比：适用于无数据变化的非业务时间。对象选择：可根据具体的业务场景选择需要进行对比的对象。创建数据过滤对比：选择“数据级对比”页签，单击“创建对比任务”，选择“对比类型”、“对比方式”勾选“进行数据过滤”选项。图3 创建数据过滤对比任务选择具体的对象，单击“下一步”，选择需要校验的表，输入过滤条件，单击“校验规则”。图4 选择对象校验完成后，点击“生成过滤规则”，然后单击“是”完成对比任务的创建。图5 过滤规则对比任务提交成功后，在“数据级对比”页签，单击刷新列表，可以查看到所选对比类型的对比结果。图6 同步数据对比若需要查看行数对比或者内容对比详情，可单击指定对比类型操作列的“查看对比报表”，页面将跳转至新的窗口，可观察对比结果的详细情况。图7 数据级对比详情单击“导出报告”，可导出对比报告。导出的报告，可以单击“下载报告”，将报告下载至本地。已取消的对比任务也支持查看对比报表。导出的报告保留24小时，请尽快下载至本地。

数据复制服务 DRS

数据复制服务 DRS-校验任务:对比使用场景

对比使用场景对比实时校验项可以清晰反馈出源数据库和目标数据库的数据是否存在差异。为了尽可能减少业务的影响和业务中断时间，校验场景提供了以下几种对比方式：对象级对比：支持对数据库、表、索引等进行对比。数据级对比-行对比：对比选择的表的行数是否一致，只查询表的行数，对比速度较快，建议优先使用。数据级比对-内容比对-静态比对：比对选择的表的内容是否一致，对比速度取决于表的数据量。内容对比和行数对比不能同时运行。内容对比和对象级对比不能同时运行。

数据复制服务 DRS

数据复制服务 DRS-对象选择:操作步骤

操作步骤在“校验任务管理 ”页面，选择需要修改校验对象的任务，单击任务名称。页面跳转至“基本信息”，切换到“对象选择”页签。选择需要增加或者修改的表，单击操作列的“编辑”。图1 对象选择在“对象选择”页面，进行对象选择，可参考4。在“校验规则”页，可选择需要的表进进行规则校验。如果不需要校验规则，单击“下一步”。如果需要进行校验规则，可参考5，设置相关规则。在“预检查”页面，进行任务预校验，校验全部通过后，单击“下一步”。在“任务确认”页面，确认校验任务信息无误后，单击“提交并启动”。

数据复制服务 DRS

数据复制服务 DRS-任务状态说明

任务状态说明校验任务提供了多种任务状态，以便区分不同的阶段，方便用户进行任务管理。任务的状态和说明，请参见表1。表1 任务状态和说明状态说明配置任务已创建，但还没有启动任务，可以继续配置任务。启动中正在启动校验任务。运行中校验任务运行中。任务启动失败校验任务启动失败。结束任务中正在释放校验任务所使用的实例和资源。已结束释放校验任务所占实例成功。父主题：校验任务管理

数据复制服务 DRS 校验任务管理

数据复制服务 DRS-双AZ任务倒换:操作说明

操作说明在“实时同步管理”页面，单击“创建同步任务”。在“同步实例”页面，填选任务名称、描述、同步实例等信息，其中DRS任务类型选择“双AZ”，完成后单击“下一步”。返回“实时同步管理”页面可以可以看到，DRS会同时创建一主一备两个子任务。图1 主备任务配置并启动同步任务后，DRS会启动主AZ任务进行同步，此时备AZ任务处于暂停状态。图2 主备倒换前当主AZ任务发生异常，DRS会自动启动备AZ任务继续进行同步。图3 主备倒换后

数据复制服务 DRS

数据复制服务 DRS-批量导入任务:操作步骤

操作步骤在“实时同步管理”页面，单击左上角“批量导入任务”。在“批量导入任务”对话框中，单击“下载模板”。图1 批量导入任务编辑下载的Excel模板，按照要求填写任务信息。填写完成后，单击“添加文件”，完成模板上传。待上传并校验成功后，单击“确定”提交创建任务。 DRS不会保存上传的Excel文件，只针对内容进行解析。任务创建后，数据库的IP地址或域名、数据库用户名和密码，会被系统加密暂存，直至删除该任务后自动清除。

数据复制服务 DRS

数据复制服务 DRS-将Dynamo同步到GeminiDB Dynamo:使用须知

使用须知 DRS全量+增量同步过程一般包含四个阶段：任务启动阶段、全量阶段、增量阶段、结束任务阶段（单全量任务则包含三个阶段）。为了确保同步各个阶段的平顺，在创建同步任务前，请务必阅读以下使用须知。表4 使用须知类型名称使用和操作限制任务启动前须知考虑到整体同步速度以及源端DynamoDB Stream数据的有效时间，需要每次选择合适数量和大小的表进行并发同步，建议表数量不超过50个。表结构迁移包含分区键、排序键、全局二级索引、本地二级索引。如果进行全+增数据同步，请提前启动源库待同步表的streams流，并保证写入流的信息是项目的新旧映像。全量同步过程须知请勿修改源库和目标库的端口号，请勿修改、删除源库和目标库连接用户的密码、权限，否则可能导致任务失败。请勿在源库执行任何DDL，否则可能导致数据不一致或任务失败。请勿在目标库做写入操作，否则可能导致数据不一致。为保证同步任务正常和数据的一致性，如有以上诉求，建议在业务低峰期时重新创建DRS任务。全量读取采用强一致性读取。增量同步过程须知请勿修改目标库的端口号，请勿修改、删除源库和目标库连接用户的密码、权限，否则可能导致任务失败。请勿在目标库做写入操作，否则可能导致数据不一致。为保证同步任务正常和数据的一致性，如有以上诉求，建议在业务低峰期时重新创建DRS任务。

数据复制服务 DRS

数据复制服务 DRS-将Dynamo同步到GeminiDB Dynamo:支持的同步对象范围

支持的同步对象范围在使用DRS进行同步时，不同类型的同步任务，支持的同步对象范围不同，详细情况可参考表2。DRS会根据用户选择，在“预检查”阶段对同步对象进行自动检查。表2 支持的同步对象类型名称同步范围同步范围须知支持场景：支持全量、全量+增量同步。支持的字段：String、Number、Binary、Boolean、Null、Map、List、String Set、Number Set、Binary Set。支持表级同步：全量阶段仅支持表数据、表结构的同步。不支持同步TTL。不支持同步Counter表。

数据复制服务 DRS

数据复制服务 DRS-将Dynamo同步到GeminiDB Dynamo:数据库用户权限要求

数据库用户权限要求在使用DRS进行同步时，连接源库和目标库的数据库用户需要满足以下权限要求，才能启动实时同步任务。不同类型的同步任务，需要的用户权限也不同，详细可参考表3进行赋权。DRS会在“预检查”阶段对数据库用户权限进行自动检查，并给出处理建议。建议创建单独用于DRS任务连接的数据库账号，避免因为数据库账号密码修改，导致的任务连接失败。连接源和目标数据库的账号密码修改后，请参考修改连接信息章节修改DRS任务的连接信息，避免任务连接失败后自动重试，导致数据库账号被锁定影响使用。表3 数据库用户权限类型名称全量、全量+增量同步源数据库连接用户 AmazonDynamoDBFullAccess授予对所有表和功能的访问权限。如果需要更严格的限制，可以创建一个自定义策略，仅授予对所需资源的访问权限。用户具备以下最小权限：DescribeTable、Scan、GetItem、 DescribeStream、GetRecords、ListStreams、GetShardIterator、ListTables、DescribeEndpoints。目标数据库连接用户 GeminiDB Cassandra（DynamoDB接口）默认无鉴权，需要开通请联系GeminiDB Cassandra技术支持。

数据复制服务 DRS

数据复制服务 DRS-将Dynamo同步到GeminiDB Dynamo:使用建议

使用建议 DRS任务启动和全量数据同步阶段，请不要在源数据库执行DDL操作，否则可能导致任务异常。为保证同步前后数据一致性，确保同步期间目标数据库无业务写入。数据库同步与环境多样性和人为操作均有密切关系，为了确保同步的平顺，建议您在进行正式的数据库同步之前进行一次演练，可以帮助您提前发现问题并解决问题。基于以下原因，建议您在启动任务时选择“稍后启动”功能，将启动时间设置在业务低峰期，相对静止的数据可以有效提升一次性同步成功率，避免同步对业务造成性能影响。在网络无瓶颈的情况下，全量同步会对源数据库增加约50MB/s的查询压力，以及占用2~4个CPU。正在同步的数据被其他事务长时间锁死，可能导致读数据超时。 DRS并发读取数据库，会占用大约6-10个session连接数，需要考虑该连接数对业务的影响。全量阶段读取表数据时，特别是大表的读取，可能会阻塞业务上对大表的独占锁操作。更多DRS对数据库的影响，可参考DRS对源数据库和目标数据库有什么影响。

数据复制服务 DRS

数据复制服务 DRS-GaussDB集中式版为源强制结束任务:操作步骤

操作步骤 DRS使用的复制槽名可在DRS任务同步日志页面查看“create replication slot[复制槽名] successfully by replication connection.”日志找到。使用DRS同步任务测试连接时的用户登录GaussDB集中式版实例。执行如下语句，查询同步任务选择的database对应的所有复制槽信息。 select slot_name from pg_replication_slots where database = 'database'; 其中database为DRS同步任务中选择同步的database。如果查询结果中包含该DRS任务使用的复制槽名，并且复制槽状态为未使用（查询结果中active='f'），执行如下语句，删除对应的逻辑复制槽。 select * from pg_drop_replication_slot('slot_name'); 其中slot_name为1中查询的复制槽名称。执行如下语句，查询逻辑复制槽是否成功删除。 select slot_name from pg_replication_slots where slot_name = 'slot_name'; 查询结果为空表示DRS同步任务对应的逻辑复制槽已成功删除。

数据复制服务 DRS

数据复制服务 DRS-将MySQL同步到GaussDB集中式版:支持的源和目标数据库

支持的源和目标数据库表1 支持的数据库源数据库目标数据库本地自建MySQL数据库（MySQL 5.5、5.6、5.7、8.0版本） ECS自建MySQL数据库（MySQL 5.5、5.6、5.7、8.0版本）其他云上MySQL数据库（MySQL 5.5、5.6、5.7、8.0版本） RDS for MySQL（5.5、5.6、5.7、8.0版本） GaussDB集中式版（B兼容模式、M兼容模式）（版本数据库内核版本为505.2及以下版本，内核版本与数据库发布版本对应关系。。）

数据复制服务 DRS

数据复制服务 DRS-将MySQL同步到Kafka:使用建议

使用建议 DRS任务启动和全量数据同步阶段，请不要在源数据库执行DDL操作，否则可能导致任务异常。为保证同步前后数据一致性，确保同步期间目标数据库无业务写入。数据库同步与环境多样性和人为操作均有密切关系，为了确保同步的平顺，建议您在进行正式的数据库同步之前进行一次演练，可以帮助您提前发现问题并解决问题。建议您在启动任务时选择“稍后启动”功能，将启动时间设置在业务低峰期，避免同步对业务造成性能影响。如果同步不可避免业务高峰期，推荐使用同步限速功能，即“流速模式”选择“限速”。在网络无瓶颈的情况下，全量同步会对源数据库增加约50MB/s的查询压力，以及占用2~4个CPU。同步无主键表时，会存在3s以内的单表级锁定。 DRS并发读取数据库，会占用大约6-10个session连接数，需要考虑该连接数对业务的影响。全量阶段读取表数据时，特别是大表的读取，可能会阻塞业务上对大表的独占锁操作。更多DRS对数据库的影响，可参考DRS对源数据库和目标数据库有什么影响。

数据复制服务 DRS

云服务器内容精选

数据复制服务 DRS

7*24

备案

专业服务

退订

建议反馈

售前咨询热线