实时迁移-华为云

数据复制服务 DRS-本地MongoDB迁移到DDS:迁移准备

迁移准备权限准备：当使用 DRS 将本地数据库的数据迁移到本云DDS实例时，在不同迁移类型情况下，对源数据库和目标数据库的账号权限要求如表1所示：表1 迁移账号权限迁移类型全量迁移全量+增量迁移源数据库副本集：连接源数据库的用户需要对待迁移库有read权限。单节点：连接源数据库的用户需要对待迁移库有read权限。集群：连接源数据库的用户需要对待迁移库有read权限，对config数据库有read权限。如果需要迁移源数据库用户和角色信息，连接源数据库的用户需要对admin数据库的系统表system.users，system.roles有读权限。副本集：连接源数据库的用户需要对待迁移库有read权限，对local数据库有read权限。单节点：连接源数据库的用户需要对待迁移库有read权限，对local数据库有read权限。集群：连接源数据库mongos节点的用户需要对待迁移库有read权限，对config数据库有read权限，连接源数据库分片节点的用户需要对admin数据库有readAnyDatabase权限，对local数据库有read权限。如果需要迁移源数据库用户和角色信息，连接源数据库的用户需要对admin数据库的系统表system.users，system.roles有读权限。目标数据库连接目标数据库的用户需要对admin数据库有dbAdminAnyDatabase权限，对目标数据库有readWrite权限。对于目标数据库是集群的实例，迁移账号还要有对config数据的读权限源数据库的权限设置：需要确保源数据库MongoDB的账号具备表1的权限，若权限不足，需要在源数据库端创建高权限的账号。目标数据库的权限设置：本云DDS实例使用初始账号即可。网络准备：源数据库的网络设置：本地MongoDB数据库实时迁移至本云DDS的场景，一般可以使用VPN网络和公网网络两种方式进行迁移，您可以根据实际情况为本地MongoDB数据库开放公网访问或建立VPN访问。一般推荐使用公网网络进行迁移，该方式下的数据迁移过程较为方便和经济。目标数据库的网络设置：若通过VPN访问，请先开通VPN服务，确保源数据库和目标DDS网络互通。若通过公网网络访问，目标DDS不需要进行设置。安全规则准备：源数据库的白名单设置：若通过公网网络进行迁移，源数据库MongoDB实例需要将具体的DRS迁移实例的弹性公网IP添加到其网络白名单中，确保源数据库MongoDB实例可以与上述弹性公网IP连通。在设置网络白名单之前需要获取DRS迁移实例，具体方法如下：迁移实例创建成功后，可在“源库及目标库”页面获取DRS迁移实例的弹性公网IP。如图4所示：图4 迁移实例公网弹性IP 以上讲述的是精细配置白名单的方法，还有一种简单设置白名单的方法，在安全允许的情况下，可以将源数据库MongoDB实例的网络白名单设置为0.0.0.0/0，代表允许任何IP地址访问该实例。若通过VPN网络进行迁移，源库需要将DRS迁移实例的私有IP添加到其网络白名单内，确保源端和目标端网络互通。上述的网络白名单是为了进行数据迁移设置的，迁移结束后可以删除。目标数据库安全组规则设置：目标数据库默认与DRS迁移实例处在同一个VPC，网络是互通的，DRS可以直接写入数据到目标数据库，不需要进行任何设置。其他事项准备：由于迁移过程不会迁移MongoDB数据库的用户信息以及相关参数，需要自行将上述信息导出后手动添加到目标DDS中。

数据复制服务 DRS 实时迁移

数据复制服务 DRS-如何判断数据迁移任务可以停止

如何判断数据迁移任务可以停止您可参考以下方法，确认任务是否可以结束。结束之前您需要确认完成以下几点：请您确认至少在业务低峰期有过一次完整的数据对比。完成业务割接。先中断业务（如果业务负载非常轻，也可以尝试不中断业务）。在源数据库端执行如下语句（此处以MySQL为例），并观察在1-5分钟内若无任何新会话执行SQL ，则可认为业务已经完全停止。 show processlist; 上述语句查询到的进程列表中，包括DRS迁移实例的连接，您需要确认除DRS迁移实例的连接外无任何新会话执行SQL，即可认为业务已经完全停止。同步时延为0，并稳定保持一段时间；同时，您可以使用数据级对比功能，进行割接前的最后一次数据级对比，耗时可参考之前的对比记录。如果时间允许，则选择全部对比。如果时间不允许，则推荐对比活跃表，关键业务表，第二步对比多次存在差异的表等。确定系统割接时机，业务系统指向目标数据库，业务对外恢复使用。结束迁移任务，该操作仅删除了迁移实例，迁移任务仍显示在任务列表中，您可以进行查看或删除。父主题：实时迁移

数据复制服务 DRS 实时迁移

数据复制服务 DRS-全量或增量阶段失败报错，关键词“Illegal mix of collations (utf8mb4_0900_ai_ci,IMPLICIT) and (utf8mb4_general_ci,IMPLICIT) for operation”:解决方案

解决方案方法一：在目标库执行对应SQL语句，将对应列的字符排序规则修改为utf8mb4_0900_ai_ci。例如，将表test_collation_1 的c1列的字符排序规则修改为utf8mb4_0900_ai_ci： ALTER TABLE test_collation_1 MODIFY COLUMN c1 VARCHAR(16) COLLATE utf8mb4_0900_ai_ci; 修改完成后，在任务列表中，单击任务对应操作列的“续传”，重新提交任务。方法二：修改源库表结构，将表中带有collate utf8mb4_general_ci 的列都去掉。修改完成后，在任务列表中，单击任务对应操作列的“重置”，重新开始任务；或重新创建DRS任务进行迁移。方法三：在目标库执行对应SQL语句，将目标库字符排序规则修改为utf8mb4_0900_ai_ci SET GLOBAL default_collation_for_utf8mb4='utf8mb4_general_ci'; 修改完成后，在任务列表中，单击任务对应操作列的“重置”，重新开始任务；或重新创建DRS任务进行迁移。

数据复制服务 DRS MySQL->GaussDB(for MySQL)实时迁移和同步

数据复制服务 DRS-全量阶段失败报错，关键词“The background process is unavailable”:场景描述

场景描述全量迁移或同步期间DRS任务报错，日志提示信息：service DATAMOVE failed, cause by: The background process is unavailable. Maybe it has been killed manually or by the operating system. Please restart the task if possible or wait for restarting by itself within 5 minutes。

数据复制服务 DRS MySQL->MySQL实时迁移和同步

数据复制服务 DRS-批量更新迁移用户信息:请求示例

请求示例指定任务设置需要迁移的用户 https://{endpoint}/v3/054ba152d480d55b2f5dc0069e7ddef0/jobs/batch-update-user { "jobs": [{ "is_migrate_user": true, "is_set_password": false, "job_id": "36c368d7-c03f-46e1-839a-b5c5bddjb105", "list": [{ "account": "admin.testuser2", "comment": "", "id": "admin.testuser2", "is_set_password": true, "is_transfer": true, "password": null, "privileges": null, "roles": ["admin.clusterAdmin"], "selected": true }], "password": "", "user_roles": [{ "comment": "", "inherits_roles": [ "admin.roletest1", "admin.roletest3", "fastunit.roletest1" ], "is_transfer": true, "privileges": "[{u'resource': {u'cluster': True}, u'actions': [u'addShard']}, {u'resource': {u'db': u'fastunit', u'collection': u'coll'}, u'actions': [u'find', u'insert', u'remove', u'update']}, {u'resource': {u'db': u'mgo', u'collection': u'mycollection3'}, u'actions': [u'insert', u'remove', u'update']}, {u'resource': {u'db': u'', u'collection': u''}, u'actions': [u'find']}, {u'resource': {u'db': u'admin', u'collection': u''}, u'actions': [u'find']}]", "role": "admin.roletest4", "selected": true }] }] } 指定任务设置不迁移用户 https://{endpoint}/v3/0549a6a31000d4e82fd1c00c3d6f2d76/jobs/batch-update-user { "jobs" : [ { "is_migrate_user" : false, "is_set_password" : false, "job_id" : "a281f62f-4631-45d6-a2d3-679a9f4jb105" } ] }

数据复制服务 DRS 实时迁移管理

数据复制服务 DRS-批量更新迁移用户信息:响应参数

响应参数状态码： 200 表7 响应Body参数参数参数类型描述 all_counts Integer 总数。 results Array of objects 迁移用户信息。详情请参见表8 表8 results字段数据结构说明参数参数类型描述 job_id String 任务ID。 is_global_password String 是否使用全局密码。 message String 错误码。 user_list Array of objects 用户列表数据。详情请参见表9。 roles_list Array of objects 角色列表数据。详情请参见表10。 is_success Boolean 是否成功。表9 user_list字段数据结构说明参数参数类型描述 id String 用户账号ID。 account String 账号。 comment String 说明。 is_transfer Boolean 是否迁移。 privileges Array of strings 权限。 password String 密码。 roles Array of strings 拥有的角色。 selected Boolean 是否选择。 no_privileges String 无法同步的用户权限。 parent_account String 父用户。 no_parent_account String 无法同步父子关系的父用户。表10 roles_list字段数据结构说明参数参数类型描述 role String 角色。 comment String 说明。 is_transfer Boolean 是否迁移。 privileges String 权限。 inherits_roles Array of strings 继承的角色。 selected Boolean 是否选择。

数据复制服务 DRS 实时迁移管理

数据复制服务 DRS-批量更新迁移用户信息:请求参数

请求参数表2 请求Header参数参数是否必选参数类型描述 Content-Type 是 String 指定类型为application/json。缺省值：application/json X-Auth-Token 是 String 从 IAM 服务获取的用户Token。 X-Language 否 String 请求语言类型。缺省值：en-us 取值： en-us zh-cn 表3 请求Body参数参数是否必选参数类型描述 jobs 是 Array of objects 批量更新迁移用户请求列表。详情请参见表4。表4 jobs字段数据结构说明参数是否必选参数类型描述 job_id 是 String 任务ID。 password 否 String 全局密码。 list 否 Array of objects 用户迁移信息，迁移用户时必填。详情请参见表5。 user_roles 否 Array of objects 角色迁移信息，迁移用户时必填。详情请参见表6。 is_set_password 是 Boolean 是否设置密码。 is_migrate_user 是 Boolean 是否迁移用户。 is_sync_object_privilege 否 Boolean 是否同步权限，不填默认为false，PostgreSQL同步使用。表5 list字段数据结构说明名称是否必选参数类型说明 id 是 String 用户ID。 account 是 String 用户。 comment 否 String 说明。 is_transfer 是 Boolean 是否支持迁移。 privileges 否 String 权限列表。 password 否 String 密码。 is_set_password 否 Boolean 是否重置密码。 roles 是 Array of strings 角色。 selected 是 Boolean 是否选择。表6 user_roles字段数据结构说明名称是否必选参数类型说明 role 是 String 角色。 comment 否 String 说明。 is_transfer 是 Boolean 是否支持迁移。 privileges 是 String 权限。 inherits_roles 否 Array of strings 继承角色列表。 selected 否 Boolean 是否选择，不填默认不迁移。

数据复制服务 DRS 实时迁移管理

数据复制服务 DRS-本地MySQL迁移到RDS for MySQL:迁移准备

迁移准备权限准备：当使用 DRS 将本地数据库的数据迁移到本云云数据库 RDS for MySQL 实例时，在不同迁移类型情况下，对源数据库和目标数据库的账号权限要求如表1所示：表1 迁移账号权限迁移类型全量迁移全量+增量迁移源数据库 SELECT、SHOW VIEW、EVENT。 SELECT、SHOW VIEW、EVENT、LOCK TABLES、REPLICATION SLAVE、REPLICATION CLIENT。目标数据库 SELECT、CREATE、ALTER、DROP、DELETE、INSERT、UPDATE、INDEX、EVENT、CREATE VIEW、CREATE ROUTINE、TRIGGER、REFEREN CES 、WITH GRANT OPTION。当目标库为8.0.14-8.0.18版本时，还需要有SESSION_VARIABLES_ADMIN权限。用户迁移时，需要有mysql库的SELECT、INSERT、UPDATE、DELETE权限。源数据库的权限设置：需要确保源数据库MySQL的账号具备表1的权限，若权限不足，需要在源数据库端创建高权限的账号。目标数据库的权限设置：本云云数据库 RDS for MySQL使用初始账号即可。网络准备：源数据库的网络设置：本地MySQL数据库实时迁移至本云云数据库 RDS for MySQL的场景，一般可以使用VPN网络和公网网络两种方式进行迁移，您可以根据实际情况为本地MySQL数据库开放公网访问或建立VPN访问。一般推荐使用公网网络进行迁移，该方式下的数据迁移过程较为方便和经济。目标数据库的网络设置：若通过VPN访问，请先开通华为VPN服务，确保源数据库MySQL和目标端本云云数据库 RDS for MySQL的网络互通。若通过公网网络访问，本云云数据库 RDS for MySQ L实例不需要进行任何设置。安全规则准备：源数据库的安全规则设置：若通过公网网络进行迁移，源数据库MySQL需要将DRS迁移实例的弹性公网IP添加到其网络白名单内，使源数据库与本云的网络互通。在设置网络白名单之前，需要获取DRS迁移实例的弹性公网IP，具体方法如下： DRS迁移实例创建成功后，可在“源库及目标库”页面获取DRS迁移实例的弹性公网IP。图4 迁移实例EIP 若通过VPN网络进行迁移，源数据库MySQL需要将DRS迁移实例的私有IP添加到其网络白名单内，使源数据库与本云的网络互通。DRS迁移实例创建成功后，可在“源库及目标库”页面获取DRS迁移实例的私有IP。以上白名单是为了进行迁移针对性设置的，迁移结束后可以删除。目标数据库安全组规则设置：目标数据库默认与DRS迁移实例处在同一个VPC，网络是互通的，DRS可以直接写入数据到目标数据库，不需要进行任何设置。其他事项准备。 DRS支持部分与业务和性能强相关的参数迁移，具体参数列表请参见参数列表。若涉及其他参数需要根据用户具体的业务进行手动设置。

数据复制服务 DRS 实时迁移

云服务器内容精选

实时迁移

7*24

备案

专业服务

退订

建议反馈

售前咨询热线