数据复制服务 (Data Replication Service,简称DRS)支持将本地MySQL 数据库 的 数据迁移 至本云 云数据库MySQL 实例。通过DRS提供的实时 迁移 任务,实现在 数据库迁移 过程中业务和数据库不停机,业务中断时间最小化。
本章节主要介绍了通过DRS将本地MySQL数据库实时迁移至本云 云数据库 MySQL的任务配置流程。支持以下网络类型:
· VPN( Virtual Private Network , 虚拟专用网络 )网络
· 公网网络
网络示意图
迁移流程
迁移建议(重要)
· 数据库迁移与环境多样性和人为操作均有密切关系,为了确保迁移的平顺,建议您在进行正式的数据库迁移之前进行一次演练,可以帮助您提前发现问题并解决问题,如何最小化对数据库的影响请参考如下建议。
· 强烈建议您在启动任务时选择“稍后启动”功能,将启动时间设置在业务低峰期,相对静止的数据可以有效提升一次性迁移成功率,避免迁移对业务造成性能影响。
迁移准备
1、权限准备:
当使用 DRS 将本地数据库的数据迁移到本云云数据库MySQL 实例时,在不同迁移类型情况下,对源数据库和目标数据库的帐号权限要求如表1所示:
迁移类型 |
全量迁移 |
全量+增量迁移 |
---|---|---|
源数据库 |
SELECT、SHOW VIEW、EVENT。 |
SELECT、SHOW VIEW、EVENT、LOCK TABLES、REPLICATION SLAVE、REPLICATION CLIENT。 |
目标数据库 |
SELECT、CREATE、ALTER、DROP、DELETE、INSERT、UPDATE、INDEX、EVENT、CREATE VIEW、CREATE ROUTINE、TRIGGER、WITH GRANT OPTION。 |
SELECT、CREATE、ALTER、DROP、DELETE、INSERT、UPDATE、INDEX、EVENT、CREATE VIEW、CREATE ROUTINE、TRIGGER、WITH GRANT OPTION。 |
· 源数据库的权限设置:
需要确保源数据库MySQL的帐号具备表1的权限,若权限不足,需要在源数据库端创建高权限的帐号。
· 目标数据库的权限设置:
本云云数据库MySQL使用初始帐号即可。
2、网络准备:
· 源数据库的网络设置:
本地MySQL数据库实时迁移至本云云数据库MySQL的场景,一般可以使用VPN网络和公网网络两种方式进行迁移,您可以根据实际情况为本地MySQL数据库开放公网访问或建立VPN访问。一般推荐使用公网网络进行迁移,该方式下的数据迁移过程较为方便和经济。
· 目标数据库的网络设置:
a)若通过VPN访问,请先开通华为VPN服务,确保源数据库MySQL和目标端本云云数据库MySQL的网络互通。
b)若通过公网网络访问,本云云数据库MySQ L实例 不需要进行任何设置。
3、安全规则准备:
a)源数据库的安全规则设置:
· 若通过公网网络进行迁移,源数据库MySQL需要将DRS迁移实例的 弹性公网IP 添加到其网络白名单内,使源数据库与本云的网络互通。在设置网络白名单之前,需要获取DRS迁移实例的弹性 公网IP ,具体方法如下:
DRS迁移实例创建成功后,可在“源库及目标库”页面获取DRS迁移实例的弹性公网IP。
· 若通过VPN网络进行迁移,源数据库MySQL需要将DRS迁移实例的私有IP添加到其网络白名单内,使源数据库与本云的网络互通。DRS迁移实例创建成功后,可在“源库及目标库”页面获取DRS迁移实例的私有IP。
以上白名单是为了进行迁移针对性设置的,迁移结束后可以删除。
b)目标 数据库安全 规则设置:
目标数据库默认与DRS迁移实例处在同一个VPC,网络是互通的,DRS可以直接写入数据到目标数据库,不需要进行任何设置。
4、其他事项准备。
DRS支持部分与业务和性能强相关的参数迁移,具体参数列表请参见参数列表。若涉及其他参数需要根据用户具体的业务进行手动设置。
迁移步骤
以下操作以公网网络迁移的方式为例,指导您通过DRS将本地MySQL数据库实时迁移至本云云数据库MySQL。
1、创建迁移任务。
a)登录管理控制台,在服务列表中选择
,进入数据复制服务信息页面。b)在“实时迁移管理”页面,单击右上角“创建迁移任务”,进入迁移任务信息页面。
c)在“迁移实例”页面,填选任务信息和迁移实例信息。
参数 |
描述 |
---|---|
区域 |
当前所在区域,可进行切换。 |
任务名称 |
任务名称在4-50位之间,必须以字母开头,不区分大小写,可以包含字母、数字、中划线或下划线,不能包含其他的特殊字符。 |
描述 |
描述不能超过256位,且不能包含! = < > & ' " \ 特殊字符。 |
任务异常通知设置 |
该项为可选参数,开启之后,选择对应的 SMN 主题,。当同步任务状态异常时,系统将发送通知。 |
SMN主题 |
“任务异常通知设置”项开启后可见,需提前在SMN上申请主题并添加订阅。 |
时延阈值 |
在增量同步阶段,源数据库和目标数据库之间的同步有时会存在一个时间差,称为时延,单位为秒。 时延阈值设置是指时延超过一定的值后(时延阈值范围为1—3600s),DRS可以发送告警通知给指定收件人。告警通知将在时延稳定超过设定的阈值6min后发送,避免出现由于时延波动反复发送告警通知的情况。 说明:
· 首次进入增量同步阶段,会有较多数据等待同步,存在较大的时延,属于正常情况,不在此功能的监控范围之内。 · 设置时延阈值之前,需要设置任务异常通知。 |
任务异常自动结束时间(天) |
设置任务异常自动结束天数,输入值必须在14-100之间。 说明:
异常状态下的任务仍然会计费,而长时间异常的任务无法续传和恢复。设置任务异常自动结束天数后,异常且超时的任务将会自动结束,以免产生不必要的费用。 |
d)在“源库及目标库”信息页面,迁移实例创建成功后,填选源库信息和目标库信息,建议您单击“源库和目标库”处的“测试连接”,分别测试并确定与源库和目标库连通后,勾选协议,单击“下一步”。
参数 |
描述 |
---|---|
IP地址或 域名 |
配置源数据库MySQL实例的访问地址或域名。 |
端口 |
配置源数据库MySQL实例的服务端口,可输入范围为1~65535间的整数。 |
数据库用户名 |
访问源数据库MySQL的用户名。 |
数据库密码 |
访问源数据库MySQL的用户名所对应的密码。 |
SSL安全连接 |
在选择公网网络进行迁移任务时,为了提升数据在网络传输过程中的安全性,建议您开启SSL安全连接,对迁移链路进行加密,如果开启,需要您上传CA证书。 |
参数 |
描述 |
---|---|
数据库实例名称 |
默认为创建迁移任务时选择的已创建的MySQL实例,不可进行修改。 |
数据库用户名 |
访问目标端MySQL实例的用户名。 |
数据库密码 |
访问目标端MySQL实例的用户名所对应的密码。 |
所有Definer迁移到该用户下 |
· 是 迁移后,所有源数据库对象的Definer都会迁移至该用户下,其他用户需要授权后才具有数据库对象权限,如何授权请参考《数据复制服务常见问题》中的MySQL迁移中Definer强制转化后如何维持原业务用户权限体系章节。 · 否 迁移后,将保持源数据库对象Definer定义不变,选择此选项,需要配合下一步用户权限迁移功能,将源数据库的用户全部迁移,这样才能保持源数据库的权限体系完全不变。 |
e)在“迁移设置”页面,设置流速模式、迁移用户和迁移对象。
f)在“预检查”页面,进行迁移任务预校验,校验是否可进行任务迁移。
· 查看检查结果,如有不通过的检查项,需要修复不通过项后,单击“重新校验”按钮重新进行迁移任务预校验。
预检查不通过项处理建议请参见《数据复制服务用户指南》中的“预检查不通过项修复方法”。
· 预检查完成后,且所有检查项结果均成功时,单击“下一步”。
说明:所有检查项结果均通过时,若存在待确认项,需要阅读并确认后才可以继续执行下一步操作。
g)进入“参数对比”页面,进行参数对比。
· 若您选择不进行参数对比,可跳过该步骤,单击页面右下角“下一步”按钮,继续执行后续操作。
· 若您选择进行参数对比,请参照如下的步骤操作。
一般情况下,对于常规参数,如果源库和目标库存在不一致的情况,建议将目标数据库的参数值通过“一键修改”按钮修改为和源库对应参数相同的值。
对于性能参数,您可以根据业务场景,自定义源数据库和目标库的参数值,二者结果可以一致也可以不一致。
· 若您需要将对比结果一致的性能参数修改为不一致,需要在“目标库值调整为”一列手动输入结果,单击左上角“一键修改”按钮,即可将源数据库和目标数据库对应的性能参数值改为不一致。
· 若您想将对比结果不一致的参数改为一致结果,请参考如下流程进行修改:
1、对齐源库和目标库的参数值。
当源库和目标库对应的参数值出现不一致时,选择需要修改的参数,单击“一键对齐”按钮,系统将帮您自动填充目标数据库的参数值,使其和源库对应的参数值保持一致。
说明:对齐参数值的操作,您也可以通过手动输入结果。
2、修改参数值。
源库和目标库的不一致参数值对齐后,单击“一键修改”按钮,系统将按照您当前设置的目标库参数值进行修改。修改完成后,目标库的参数值和对比结果会自动进行更新。
部分参数修改后无法在目标数据库立即生效,需要重启才能生效,此时的对比结果显示为“待重启,不一致”。建议您在迁移任务启动之前重启目标数据库,或者迁移结束后选择一个计划时间重启。如果您选择迁移结束后重启目标数据库,请合理设置重启计划时间,避免参数生效太晚影响业务的正常使用。
在进行参数对比功能时,您可以参见《数据复制服务用户指南》中“参数对比列表”进行参数设置。
3、参数对比操作完成后,单击“下一步”。
h)在“任务确认”页面,选择迁移任务的启动时间,单击“启动任务”,提交迁移任务。
建议您结合定时启动功能,选择业务低峰期开始运行迁移任务,相对静态的数据,迁移时复杂度将会降低。如果迁移不可避免业务高峰期,推荐使用迁移限速功能,即“流速模式”选择“限速”。
i)迁移任务提交后,您可以返回“实时迁移管理”页面,查看迁移任务状态。
2、任务管理。
迁移任务启动后,会经历全量迁移和增量迁移两个阶段,对于不同阶段的迁移任务,您可以进行任务管理。
· 全量迁移
【查看迁移进度】全量迁移中的任务,您可单击任务名称,在“迁移进度”页签下,查看全量迁移进度,您可以查看结构、数据、索引迁移的进度,也查看具体迁移对象的迁移进度。当全量迁移进度显示为100%,表示全量迁移已经完成。
【查看迁移明细】迁移明细中,您可以查看具体迁移对象的迁移进度,当“对象数目”和“已迁移对象”相等时,表示该对象已经迁移完成,可通过“查看详情”查看每个对象的迁移进度。仅白名单用户该支持功能,您可以通过提交 工单 的方式进行申请使用。
· 增量迁移
【查看时延监控】全量迁移完成后,开始进行增量迁移。对于增量迁移中的任务,您可单击任务名称,在“迁移进度”页签下,查看增量迁移同步时延,当时延为0s时,说明源数据库和目标数据库的数据是实时同步的。您也可以使用“迁移对比”页签查看一致性。
【查看迁移对比】为了尽可能减少业务的影响和业务中断时间,增量迁移中的任务,您可单击任务名称,在“迁移对比”页签下,建议按照如下流程进行迁移对比,以便确定合适的业务割接时机。
具体的迁移对比操作及注意事项请参考《数据复制服务用户指南》中“对比迁移项”章节。
3、割接建议。
建议您选择一个业务低峰期,开始正式系统割接流程。割接前,请您确认至少在业务低峰期有过一次完整的数据对比。可以结合数据对比的“稍后启动”功能,选择业务低峰期进行数据对比,以便得到更为具有参考性的对比结果。由于同步具有轻微的时差,在数据持续操作过程中进行对比任务,可能会出现少量数据不一致对比结果,从而失去参考意义。
a)先中断业务(如果业务负载非常轻,也可以尝试不中断业务)。
b)在源数据库端执行如下语句,并观察在1-5分钟内若无任何新会话执行SQL ,则可认为业务已经完全停止。
show processlist
说明:上述语句查询到的进程列表中,包括DRS迁移实例的连接,您需要确认除DRS迁移实例的连接外无任何新会话执行SQL,即可认为业务已经完全停止。
c)通过DRS迁移任务监控页面进行观察同步时延,保持实时同步时延为0,并稳定保持一段时间;同时,您可以使用数据级对比功能,进行割接前的最后一次数据级对比,耗时可参考之前的对比记录。
· 如果时间允许,则选择全部对比。
· 如果时间不允许,则推荐对比活跃表,关键业务表,第二步对比多次存在差异的表等。
d)确定系统割接时机,业务系统指向本云数据库,业务对外恢复使用,迁移完成。
4、迁移结束。
a)结束迁移任务:业务系统和数据库切换至本云后,为了防止源数据库的操作继续同步到目标数据库,造成数据覆盖问题,此时您可选择结束迁移任务,该操作仅删除了迁移实例,迁移任务仍显示在任务列表中,您可以进行查看或删除。结束迁移任务后,DRS将不再计费。
b)删除迁移任务:对于已结束的迁移任务,您可选择删除任务。该操作将一并删除迁移任务,删除迁移任务后,该任务将不会出现在任务列表中。