检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
切换时间有限,业务评估在切换时间窗口内无法完成消息消费,请参考消息中间件迁移方案进行消息迁移 消息中间件迁移方案 表4 消息中间件迁移方案 迁移方案 迁移方式 特点 适用场景 开源工具MirrorMaker 2.0 全量+增量 1.部署复杂,操作繁琐 2.支持消费队列offset偏移量的同步 所有 华为云SmratConnect工具
个AZ内,并通过 ELB 实现双AZ的负载均衡;单点业务ECS可通过 SDRS 作AZ级容灾。 云服务高可用:主备节点分别双AZ部署。 数据库同步:云上使用RDS数据库服务,进行跨AZ主备部署,跨AZ间数据同步。 灾难恢复切换:当AZ发生故障时,RDS 数据库等自动切换至备库,应用层自动或者通过
式迁移能力。 主机迁移服务(SMS):是一种P2V/V2V迁移服务,可以把X86物理服务器或者私有云、公有云平台上的虚拟机迁移到华为云弹性云服务器云主机上,具体使用方法请查看SMS帮助文档。 数据复制服务(DRS):用于数据库实时迁移和数据库实时同步的云服务。提供了实时迁移、备份
ketMQ、IBMMQ等,消息中间件在迁移项目中,通常使用策略切换的方案来进行迁移。 图3 消息中间件迁移方案 迁移步骤如下: 中断企业应用和生产消息的相关业务,直到消费组中的消息消费完毕 待消息消费完毕,停止消费相关业务 启动华为云的生产消息和消费消息的业务,接入客户流量,观察业务是否正常
Protocol)的,使用其Rsync算法的远程文件同步工具。 图4 Rsync迁移 通过在各业务平台开启Rsync服务,在文件服务器中配置Rsync客户端脚本,通过FileServer系统的定时任务,如:Linux的Crontab,定时将业务服务器的文件以文件增量的方式(第一次是全量)同步到磁阵中。优势: 文
测试环境无法测试 针对无法测试的场景,讨论应对方案如直接调用库存同步接口模拟测试 库存同步 第三方库存由于和测试环境的库存系统无法打通,所以在测试环境无法进行测试 针对无法测试的场景,讨论应对方案如直接调用库存同步接口模拟测试 支付 线上支付具备测试条件 线下POS支付由于和测试环境无法打通网络,不具备测试条件
端的数据先静止,然后断开增量同步任务,数据一致性对比方案需详细规划,是做行数对比还是做内容对比,不同对比方式对比时长不同,需根据表的重要性和切换时长综合考虑来确定数据一致性对比方案。 源端数据静止,除了停止应用外,还要考虑批处理任务和消息队列中的消息消费情况等。 应用和定时任务的
使用华为云DRS服务同步MySQL中的元数据到云上RDS 存量数据 Hive历史数据存放在HDFS 使用华为云CDM工具迁移所有历史数据到华为云MRS服务或华为云OBS存储(存算分离场景) Hbase历史数据 使用华为云CDM工具迁移所有历史数据到华为云MRS服务 使用Hbase
适用场景 华为云DRS数据复制服务 (推荐) 全量+增量迁移 配置简单,一键迁移,支持实时同步增量数据 1.适用于自建或云服务MySQL实例迁移华为云服务MySQL实例 2.适用于自建或云服务MySQL实例迁移至华为云自建MySQL实例(需先迁到云服务再迁移到自建) mysqldump导出导入
Rclone迁移工具,使用MD5哈希值来验证文件的完整性。同步后会再对比源端和目的端文件数量。 rsync rsync迁移工具,使用MD5哈希值来验证文件的完整性,如果校验和不匹配,则rsync会重新传输该文件,以确保数据一致性。同步后会再对比源端和目的端文件数量。 文件大小 python脚本
停止源端定时任务 2.1 停止源端的定时任务 2.1 停止源端的数据库定时任务 停止源端应用服务及配置中心 3.1 停止源端应用服务(xxx个) 3.1 停止源端配置中心 消息队列数据迁移 4.1 消息队列MQ数据迁移 4.2 等待&确认kafka消费完成 确认源端的数据层数据静止 5.1
图6 中间件层Sorl高可用设计示例 数据层- MySQL高可用 主备实例跨AZ部署,借助原生MySQL主从复制同步能力实现主备间数据同步。 主备实例以VIP对外提供服务,自身IP不对租户开放。 主备秒级切换,主备切换时VIP漂移至新的主节点,应用感知小(只在切换瞬间有秒级中断)。
(停机窗口至少4小时以上才建议考虑此方案) 平迁部署在容器中应用 部署在容器中应用一般是云原生的应用,通常是微服务架构的应用,可以通过镜像迁移或重新发布两种方式做迁移。 企业云原生应用系统以微服务架构为主,通常部署在容器中,这种场景,多数企业也同时会拥有自己的开发流水线CI/CD系统,所以,这
务已经创建完成,并在增量同步状态中,确保迁移任务的增量同步状态正常,无异常报错或告警。 反向迁移任务的状态检查:数据层或中间件通常要考虑回退的链路,切换之前同时要检查反向迁移同步任务的状态,确保无异常报错或告警。 参数一致性检查:核对源端参数和目的端云服务参数的一致性,如数据库的
根据数据类型选择合适的迁移工具 HDFS、HBase、MySQL等 数据量 历史数据量,用于评估历史数据迁移周期; 日增量数据,用于评估每日增量数据同步周期。 历史数据X PB 日增量Y TB 数据分层 调研数据分层主要用于迁移优先级和数据校验标准。 数据接入层、中间层、结果层 数据权限
接下来进行数据层整体切换,步骤如下: 源端和目标端的应用层和批处理任务停止服务,防止新数据写入,此时业务无法使用; 等中间件消息队列中的消息消费完成,数据层增量同步到华为云,对比源端和目标端数据层数据一致性; 修改配置,将华为云应用层指向华为云数据层,启动应用服务; 外部DNS域名解析,解析地址从源端切换到华为云,流量进入华为云。
最常用的切换方式,停止服务切换能重复保证数据一致性 低 低 0.5~3.5 停写不停读切换 较少用的切换方式,需要业务整改来实现停写不挺读,停止写服务切换能充分保证数据一致性 低 中 不停 0.5~3.5 不停服切换 很少用的切换方式,需要业务整改来实现双写或者双向同步,不停服切换需要
Redis跨AZ主备部署,确保跨可用区的高可靠;DMS Kafka构建跨双可用区或三可用区集群,确保消息的高可靠;CSS云搜索引擎服务可以跨AZ集群部署,单AZ的故障不影响业务运行; RDS for MySQL采用主备部署方式,主备实例之间的数据实时同步,如果主实例出现故障,备实例可以快速升为主实例; Redis、Kafka、CSS云搜索、RDS
异常问题处理 确认人 确认操作人的操作步骤是否正常执行完成,并向引导人反馈执行结果,如遇异常,需要按Runbook约定要求,定期向引导人员同步处理进展。 引导人 引导Runbook的执行,通报问题处理进展 记录人 刷新Runbook的执行状态,记录Runbook中各个步骤的完成时间,记录问题处理时长
RabbitMQ),Web 服务器 (例如 Nginx, Apache),应用服务器 (例如 Tomcat, JBoss),缓存服务 (例如 Memcached, Redis) 等的安装、配置和维护。 监控中间件服务的性能指标,识别性能瓶颈,并进行调优以提高性能和效率。 快速诊断和解决中间件服务出现的故障和问题,确保业务的连续性。