检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
验证 数据验证 业务验证 父主题： 应用迁移上云
大数据应用迁移：是将基于大数据应用从一个运行环境迁移到另一个运行环境。 大数据迁移遵循如下的流程： 图1 大数据迁移流程 其中大数据应用的迁移请参考应用迁移上云，本章只对大数据应用迁移的特殊注意点进行描述。 大数据迁移流程每个阶段概述如下： 调研：调研大数据平台的版本和配置信息、数量类型和数据量、任务类型和任务量。
评估系统的可扩展性：在系统压力逐步增大的过程中，测试云上业务系统的可扩展性，可以确定系统是否可以扩展到更大的规模，并支持更多的用户和业务需求 识别系统的性能瓶颈：通过对云上业务系统的压力测试，可以识别系统的瓶颈，确定迁移过程中业务环境的改变带来的系统性能问题，从而优化系统性能。 上述三类性能测试的具体方法如下。
切换 切换演练 正式切换 父主题： 应用迁移上云
Runbook设计原则 Runbook角色设计 Runbook Checklist设计 Runbook操作步骤设计 Runbook参考模板 父主题： 应用迁移上云
设计切换方案 如何选择停服不停服 停服切换方案 停写不停读切换方案 不停服切换方案 父主题： 应用迁移上云
验证大数据任务执行结果的一致性，对比新旧大数据平台的作业输出结果数据是否一致。可以使用对比工具、数据校验脚本或手动检查的方式进行验证。如果发现数据不一致的情况，可能需要考虑迁移过程中的数据转换、数据格式或数据处理逻辑的问题，并进行相应的修复和调整。 作业执行的性能验证 在迁移后，验证作业的执行性能，包括运行时间
保障 在上云迁移的保障阶段，需要执行以下任务来确保顺利过渡到新的云环境： 云平台监控：确保建立有效的监控系统，跟踪云平台的性能、可用性和安全性。设置警报机制，及时发现并解决潜在的问题。 系统监控和运维：设置系统监控和告警，确保及时发现和解决潜在的问题。配置基础设施监控工具，监测服
云资源开通及配置 部署主要是进行云上目标环境的资源开通和配置，并做好上云前的各项检查和测试，并进行迁移环境的准备。 要按照应用部署架构设计方案进行云上资源的开通和配置，云上资源开通主要有如下3种方式： 在云平台Console控制台手动创建云资源。 编写脚本或通过自动化平台对接，调
切换 大数据的切换主要是指大数据应用的切换，其切换演练和正式切换的步骤请参考章节切换。本节重点介绍大数据应用切换的3个切换点，以便更好的指导大数据应用的切换。 双跑场景：大数据应用分别在源环境和目标环境各部署一套，实现双跑，切换点在域名，业务切换时只需要进行域名的切换，将业务流量切换到新应用。
保障 在大数据迁移的保障阶段，需要执行以下任务来确保顺利过渡到新的云环境： 监控和警报设置：建立实时监控系统，监测集群、任务调度平台和应用程序的运行状态。设置警报，以便及时发现潜在的问题并采取措施。 优化集群性能：对大数据集群进行性能评估和调优。监视资源使用情况，优化配置参数、调整集群大小和资源分配，以提高整体性能。
大数据迁移批次规划说明 大数据迁移上云时，是选择整体迁移还是分批迁移，原则如下： 整体迁移的场景： 规模小：大数据平台数据量少（TB级），计算任务数量不多，可以采用整体迁移的方法，先在云上部署大数据平台，然后全量迁移元数据、数据和任务。 关联关系复杂：大数据任务之间的关联关系很复杂，很难拆分，此时也可以选择整体迁移。
其工具实现方式会多次抓取源和目的端的数据进行差异化比较，记录不一致的数据进入下轮对比。然后通过多轮比较不断收敛。最后sqlite中存在的数据就是最终的差异结果，无内容则表示数据内容完整，迁移正常。 文件类数据一致性验证的方法如下表所示： 表4 文件数据一致性对比方式 类型 对比项
如果目标架构是采用华为云的任务调度平台DataArts Studio，可以参考如下官网文档进行部署和配置。 如果目标架构是采用自建的大数据任务调度平台，有2种方法部署，可以基于华为云ECS重新部署大数据任务调度软件，或者是使用华为云SMS工具将源端调度平台迁移到华为云ECS。 大数据应用部署
修改应用间访问的内部域名-》华为云上应用实例 7.1 修改目的端redis的内网域名-》华为云实例IP 7.1 修改目的端的MySQL的内网域名-》华为云实例IP 7.1 修改目的端MongoDB的内网域名-》华为云实例IP 7.1 修改目的端消息队列MQ的内网域名-》华为云实例IP 7
华为云上的应用层和数据层内部域名等配置修改，重启华为云上的应用服务； 外部DNS域名解析，将解析地址从源端接入层切换到华为云接入层，使外部流量进入华为云； 图2 一把切方案 应用层灰度切流，数据层整体切换 应用层灰度切流前做好如下准备工作： 源端应用层已迁移或部署到华为云； 华为云应用层跨云访问源端数据库，已完成业务功能和性能验证，可正常使用。
是 - - - 环境清单核对 应用清单检查并刷新启停 研发相关 - 是 - - - - 研发相关 - 是 - - - 环境（源端、目的端、迁移任务、执行脚本）检查 云服务基础检查项 运维相关 - 是 - - - 数据库检查项 运维相关 - 是 - - - 运维相关 - 是 - -
业务切换是将业务从源端旧系统切换到云上新系统的过程，需要仔细规划和协调，以确保切换过程中不会影响数据的完整以及业务运行。 一般情况下，业务切换需要进行一定的时间，逐步切换流量，同时关闭旧的业务系统。通过这个过程，可以实现从旧系统向新系统的平稳过渡，并最终将业务成功迁移上云。在正式切换前通常会进行切换演练，然后才是正式切换。
做最后一次检查和确认。 正向迁移任务的状态检查：系统切换前通常迁移任务已经创建完成，并在增量同步状态中，确保迁移任务的增量同步状态正常，无异常报错或告警。 反向迁移任务的状态检查：数据层或中间件通常要考虑回退的链路，切换之前同时要检查反向迁移同步任务的状态，确保无异常报错或告警。
步骤发生执行失败时的决策项，细分失败场景，决策是回退还是继续进行，防止切换当天决策组讨论时间较长，无法决策的情况发生。 回退决策点设计原则如下： 每个切换阶段设计最晚的执行完时间，超时需要决策是否进行回退。 核心表数据比对结果不一致，需要决策是否回退。 核心的P0测试用不通过，需要决策是否回退。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
