检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
、测试和验证。 大数据应用迁移:是将基于大数据应用从一个运行环境迁移到另一个运行环境。 大数据迁移遵循如下的流程: 图1 大数据迁移流程 其中大数据应用的迁移请参考应用迁移上云,本章只对大数据应用迁移的特殊注意点进行描述。 大数据迁移流程每个阶段概述如下: 调研:调研大数据平台的
保障 在大数据迁移的保障阶段,需要执行以下任务来确保顺利过渡到新的云环境: 监控和警报设置:建立实时监控系统,监测集群、任务调度平台和应用程序的运行状态。设置警报,以便及时发现潜在的问题并采取措施。 优化集群性能:对大数据集群进行性能评估和调优。监视资源使用情况,优化配置参数、调整集群大小和资源分配,以提高整体性能。
业务切换是将业务从源端旧系统切换到云上新系统的过程,需要仔细规划和协调,以确保切换过程中不会影响数据的完整以及业务运行。 一般情况下,业务切换需要进行一定的时间,逐步切换流量,同时关闭旧的业务系统。通过这个过程,可以实现从旧系统向新系统的平稳过渡,并最终将业务成功迁移上云。在正式切换前通常会进行切换演练,然后才是正式切换。
验证云上业务系统在各种情况下的稳定性和可靠性,包括系统资源的管理、数据传输、异常处理等。 评估系统的可扩展性:在系统压力逐步增大的过程中,测试云上业务系统的可扩展性,可以确定系统是否可以扩展到更大的规模,并支持更多的用户和业务需求 识别系统的性能瓶颈:通过对云上业务系统的压力测
如果目标架构是采用华为云的任务调度平台DataArts Studio,可以参考如下官网文档进行部署和配置。 如果目标架构是采用自建的大数据任务调度平台,有2种方法部署,可以基于华为云ECS重新部署大数据任务调度软件,或者是使用华为云SMS工具将源端调度平台迁移到华为云ECS。 大数据应用部署
大数据迁移批次规划说明 大数据迁移上云时,是选择整体迁移还是分批迁移,原则如下: 整体迁移的场景: 规模小:大数据平台数据量少(TB级),计算任务数量不多,可以采用整体迁移的方法,先在云上部署大数据平台,然后全量迁移元数据、数据和任务。 关联关系复杂:大数据任务之间的关联关系很复杂,很难拆分,此时也可以选择整体迁移。
检查中间件Reids数据迁移任务状态正常,无异常报错或告警(包含回退任务) 是 否 数据库相关 检查DRS-mysql数据迁移任务状态‘增量迁移中’,无异常报错或告警(包含回退任务),数据动态比对任务配置完成 是 否 数据库相关 检查DRS-mongodb数据迁移任务状态‘增量迁移中’,无异常报错或告警(包含回退任务)
部署 云资源开通及配置 迁移工具部署 父主题: 应用迁移上云
需要先停止应用向旧数据源抽数,然后配置并启动应用从新数据源抽数,将应用的数据源从旧数据源切换到新数据源。 图3 抽数场景 父主题: 大数据迁移
验证 数据验证 业务验证 父主题: 应用迁移上云
比。具体的数据对比的方法请参考章节数据验证的内容。 任务验证 大数据任务迁移后,要确保作业能够正常运行、产生准确的结果,并且满足性能要求。一般从如下三方面验证: 验证作业执行的成功率 在任务迁移完成后,对迁移后的大数据任务进行验证。这包括运行作业并检查作业的执行成功率。验证过程中
内容完整,迁移正常。 文件类数据一致性验证的方法如下表所示: 表4 文件数据一致性对比方式 类型 对比项 工具 描述 对象存储 对象数量 OMS OMS迁移工具,通过MD5校验文件完整性和比对两边桶对象数据量是否一致。 文件存储 文件数量 rclone Rclone迁移工具,使用
切换 切换演练 正式切换 父主题: 应用迁移上云
是 - - - 环境清单核对 应用清单检查并刷新启停 研发相关 - 是 - - - - 研发相关 - 是 - - - 环境(源端、目的端、迁移任务、执行脚本)检查 云服务基础检查项 运维相关 - 是 - - - 数据库检查项 运维相关 - 是 - - - 运维相关 - 是 - -
关联关系分析是批次规划和切换方案的重要输入,也是上云迁移的难点,影响上云迁移的关联关系主要有三种,如下图: 图2 三种关联关系 关联分析有如下4种方法,上云迁移过程中,企业可以根据自身的实际情况选择合适的分析方法: 图3 关联关系分析法 CMDB法:适用于客户有CMDB系统,CMDB系统中通常有应用间的通信依
置并做最后一次检查和确认。 正向迁移任务的状态检查:系统切换前通常迁移任务已经创建完成,并在增量同步状态中,确保迁移任务的增量同步状态正常,无异常报错或告警。 反向迁移任务的状态检查:数据层或中间件通常要考虑回退的链路,切换之前同时要检查反向迁移同步任务的状态,确保无异常报错或告警。
Runbook设计原则 Runbook角色设计 Runbook Checklist设计 Runbook操作步骤设计 Runbook参考模板 父主题: 应用迁移上云
设计切换方案 如何选择停服不停服 停服切换方案 停写不停读切换方案 不停服切换方案 父主题: 应用迁移上云
云资源开通及配置 部署主要是进行云上目标环境的资源开通和配置,并做好上云前的各项检查和测试,并进行迁移环境的准备。 要按照应用部署架构设计方案进行云上资源的开通和配置,云上资源开通主要有如下3种方式: 在云平台Console控制台手动创建云资源。 编写脚本或通过自动化平台对接,调
如何选择停服不停服 业务切换是整个上云迁移的关键环节,出问题会直接影响企业业务,不同业务对停服的要求是不一样的,比如,有些业务在切换期间是不允许停服的,停服会造成较大的业务损失;有些业务在切换期间是允许停服的,比如办公OA系统,夜间非工作期间可以停服;有些业务系统,为了更好的客户体验,希望切