置并做最后一次检查和确认。 正向迁移任务的状态检查:系统切换前通常迁移任务已经创建完成,并在增量同步状态中,确保迁移任务的增量同步状态正常,无异常报错或告警。 反向迁移任务的状态检查:数据层或中间件通常要考虑回退的链路,切换之前同时要检查反向迁移同步任务的状态,确保无异常报错或告警。
- - 环境清单核对 应用清单检查并刷新应用启停顺序 研发相关 - 是 - - - - 研发相关 - 是 - - - 环境(源端、目的端、迁移任务、执行脚本)检查 云服务基础检查项 运维相关 - 是 - - - 数据库检查项 运维相关 - 是 - - - 运维相关 - 是 - -
Runbook设计原则 Runbook角色设计 Runbook Checklist设计 Runbook操作步骤设计 Runbook参考模板 父主题: 应用迁移上云
认人、预估开始时间、结束时间、预估执行时长。切换方案不同,对应的Runbook的操作步骤也不同。切换方案可以分停服切换和不停服切换。不停服切换方案对应用架构的要求比较高,通常需要对应用架构进行大规模改造,所以业界普遍采用的切换方案是停服切换。下面以停服切换为例,介绍Runbook设计的注意事项。
保障 在大数据迁移的保障阶段,需要执行以下任务来确保顺利过渡到新的云环境: 监控和警报设置:建立实时监控系统,监测集群、任务调度平台和应用程序的运行状态。设置警报,以便及时发现潜在的问题并采取措施。 优化集群性能:对大数据集群进行性能评估和调优。监视资源使用情况,优化配置参数、调整集群大小和资源分配,以提高整体性能。
需要先停止应用向旧数据源抽数,然后配置并启动应用从新数据源抽数,将应用的数据源从旧数据源切换到新数据源。 图3 抽数场景 父主题: 大数据迁移
云实施团队 云实施团队负责将企业内各个业务系统迁移或者直接部署到云上,这要求对企业现有的IT基础设施和业务系统进行详细的调研和评估,设计并实施技术方案。技术方案的设计由云架构团队负责,交给云实施团队负责方案实施,云实施团队通常包含调研评估工程师、迁移实施工程师,职责和技能要求如下表所示。
比。具体的数据对比的方法请参考章节数据验证的内容。 任务验证 大数据任务迁移后,要确保作业能够正常运行、产生准确的结果,并且满足性能要求。一般从如下三方面验证: 验证作业执行的成功率 在任务迁移完成后,对迁移后的大数据任务进行验证。这包括运行作业并检查作业的执行成功率。验证过程中
Runbook设计原则 Runbook是上云迁移过程中一个非常重要的文档,用于指导切换当天多人协同进行切换操作,规定了业务切换的流程和详细步骤。Runbook主要包括两部分,Runbook checklist和Runbook操作步骤,下面将从几个方面详细介绍如何设计切换Runbook。
平台调研 大数据调研简介 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。 图1 大数据调研的对象 大数据迁移需要调研以下信息: 大数据平台调研,包括大数据集群、任务调度平台、数据流向。 数据调研,包括待迁移的数据类型、数据量、元数据、数据权限、数据更新频率等。
内容完整,迁移正常。 文件类数据一致性验证的方法如下表所示: 表4 文件数据一致性对比方式 类型 对比项 工具 描述 对象存储 对象数量 OMS OMS迁移工具,通过MD5校验文件完整性和比对两边桶对象数据量是否一致。 文件存储 文件数量 rclone Rclone迁移工具,使用
Runbook角色设计 Runbook通常涉及如下角色,职责如下: 表1 Runbook角色与职责 角色 职责 操作人 按Runbook执行相应的操作步骤,并负责操作异常问题处理 确认人 确认操作人的操作步骤是否正常执行完成,并向引导人反馈执行结果,如遇异常,需要按Runbook约定要求,定期向引导人员同步处理进展。
调研应用部署架构 应用部署架构的调研是在试点迁移或大规模迁移阶段进行的,应用部署架构是基于单个应用进行调研的,主要调研应用的四层部署架构,即接入层、应用层、中间件层和数据层,同时还要调研每一层技术组件的详细信息,比如规格、版本、容量等。具体的调研内容如下: 调研应用的四层部署架构
详细信息请参考DIS帮助文档。 云数据迁移(Cloud Data Migration,简称CDM) 云数据迁移(Cloud Data Migration, 简称CDM),是一种高效、易用的数据迁移服务。 CDM围绕大数据迁移上云和智能数据湖解决方案,提供了简单易用的迁移能力和多种数据源到数据湖
企业上云通常先进行试点,试点完以后才进入大规模的上云迁移阶段。大规模上云阶段有两种上云形态: 分批迁移:对于能分批迁移的,企业通常会将大规模迁移划分为多个批次进行。大规模迁移的执行主要是按照批次规划逐批次进行迁移,如下图: 图1 分批迁移 整体迁移:对于不能分批的,应用的关联关系往往非常复
批次规划 概述 迁移批次规划的方法 大数据迁移批次规划说明 父主题: 方案设计
承载的资源主要有: 虚拟机:在云上,虚拟机又叫做弹性云服务器(Elastic Cloud Server,ECS),是由CPU、内存、操作系统、云硬盘组成的基础的计算组件。弹性云服务器创建成功后,可以像使用自己的本地PC或物理服务器一样,在云上使用弹性云服务器。 容器:容器虚拟化技
方案设计的反模式 在做上云方案设计时,可能会遇到一些反模式,这些模式如果不加以识别和避免,可能会降低系统的性能和安全性、造成不必要的成本浪费、增加维护难度,甚至导致项目的失败。以下是一些常见的上云方案设计时的反模式。 资源配置不合理 目标架构设计时,未根据业务负载需求合理配置资源
求,尽量避免存在安全风险或者违反相关法律法规情况。 可测试性:企业上云要通过试点迁移尽量验证方案并识别可能存在的问题,并不断测试和优化方法来保证上云成功,因此,要选择可测试性强的应用,能够充分验证方案,为后续规模上云铺路。 父主题: 上云试点
可用性(Availability)是产品/服务在规定的条件下和规定的时刻或时间区间内处于可执行规定功能状态的能力,是产品可靠性和可维护性的综合反映。服务可用性一般会用SLA(Service-Level Agreement)来衡量,各类云服务都有承诺的SLA标准。不同SLA级别对应的停机时间如下表所示:
您即将访问非华为云网站,请注意账号财产安全