检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
环境(源端、目的端、迁移任务、执行脚本)检查 云服务基础检查项 运维相关 - 是 - - - 数据库检查项 运维相关 - 是 - - - 运维相关 - 是 - - - 大数据检查项 大数据相关 - 是 - - - 大数据相关 - 是 - - - 应用检查 运维相关 - 是 - - - 执行脚本检查 运维相关
Runbook操作步骤设计 Runbook中的每一步操作,都有明确的操作步骤、操作命令/脚本、串/并行标记、操作人、确认人、预估开始时间、结束时间、预估执行时长。切换方案不同,对应的Runbook的操作步骤也不同。切换方案可以分停服切换和不停服切换。不停服切换方案对应用架构的要求
清单核对完成,通知版本封版,避免正式切换时环境和准备时的不一致情况。 根据最新的应用清单和JOB任务清单,刷新Runbook中相关的切换操作脚本。 环境检查 切换前需确保源端、目的端、迁移任务状态正常,执行脚本准备就绪。 源端检查:首先,检查是云专线同步带宽是否有超带宽的告警,评估是否需要进行带宽的扩容,其次,对源
Runbook执行步骤要尽量细化,确保每个执行步骤对应1个操作人和1个确认人,尽量避免发生1个步骤多个人确认的场景。 Runbook要细化到每个执行命令,尽量脚本化或工具化,操作人直接执行即可,不需要现场临时定制,避免出现人为事故。 Runbook步骤中有并行操作和串行操作,要标记好串并行顺序,避免人为操作不当影响切换时长和切换结果。
开发和维护自动化运维工具,提升运维效率。 实现云资源的自动化部署、监控和扩展。 编写脚本或代码实现日常运维任务的自动化。 推动智能化运维技术的应用,如AIOps。 熟悉自动化工具(如Ansible、Terraform、SaltStack等)。 掌握脚本语言(如Python、Shell)和云平台API的使用。
性。 配合云安全专家完成安全技术方案的落地与优化。 编写安全运维脚本,提升安全运营效率。 熟练使用云平台的安全运营服务和各种安全监控工具。 掌握威胁检测技术、漏洞扫描工具和补丁管理流程。 熟悉日志分析工具和自动化脚本语言(如Python、Shell)。 了解云平台的安全配置(如安全组、防火墙规则)。
不同版本:Hive大版本不同,先平迁SQL类任务,然后根据版本语法变动,微调SQL语句以适配云上版本语法 脚本类任务 (Python、Shell) 同调度平台:平迁脚本类任务 不同调度平台:平迁脚本类任务,根据云上调度平台,对脚本进行适配改造,以适应新的调度平台运行环境 大数据任务迁移通常按照如下顺序执行:
要按照应用部署架构设计方案进行云上资源的开通和配置,云上资源开通主要有如下3种方式: 在云平台Console控制台手动创建云资源。 编写脚本或通过自动化平台对接,调用云平台的API接口,批量发放云资源,每个云服务都有对应的API接口,可以进行资源的生命周期管理。详情请见对应服务
SQL类: 常用于Hive、Spark、UDF等 Python类:常用于Spark、算法场景等 其他类:如Shell、Scala等,多用于脚本调用 任务数量 调研各类任务的总数量,用于评估任务迁移周期及改造工作量。如:XX调度平台下,Jar任务XX个。 任务更新周期 识别出不同调
通过一次或多次演练,提高切换操作的熟悉度和各方的配合默契度以及问题处理的效率,对于一些操作时长比较长的步骤,还可以通过自动化脚本代替人工操作或者持续优化脚本提高执行效率,从而减少正式切换的中断时长。以某大型零售平台上云为例,采用所有业务系统一把切的方案,通过4次演练,正式切换的时间比预期缩短了40%。
适用于源端是自建Redis或其他云厂家Redis实例迁移至华为DCS的场景 RDB/AOF文件备份恢复 全量迁移 离线迁移,操作复杂,源端业务停机时间长,需要源端业务停机后制作RDB/AOF文件,不支持增量同步数据 所有 消息中间件迁移方案 确定消息中间件的切换场景 表3 消息中间件切换场景 适用产品 切换窗口 迁移方式
编写和维护自动化测试脚本。 编写测试报告和文档。 有扎实的测试理论基础,熟悉软件测试理论、方法和流程等。 具备丰富的测试经验,熟悉各种测试类型,如功能测试、性能测试、安全测试和可靠性测试等。 熟悉主流的云平台及云服务。 熟练使用自动化测试工具,能够编写自动化测试脚本。 能够与周边团队有效沟通和协作。
源端脚本导出:从源端调度平台拷贝调度任务的可执行脚本。 修改脚本:根据云上环境配置,修改脚本,例如数据库连接串,资源配置,输出目录等。 目标云平台导入脚本:上传脚本到云上调度平台,并配置脚本类调度任务。 脚本任务运行和测试:执行调度任务,并根据日志和执行结果检查脚本运行情况。 脚本任务调优:如果任务执行不符合预
不依赖网络传输 2.相比工具迁移工作量较大 所有 镜像导出导入 全量 1.不依赖网络传输 2.停机时间较长,需要源端物理机或虚拟机停机后,制作完整镜像 停机窗口较长的场景 (停机窗口至少4小时以上才建议考虑此方案) 平迁部署在容器中应用 部署在容器中应用一般是云原生的应用,通常是
迁移服务进行整机迁移时,可以使用IMS镜像服务进行整机迁移。将源端服务器的系统盘和数据盘分别制作私有镜像,上传至华为云OBS对象存储服务中,在IMS镜像服务中,使用上传的外部镜像文件制作成私有镜像,最后使用私有镜像发放云服务器,完成整机迁移。迁移后的主机操作系统、系统配置,数据文
缩短时长的方法 接入层流量入口关闭(网关/ELB) 1~5 1、通过API接口调用或脚本批量操作,减少操作时间 最后一次增量同步 1~10 1、在业务低峰进行切换,减少增量数据 数据库开启写 1 1、脚本开启 应用层停服(关停应用) 1~30 1、提前关停非核心业务,减少操作量 2、统一运维批量关停,减少操作时间
较慢。 python脚本 根据DRS任务的ID,调用接口批量执行对比任务,对比结果输出到xlsx文件中。相比于工具可批量执行,执行效率较高。 库和表级对象对比 DRS工具 对数据库、索引、表、视图、存储过程和函数、表的排序规则等对象进行对比。 python脚本 根据DRS任务的I
测试和部署:在容器化改造完成后,进行全面的测试,包括单元测试、集成测试和性能测试。确保应用程序在容器环境中正常运行。然后,使用自动化工具或脚本将容器部署到生产环境中。 持续集成与交付:建立持续集成与交付(CI/CD)流程,以便能够快速、可靠地构建、测试和部署新版本的容器化应用程序。
确定发版暂停的截至日期 是 否 应用清单检查并刷新启停脚本 研发团队 研发人员Check上云应用清单 是 否 JOB清单检查并刷新脚本 研发团队 Check最新的job清单 是 否 研发团队 检查脚本中的清单是否是最新的 是 否 环境(源端、目的端、迁移任务、执行脚本)检查 云服务基础检查项 运维团队
修复。 验证作业执行结果的一致性 验证大数据任务执行结果的一致性,对比新旧大数据平台的作业输出结果数据是否一致。可以使用对比工具、数据校验脚本或手动检查的方式进行验证。如果发现数据不一致的情况,可能需要考虑迁移过程中的数据转换、数据格式或数据处理逻辑的问题,并进行相应的修复和调整。