检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
退。采用全量回退还是部分回退,需结合业务影响进行判断和决策。比如当天同时切换了10个应用系统和10套数据库,若某一套数据库切换失败是全量回退还是只回退这1套数据库,判断依据需要业务部门评估应用跨云访问数据库和应用之间跨云访问时延是否满足要求等。 总之,在设计切换Runbook时,
工具、终端和登陆平台准备,切换涉及的人员需提前检查使用的工具、平台是否可用,如堡垒机账号权限是否正常,测试终端(测试手机、电脑)是否可用等。 提前通知相关人员发布官网公告,若涉及到第三方的官网公告,需要提醒第三方进行官网公告发布。 应用清单核对和操作脚本刷新 上云迁移期间,企业的软件版本开发、迭代发
Runbook参考模板 Runbook Checklist参考 表1 Runbook Checklist参考样例 大类 前置工作项 责任部门 活动 是否涉及 是否完成 计划完成时间 责任人 组织和保障准备 - 项目经理 - 是 - - - - 项目经理 - 是 - - - 第三方/业态 - 业务相关
Jar类:常用于MRS、Flink、Spark等 SQL类: 常用于Hive、Spark、UDF等 Python类:常用于Spark、算法场景等 其他类:如Shell、Scala等,多用于脚本调用 任务数量 调研各类任务的总数量,用于评估任务迁移周期及改造工作量。如:XX调度平台下,Jar任务XX个。 任务更新周期
步后会再对比源端和目的端文件数量。 文件大小 python脚本 迁移完成后,通过对比源端和目的端总文件大小判断是否一致。 文件内容 python脚本 迁移完成后,通过计算源端和目的端文件的哈希值,比较两个文件的哈希值是否一致。 父主题: 验证
不同版本:Hive大版本不同,先平迁SQL类任务,然后根据版本语法变动,微调SQL语句以适配云上版本语法 脚本类任务 (Python、Shell) 同调度平台:平迁脚本类任务 不同调度平台:平迁脚本类任务,根据云上调度平台,对脚本进行适配改造,以适应新的调度平台运行环境 大数据任务迁移通常按照如下顺序执行:
回退决策点设计原则如下: 每个切换阶段设计最晚的执行完时间,超时需要决策是否进行回退。 核心表数据比对结果不一致,需要决策是否回退。 核心的P0测试用不通过,需要决策是否回退。 性能验证不达预期,需要决策是否回退。 父主题: 设计Runbook
取消外网转发至维护公告页面 启动目的端第二批批处理任务 13.1 启动目的端第二批批处理任务 13.2 P1业务验证 (启动JOB后,P1用例验证) 14.1 验证目的端业务功能 启动目的端第三批批处理任务 15.1 启动目的端第三批批处理任务 启动目的端第二批批处理任务 13.1 启动目的端第二批批处理任务
实现云资源的自动化部署、监控和扩展。 编写脚本或代码实现日常运维任务的自动化。 推动智能化运维技术的应用,如AIOps。 熟悉自动化工具(如Ansible、Terraform、SaltStack等)。 掌握脚本语言(如Python、Shell)和云平台API的使用。 具备DevOps理念,熟悉CI/CD流程和工具。
容器化应用程序:将应用程序拆分为较小的模块或微服务,并将每个模块打包为独立的容器镜像。使用Dockerfile定义容器镜像的构建过程,包括依赖安装、配置和启动命令。 容器编排与管理:如果需要管理多个容器实例、自动扩展和负载均衡等功能,可以使用容器编排工具,如Kubernetes。通过编写配置文件
源端脚本导出:从源端调度平台拷贝调度任务的可执行脚本。 修改脚本:根据云上环境配置,修改脚本,例如数据库连接串,资源配置,输出目录等。 目标云平台导入脚本:上传脚本到云上调度平台,并配置脚本类调度任务。 脚本任务运行和测试:执行调度任务,并根据日志和执行结果检查脚本运行情况。 脚本任务调优:如果任务执行不符合预
和改进。 确认任务调度平台是否支持当前使用的大数据框架和技术,例如Hadoop、Spark、Hive、Pig、Flink等。 调研任务调度平台支持的任务类型,包括Jar类任务、SQL类任务、脚本类任务(Python、Shell)等。 调研任务调度平台是否提供可视化和管理界面,以方便任务调度的配置、监控和管理。
目标数据库 最佳实践在线文档 其他云MySQL数据库 华为云RDS for MySQL 其他云MySQL迁移到云数据库 RDS for MySQL 华为云GaussDB(for MySQL) 其他云MySQL迁移到GaussDB(for MySQL) 其他云MongoDB 华为云DDS
在完成上述项目准备工作之后,需要举行正式的项目启动会。项目启动会的目的是将云化转型项目正式定义为一个真正意义上的工作任务,是一个有目标、有计划、有组织、有任命、有监督和考核的正式任务,确保项目成员按照责任界面和项目计划各司其职以达成项目目标。项目启动会参与者是CCoE的全体成员以及云服务商的项目团。 项目启动会中一个
配合云安全专家完成安全技术方案的落地与优化。 编写安全运维脚本,提升安全运营效率。 熟练使用云平台的安全运营服务和各种安全监控工具。 掌握威胁检测技术、漏洞扫描工具和补丁管理流程。 熟悉日志分析工具和自动化脚本语言(如Python、Shell)。 了解云平台的安全配置(如安全组、防火墙规则)。
精通主流的云平台及云服务,并具备相关的认证资质。 熟悉各种迁移工具和技术,例如数据迁移工具、容器化技术、自动化部署工具等。 熟悉各种操作系统和应用软件。 具备扎实的脚本编写能力(例如Shell、Python等),能够实现自动化操作。 具备良好的沟通和团队协作能力。 IT部门或者外包给云实施专业服务提供商 父主题: 云卓越中心
缩短时长的方法 接入层流量入口关闭(网关/ELB) 1~5 1、通过API接口调用或脚本批量操作,减少操作时间 最后一次增量同步 1~10 1、在业务低峰进行切换,减少增量数据 数据库开启写 1 1、脚本开启 应用层停服(关停应用) 1~30 1、提前关停非核心业务,减少操作量 2、统一运维批量关停,减少操作时间
业务连续性的平衡。 MySQL迁移方案 表1 MySQL迁移方案 迁移方式 迁移方式 特点 适用场景 华为云DRS数据复制服务 (推荐) 全量+增量迁移 配置简单,一键迁移,支持实时同步增量数据 1.适用于自建或云服务MySQL实例迁移华为云服务MySQL实例 2.适用于自建或
集群部署,单AZ的故障不影响业务运行; RDS for MySQL采用主备部署方式,主备实例之间的数据实时同步,如果主实例出现故障,备实例可以快速升为主实例; Redis、Kafka、CSS云搜索、RDS for MySQL都支持把数据备份到OBS桶,应对数据误操作之后的风险;
AZ整体宕机情况,确保集群始终有一份完整的副本确保数据高可用。 图6 中间件层Sorl高可用设计示例 数据层- MySQL高可用 主备实例跨AZ部署,借助原生MySQL主从复制同步能力实现主备间数据同步。 主备实例以VIP对外提供服务,自身IP不对租户开放。 主备秒级切换,主备切