检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
变更防差错 在系统的运行过程中，配置变更是导致生产系统不可用的重要风险之一，如配置修改、工作负载手工增缩或补丁安装等。当变更失败时，可能会导致性能下降或业务中断等严重的问题。因此为了降低变更带来的业务风险，需要为工作负载或其环境的更改做好准备，实现工作负载的可靠操作。 变更操作属
OPS05-03 定义变更流程 风险等级 高 关键策略 在建立标准的变更管理流程前，清晰明白变更各个流程的定义： 变更发起：在变更发起前，需明确变更内容与变更原因等信息。信息的明确可减轻变更评估人的工作量，同时明确变更的意义。变更信息包括： 基本信息：标题、时间、变更人、原因等。 变更信息：变更系统、变更场景、变更类型等。
关键策略 使用配置管理工具进行变更：集中管理配置信息，发现和记录配置变化情况，快速识别变更影响范围。 采用自动化变更流程：帮助组织规划和自动化变更流程，如预定义变更模板、审批变更流程、自动化测试和验证等，减少人工错误和延迟。 进行变更评估和风险管理：评估变更影响范围，识别潜在风险和冲突，并采取相应的措施进行风险管理。
RES14-03 变更前数据备份 通过配置数据事前备份与恢复设计，确保在出现配置错误时能够快速恢复到正确的配置数据状态。 风险等级 高 关键策略 进行全量数据备份，以防变更过程中数据被破坏，影响业务。 异常回滚时，可使用备份数据进行恢复。 父主题： RES14 配置防差错
设计建议 变更风控衡量指标：变更风控衡量指标为变更导致事件密度和变更引入重大事件数。 变更导致事件密度定义：每月变更导致对客户造成影响的事件数与总变更数的比值。 计算公式：变更导致事件密度=变更导致对客户造成影响的事件数/总变更数。 变更引入重大事件数定义：每月变更引入对客户产生重大影响的事件次数。
提供runbook进行标准化变更 runbook是指运行手册，是用来实现变更的详细操作过程。 变更前需提供标准化runbook用于变更和回退，变更过程中严格按照runbook执行，在变更失败时根据runbook进行回退。 风险等级 高 关键策略 runbook需涵盖变更前检查、变更操作、变更后检查及变更失败回退操作。
RES14-01 变更防呆检查 防呆是一种预防矫正的行为约束手段，运用防止错误发生的限制方法，让操作者不需要花费注意力、也不需要经验与专业知识，凭借直觉即可准确无误地完成的操作。 风险等级 高 关键策略 通过以下约束和检查，可减少配置差错： 角色约束：通过权限控制设计预防对不同角
场景下通过产品设计降低或避免配置错误产生的影响。 RES14-01 变更防呆检查 RES14-02 自动化变更 RES14-03 变更前数据备份 RES14-04 提供runbook进行标准化变更 父主题： 变更防差错
OPS05 运维准备和变更管理 OPS05-01 进行生产准备度评审（Product Readiness Review） OPS05-02 进行变更风控 OPS05-03 定义变更流程 父主题： 卓越运营支柱
RES15-01 自动化部署和升级 RES15-02 自动化检查 RES15-03 自动化回滚 RES15-04 灰度部署和升级 父主题： 变更防差错
OPS02 通过CI/CD实现高效的频繁可逆的小规模变更 OPS02-01 进行需求管理和迭代开发 OPS02-02 关联源代码版本和部署的应用版本，使用代码质量最佳实践 父主题： 卓越运营支柱
RES15-02 自动化检查 在部署或升级过程中集成基本测试功能，实现自动化检查，无需人工参与。 风险等级 高 关键策略 在部署或升级过程中集成基本测试功能，在部署或升级完成后自动进行检查和测试，以验证新部署的代码功能是否正确。 在部署或升级过程中集成故障注入测试功能，在部署或升
回滚过程中的业务中断，提升系统可用性。 风险等级 高 关键策略 通过金丝雀部署、蓝绿部署等方式实现灰度升级或部署，逐步引入新版本部署范围或切换用户流量，配合自动回退以降低部署差错导致业务中断的风险。 金丝雀部署（灰度发布）是将少量客户引导到新版本的做法，通常在单个服务实例（Can
RES15-03 自动化回滚 在升级或部署过程中出现异常，或检查/测试失败时，支持自动回滚，减少人工干预，避免回滚失败。 风险等级 高 关键策略 检测到异常后，可一键式回滚。 回滚过程自动化完成。 父主题： RES15 升级不中断业务
关键策略 Production Readiness Review 生产准备度评估基线：从SLI/SLO、可冗余、可容灾、可过载控制、可故障管理、可变更能力、可运维、安全生产等维度，对服务可用性及运维能力提出基线要求。在服务产品开发前端构筑能力，进行相关需求规划、设计和开发工作，并在服务上线前进行生产准入审视。
RES15-01 自动化部署和升级 部署和升级过程由代码实现，以固化部件间依赖、安装和配置过程，减少人工错误。 风险等级 高 关键策略 部署和升级过程自动化完成。 父主题： RES15 升级不中断业务
据需求划分迭代计划。 相关云服务和工具 华为云CodeArts Req服务 父主题： OPS02 通过CI/CD实现高效的频繁可逆的小规模变更
恢复： 根据业务情况，手工变更集群规格或扩展资源。 CCE节点的CPU /内存/磁盘容量/磁盘IOPS/GPU/GPU缓存使用率过高 检测：通过AOM监控CCE节点的CPU/内存/磁盘容量/磁盘IOPS/GPU/GPU缓存使用率。 恢复： 根据业务情况，手工变更节点规格或增加节点数量。
华为云CodeArts Artifact服务 华为云CodeArts Repo服务 父主题： OPS02 通过CI/CD实现高效的频繁可逆的小规模变更
通过标准化的、统一的运维工具，向运维人员提供集中、统一维护界面及清晰易上手的操作手册，方便运维人员的集中维护，提高运维效率。常见的运维流程有： 变更管理流程：适用于生产环境软、硬件的变更活动管理，减少变更导致服务意外中断或服务质量下降，确保企业的环境安全、稳定地运行，并最大化的提升系统的可用性，满足所承诺的服务水平。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
