检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
监控告警、应用高可用等多维度设计演练场景，先测试、后攻防、再突袭逐步递进式的开展演练。通过持续演练，对架构高可用、监控、PRR 等能力做“在线验证”，实现持续性的动态风险治理。混沌演练和高可用设计共同成为系统稳定性的“双引擎”。 系统风险消减、业务快速恢复：分析系统潜在风险（故障
关键策略 Production Readiness Review 生产准备度评估基线：从SLI/SLO、可冗余、可容灾、可过载控制、可故障管理、可变更能力、可运维、安全生产等维度，对服务可用性及运维能力提出基线要求。在服务产品开发前端构筑能力，进行相关需求规划、设计和开发工作，并在服务上线前进行生产准入审视。
如高性能计算、媒体处理、文件共享和内容管理和Web服务等。 说明： 高性能计算：主要是高带宽的需求，用于共享文件存储，比如基因测序、图片渲染这些。 如大数据分析、静态网站托管、在线视频点播、基因测序和智能视频监控等。 如高性能计算、企业核心集群应用、企业应用系统和开发测试等。 说明： 高性能计算：主要是高速率、高IO
恢复： 根据业务情况，手工变更集群规格或扩展资源。 CCE节点的CPU /内存/磁盘容量/磁盘IOPS/GPU/GPU缓存使用率过高 检测：通过AOM监控CCE节点的CPU/内存/磁盘容量/磁盘IOPS/GPU/GPU缓存使用率。 恢复： 根据业务情况，手工变更节点规格或增加节点数量。
据需求划分迭代计划。 相关云服务和工具 华为云CodeArts Req服务 父主题： OPS02 通过CI/CD实现高效的频繁可逆的小规模变更
通过标准化的、统一的运维工具，向运维人员提供集中、统一维护界面及清晰易上手的操作手册，方便运维人员的集中维护，提高运维效率。常见的运维流程有： 变更管理流程：适用于生产环境软、硬件的变更活动管理，减少变更导致服务意外中断或服务质量下降，确保企业的环境安全、稳定地运行，并最大化的提升系统的可用性，满足所承诺的服务水平。
下的业务切换。 风险等级 高 关键策略 实时监控容灾状态，了解容灾运行状态。 支持应用级数据校验，比较AZ间数据同步差异，监控及PO指标。 典型确定性故障场景下自动容灾或切换，无需人工接入，业务不受影响，满足RPO/RTO指标。 典型亚健康故障场景，支持业务降级或主动切换，业务不持续受损。
容灾恢复过程自动化 由于容灾恢复场景涉及容灾站点的业务恢复、数据库的主备切换、业务到容灾站点的流量切换等，恢复过程比较复杂，因此需要提供容灾管理功能，实现容灾状态及RPO监控，以及灾难场景下的一键式自动切换，减少人工干预。 风险等级 高 关键策略 实时监控容灾状态，了解容灾运行状态。
华为云CodeArts Artifact服务 华为云CodeArts Repo服务 父主题： OPS02 通过CI/CD实现高效的频繁可逆的小规模变更
选择各种计费模式来适配不同的业务形态和降低费率，实现成本节省。从用量上，企业可以通过资源优化，释放闲置资源，降配等降低资源用量，或者通过离在线混部，弹性缩扩容等架构方案实现资源复用和闲时释放，也达到了资源用量的节省。费用优化、资源优化和业务架构优化代价逐步增高，对业务的影响也依次
ECS的CPU /内存/磁盘容量/磁盘IOPS使用率过高 检测：通过CES监控CPU/内存/磁盘容量/磁盘IOPS使用率。 恢复： 根据业务情况，手工变更规格以扩展资源或增加ECS实例进行负荷分担。 对于无状态业务，启动AS弹性伸缩，自动扩展资源。 应用层进行过载保护，保障优先业务的运行。 连接后端ECS失败
BMS的CPU /内存/磁盘容量/磁盘IOPS使用率过高 检测：通过CES监控CPU/内存/磁盘容量/磁盘IOPS使用率 恢复： 根据业务情况，更换规格更高的BMS实例或增加BMS实例进行负荷分担。 应用层进行过载保护，保障优先业务的运行。 连接后端BMS失败 检测：网络连接失败。 恢复：
风险等级 高 关键策略 云服务的关键操作包含高危操作（如创建IAM用户、删除IAM用户、重启虚拟机、变更安全配置等）、成本敏感操作（创建、删除高价资源等）、业务敏感操作（网络配置变更等）。 启用关键操作通知功能。启用云审计服务CTS的关键操作通知功能后，CTS会对这些关键操作通过消
/内存/带宽/连接数使用率。 恢复： 根据业务情况，手工变更规格以扩展资源。 应用层进行过载保护，保障优先业务的运行，如将部分性能要求不高的业务切回到原始数据源。 连接后端DCS失败 检测：连接失败。 恢复： 应用层进行重试，以应对暂时性故障，如DCS实例正在进行主备切换时；应用故障重试处理可参考“故障重试”。
恢复： 根据业务情况，手工变更规格以扩展资源。 开启存储空间自动扩容，以便在磁盘容量不足时自动扩容。 应用层进行过载保护，保障优先业务的运行。 连接后端RDS失败 检测：连接失败。 恢复： 应用层进行重试，以应对暂时性故障，如RDS实例正在进行主备切换时；应用故障重试处理可参考“故障重试”。
/内存/磁盘容量/磁盘IOPS/数据库连接数使用率过高 检测：通过CES监控CPU /内存/磁盘容量/磁盘IOPS/数据库连接数使用率。 恢复： 根据业务情况，手工变更规格以扩展资源。 开启自动扩缩容，以便在过载时自动扩容规格和/或只读节点。 应用层进行过载保护，保障优先业务的运行。 连接后端云数据库 TaurusDB失败
999%，即每年故障时间可以为5.26分钟。 假定故障中断与变更中断的时长分别如下： 故障中断：由于要求的故障中断时间很短，要求尽可能自动恢复，没有手动触发的恢复，假定每年故障中断4次，每次自动恢复时长为1分钟，则每年故障中断时长为4分钟。 变更中断：假定应用支持金丝雀部署或蓝绿部署，并自动完成，软件更新不中断业务。
网络链路冗余：网络连接需要支持多路径，以实现高可用能力，以避免在一条网络路径中断的情况下，业务能切换到其他路径继续通信。 网络链路快速倒换：需要定期检查网络链路的连通性，但检测到失败时需要尽快切换到正常路径。 公有云组网场景可通过多EIP 弹性IP及DNS域名解析实现网络连接的高可用；
风险评估：基于场景规则、流程规则、业务规则对变更进行管控，提前识别和拦截变更风险；通过变更日历实现变更冲突检测，降低服务间变更依赖导致的变更风险。 实施保障：按预定方案执行变更，变更步骤标准化、可观测，变更异常及时介入处理，实现变更实施全过程可控、可视、可管。 确定性故障管理
可靠性功能 集群HA RDS服务支持HA主备高可用架构，故障秒级自动切换。 数据持久性 RDS数据持久性高达99.9999999%，保证数据安全可靠，保护业务免受故障影响。 数据备份和恢复 RDS支持每天自动备份数据，备份都是以压缩包的形式自动存储在对象存储服务（Object Storage
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
