检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
常见故障模式 BMS的CPU /内存/磁盘容量/磁盘IOPS使用率过高 检测：通过CES监控CPU/内存/磁盘容量/磁盘IOPS使用率 恢复： 根据业务情况，更换规格更高的BMS实例或增加BMS实例进行负荷分担。 应用层进行过载保护，保障优先业务的运行。 连接后端BMS失败 检测：网络连接失败。
RES01-03 云服务器反亲和 应用内相同业务的ECS需要分散到多台物理服务器，避免运行到同一台物理服务器上，当发生这种情况时，可能会由于一台物理服务器故障而导致业务中断。 风险等级 高 关键策略 针对多个承载相同业务的ECS，需要配置主机组反亲和，从而可以将相同业务的ECS调
RES15-02 自动化检查 在部署或升级过程中集成基本测试功能，实现自动化检查，无需人工参与。 风险等级 高 关键策略 在部署或升级过程中集成基本测试功能，在部署或升级完成后自动进行检查和测试，以验证新部署的代码功能是否正确。 在部署或升级过程中集成故障注入测试功能，在部署或升
SEC10-01 建立安全响应团队 建立安全事件响应团队，明确各角色与职责。 风险等级 高 关键策略 安全事件响应团队一般包含如下角色及职责： 安全响应专家：主导网络安全事件调查，负责对事件进行定级、通报、攻击溯源以及确定影响范围，制定应急处置措施，推动服务控制风险。 攻击溯源专
RES03-04 支持容灾管理 提供容灾管理功能，实现容灾状态及RPO监控，及异常场景下的业务切换。 风险等级 高 关键策略 实时监控容灾状态，了解容灾运行状态。 支持应用级数据校验，比较AZ间数据同步差异，监控及PO指标。 典型确定性故障场景下自动容灾或切换，无需人工接入，业务不受影响，满足RPO/RTO指标。
RES11-04 灾难演练 通过容灾演练，可以验证灾备系统是否可用，且数据丢失时间以及恢复时间符合数据的RPO与RTO指标要求。 风险等级 高 关键策略 灾难演练着重测试服务跨AZ或跨Region故障转移能力，验证系统的容灾能力以及面对灾难时的应对能力，涉及到多个团队间配合，通常
RES12-02 制定应急预案 针对常见问题现象，提供标准化的应急恢复指导，以便在出现问题后，可以有序的完成恢复操作，避免操作失误。 风险等级 高 关键策略 需要覆盖常用典型场景。 应急恢复需要有标准的操作流程和动作，确保在事件发生时，相关干系人都能够明确自身职责和所需要采取的措施。
常见故障模式 ELB的并发连接数/新建连接数/带宽使用率过高 检测：通过CES监控ELB的并发连接数/新建连接数/带宽使用率。 恢复： 根据业务情况，采用独享型负载均衡器，并手工调整ELB负载均衡器规格。 父主题： ELB弹性负载均衡
OPS06-05 实施依赖项遥测 风险等级 高 关键策略 依赖项遥测可以监控工作负载所依赖的外部服务和组件的运行状况及性能。提供有关与 DNS、数据库或第三方 API 等依赖项相关的可访问性、超时及其他关键事件的高价值指标采集。当对应用程序进行检测，以发布有关这些依赖项的指标、日
增加，因此通过监控实例内的内存占用率，在超过阈值的情况下及时告警，人工介入迅速恢复，可避免造成业务中断。 典型的亚健康场景有：通信链路丢包/错包、硬盘性能下降、CPU/内存过载等，当应用系统内组件出现亚健康时，可能会导致应用系统对外业务成功率下降。 由于亚健康并非故障，因此针对亚
RES11-01 混沌测试 混沌工程（Chaos Engineering）是通过故障注入的方式，触发或模拟实际故障，验证系统的稳定性和容错保护能力。 风险等级 高 关键策略 在真实环境中测试。 作为CI/CD管道的一部分例行执行。 主动注入故障，以便在问题发生前提前发现并解决问题。
RES12-05 应急恢复回溯 在业务进行应急恢复处理后，需要对事件进行回溯并进行优化，以避免故障的再次发生。 风险等级 高 关键策略 对问题进行定位和修复，优化产品能力，减少同类事件的发生。 针对应急恢复过程进行总结，优化恢复过程。 父主题： RES12 应急恢复处理
RES11-03 长稳测试 基于用户使用场景构建业务模型，自动化构建覆盖系统容量规格70%的业务量，持续7*24小时进行长时间负载测试以评估系统稳定性。 风险等级 高 关键策略 模拟各种业务场景进行测试。 持续自动测试。 测试结果发生偏差时自动告警，以便及时定位和处理。 父主题：
RES12-01 组建应急恢复团队 为了应对紧急故障场景，需要组建应急恢复团队，明确责任人，并进行培训。 风险等级 高 关键策略 组建应急恢复团队：其中包括应急恢复主席及所有组件及关键依赖项的恢复责任人。 应急恢复主席：在出现问题后及时组织应急恢复团队进行快速恢复处理。 组件或关
可靠性功能 集群HA Kafka实例通过副本冗余方式实现实例容灾，当检测到leader副本故障后，快速完成副本选主，保障Kafka实例持续提供服务。 RabbitMQ集群提供镜像队列，通过镜像在其他节点同步数据。单节点宕机时，仍可通过唯一的访问地址对外提供服务。 RocketMQ
RES07-03 监控到异常后发送消息通知 当对应用系统监控发现应用异常后，需要向相应的人员和系统发送实时通知消息和告警，以便及时处理。 风险等级 中 关键策略 采用实时快捷的消息通知方式，以便相关人员能及时得到消息。 消息发送人员需要涵盖运维人员，以便及时恢复。 运维人员需要有备份，避免单点风险。
PERF04-05 应用性能数据采集 风险等级 中 关键策略 应用程序的性能数据（吞吐量、延迟和完成时间），通常需要通过代码采集，例如嵌入代码片段或将工具集成到应用程序代码中。通过应用的性能数据，可以识别性能瓶颈、评估系统行为、识别可用性风险、规划容量等指标。 常用应用性能监控策略有：
RES12-03 定期应急恢复演练 定期测试突发事件应急恢复处理，以便在出现问题后能进行高效的恢复处理。 风险等级 高 关键策略 每年至少进行一次应急恢复演练；通过演练可提升操作人员的熟练程度。 演练期间严格按照应急预案进行恢复，以检验应急预案的准确性。 演练结束后需要对恢复过程进行回溯，并优化应急预案。
RES14-03 变更前数据备份 通过配置数据事前备份与恢复设计，确保在出现配置错误时能够快速恢复到正确的配置数据状态。 风险等级 高 关键策略 进行全量数据备份，以防变更过程中数据被破坏，影响业务。 异常回滚时，可使用备份数据进行恢复。 父主题： RES14 配置防差错
RES14-04 提供runbook进行标准化变更 runbook是指运行手册，是用来实现变更的详细操作过程。 变更前需提供标准化runbook用于变更和回退，变更过程中严格按照runbook执行，在变更失败时根据runbook进行回退。 风险等级 高 关键策略 runbook需
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
