检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
/内存/带宽/连接数使用率过高 检测：通过CES监控CPU /内存/带宽/连接数使用率。 恢复： 根据业务情况，手工变更规格以扩展资源。 应用层进行过载保护，保障优先业务的运行，如将部分性能要求不高的业务切回到原始数据源。 连接后端DCS失败 检测：连接失败。 恢复： 应用层进行
OPS06-07 通过可观测性指标引入自动化措施 风险等级 高 关键策略 可观测与自动化运维工具联动，实现自动化的故障检测、恢复及弹性伸缩等功能，进一步提升运维响应速度和准确性，降低人为干预带来的延误，甚至错误。 父主题： OPS06 可观测性体系
监控：应用系统需要提供业务监控信息，以便实时了解系统运行状态；维护团队需要有专人观测，并在发现故障发生时，需要及时响应。 告警：应用系统在检测到故障后需要及时告警，并能通过短消息、邮件等方式发送给所有相关人员，确保使相关人第一时间得知故障信息，以便快速组织应急响应。 预测：维护团
常见故障模式 ELB的并发连接数/新建连接数/带宽使用率过高 检测：通过CES监控ELB的并发连接数/新建连接数/带宽使用率。 恢复： 根据业务情况，采用独享型负载均衡器，并手工调整ELB负载均衡器规格。 父主题： ELB弹性负载均衡
ECS实例或挂载的磁盘或数据被意外删除 检测：NA 恢复：对于无状态业务，使用模板快速发放新实例；对于有状态业务，使用CBR云备份服务对ECS进行定期备份，在数据被删除时使用备份数据快速恢复。 ECS实例使用本地盘时本地盘故障 检测：应用层检测本地盘运行状态。 恢复：应用层采用RA
运维能力底座。 配置管理：提供应用和资源视角的管理能力，以及参数配置集中式看护、全生命周期管理的能力。 合规性管理：资源运维提供批量的补丁扫描修复能力，安全合规先行，兼顾高效。 全方位变更管理 方案评审：支持变更方案标准化（Standard Operating Procedure
要综合考虑冗余对成本的影响。 故障全面检测 故障检测是故障管理的前提，检测全面与检测快速都很重要，通常情况下故障检测全比故障检测快重要。 故障检测涉及以下方面： 检测范围：识别并跟踪检测所有组件，有重大影响的故障模式需要重点检测。 亚健康检测：对不引起系统故障却导致系统或服务KP
应用层进行过载保护，保障优先业务的运行。 OBS对象上传/下载失败 检测：对象上传/下载失败。 恢复： 应用层进行重试，以应对暂时性故障，如网络拥塞；应用故障重试处理可参考“故障重试”。 当OBS桶由于过载导致网络限制时，可参考“OBS桶流量过载”的处理。 OBS桶内数据被误删 检测：NA 恢复：针对OBS桶启用多
可靠性功能 集群HA Kafka实例通过副本冗余方式实现实例容灾，当检测到leader副本故障后，快速完成副本选主，保障Kafka实例持续提供服务。 RabbitMQ集群提供镜像队列，通过镜像在其他节点同步数据。单节点宕机时，仍可通过唯一的访问地址对外提供服务。 RocketMQ
常见故障模式 CPU /内存/磁盘/带宽使用率过高 检测：通过CES监控CPU /内存/磁盘/带宽使用率。 恢复： 当CPU/内存使用高时，可根据业务情况，手工修改代理规格或增加代理数量以扩展资源。 当磁盘使用率高时，可根据业务情况，修改实例存储空间支持更大存储空间。 当带宽使用
数使用率过高 检测：通过CES监控CPU /内存/磁盘容量/磁盘IOPS/数据库连接数使用率。 恢复： 根据业务情况，手工变更规格以扩展资源。 开启存储空间自动扩容，以便在磁盘容量不足时自动扩容。 应用层进行过载保护，保障优先业务的运行。 连接后端RDS失败 检测：连接失败。 恢复：
可靠性功能 数据持久性 OBS通过存储介质的慢盘/坏道检测、AZ内设备和数据冗余、AZ之间数据容灾、跨区域复制等技术方案，提供针对介质、服务器、机柜、数据中心和区域的多级可靠性保障。其数据持久性高达99.9999999999%（12个9），可用性高达99.995%，远高于传统架构。详见“OBS的持久性和可用性如何
常见故障模式 GaussDB(for MySQL)的CPU /内存/磁盘容量/磁盘IOPS/数据库连接数使用率过高 检测：通过CES监控CPU /内存/磁盘容量/磁盘IOPS/数据库连接数使用率。 恢复： 根据业务情况，手工变更规格以扩展资源。 开启自动扩缩容，以便在过载时自动扩容规格和/或只读节点。
安全风险是指在面临安全威胁的情况下，系统、网络或数据可能遭受损害或丧失机密性、完整性或可用性的概率和影响程度。安全风险通常由威胁的存在、系统漏洞、不恰当的安全措施或其他因素造成。安全风险通常通过风险评估来评估和管理，以确定风险的程度并采取相应的控制措施。 Playbook 处置剧本
的运行状况及性能。提供有关与 DNS、数据库或第三方 API 等依赖项相关的可访问性、超时及其他关键事件的高价值指标采集。当对应用程序进行检测，以发布有关这些依赖项的指标、日志和跟踪时，就能更清楚地了解可能影响工作负载的潜在瓶颈、性能问题或故障。 父主题： OPS06 可观测性体系
网络链路冗余：网络连接需要支持多路径，以实现高可用能力，以避免在一条网络路径中断的情况下，业务能切换到其他路径继续通信。 网络链路快速倒换：需要定期检查网络链路的连通性，但检测到失败时需要尽快切换到正常路径。 公有云组网场景可通过多EIP 弹性IP及DNS域名解析实现网络连接的高可用；对可用性要求较高的场景，需要
在发生安全事件之前，可以考虑构建取证能力来支持安全事件调查工作。记录攻击和异常行为并对其分析：应在关键网络节点处（例如内外网的交界处、ELB流量转发处等）检测、防止或限制网络攻击行为；应采取技术措施对采集的安全日志进行持续监控和分析，实现对网络攻击特别是新型网络攻击行为和异常行为的识别和分析。 风险等级
故障快速恢复 当应用系统采用华为云服务的高可用设计时，在云服务实例发生故障后，云服务能自动检测和恢复；但对于应用系统本身的故障，需要应用系统自身进行检测和快速恢复处理，以保证系统能够正常运行，从而提高系统的可靠性和稳定性。 RES08 依赖减少与降级 RES09 故障重试 RES10
9%，则关键依赖组件SLO目标要求达到99.99%。 应用系统SLO分解：综合系统SLO、故障频次、云服务SLA，分解得出应用组件的中断时长要求，进一步分解得出故障检测、人工介入、干预恢复的时长要求。 针对应用系统内薄弱环节进行增强： 当云服务SLA无法满足要求时，需要应用层进行额外的保护和增强。 通过冗
状态进行监控，在资源过载时需要告警。 弹性扩缩容 针对内部用户场景，资源足够，无需自动弹性伸缩；针对ECS，通过ELB实现ECS实例的故障检测与负载均衡，并可根据ECS监控情况随时添加和移除ECS实例来扩展应用系统的服务能力；针对RDS，可根据RDS负载监控情况，在维护时段更改实例类型或增加只读节点。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
