检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
/内存/带宽/连接数使用率过高 检测：通过CES监控CPU /内存/带宽/连接数使用率。 恢复： 根据业务情况，手工变更规格以扩展资源。 应用层进行过载保护，保障优先业务的运行，如将部分性能要求不高的业务切回到原始数据源。 连接后端DCS失败 检测：连接失败。 恢复： 应用层进行重试，以应对暂
对应用系统资源进行监控时，需要先定义资源的关键指标以及对应的阈值，以便快速有效的发现业务表现和系统状态，以便在异常状态下尽早干预恢复，或定位改进系统缺陷。 关键指标需要与系统内工作负载的关键性能指标相关，并能确定为系统性能下降的早期警告信号，如系统处理的API数量及成功率，相比C
率。 恢复： 根据业务情况，手工变更规格以扩展资源或增加ECS实例进行负荷分担。 对于无状态业务，启动AS弹性伸缩，自动扩展资源。 应用层进行过载保护，保障优先业务的运行。 连接后端ECS失败 检测：网络连接失败。 恢复： 至少部署2个后端ECS。对于无状态业务，配置ELB弹性负
数同步调用会等待直到超出超时时间才返回超时异常，造成业务卡顿，长时间不退出等问题，无法实现failfast，影响业务体验。建议结合业务实际场景配置超时时间，避免超时时间配置过大。 Serverless函数代码最佳实践 如果业务可以异步实现，那么不需要关心函数的性能（除了优化成本之
RES13-04 支持主动扩容 当由于计划性活动而导致资源需求增加时，需要支持主动扩容，避免由于资源不足而导致业务受影响。 风险等级 高 关键策略 当发现应用系统业务需要更多资源时，可主动扩展资源以满足需求，而避免影响可用性。典型场景如产品促销前预测会有突发大流量，则可手工进行扩容处理。
Redis使用规范 如下的规范可以帮助我们在系统运行过程中，尽可能减少遇到redis不稳定或异常的概率， 保证系统的长稳运行。 业务使用规范 原则 原则说明 级别 备注 就近部署业务，避免时延过大 如果部署位置过远（非同一个region）或者时延较大（例如业务服务器与Redis实例通过公网连接），网络延迟将极大影响读写性能。
应用组件需要部署在多个数据中心，以避免单个数据中心故障而导致业务中断。 风险等级 高 关键策略 可根据不同需求，将应用的数据和资源部署在多个位置： 应用多AZ部署：应用应尽可能部署在多个可用区，避免由于单个可用区故障而导致所有业务中断。 应用多Region部署：对于可用性要求高的应用系统，需要考虑多Region部
Engineering）是通过故障注入，验证故障快速恢复能力及系统可靠性的实践活动。 风险等级 高 关键策略 通过混沌工程的方法模拟可能出现的故障，进而综合验证系统在不同故障场景下的容错能力、监控能力、应急响应能力、定界定位、快速恢复等确定性恢复能力。 验证高可用设计：业务系统在规划设计阶段进行架构高可用设计、监控设计，在上线前进行生产准备度评审
、可测量的性能目标。若要设置这些目标，需要充分了解业务要求以及预期将提供的服务质量。 需要与业务利益干系人共同关键功能的体验要求，而不是只关注技术指标。通过明确地说明性能需求来控制性能，说明要足够明确，以便可以定量地确定软件系统是否满足该目标。具体要求： 定义明确的性能需求目标 避免使用定性的、模糊的性能目标
时长、覆盖率、有效率、 一致率打造可观测能力，将可观测设计规范统一发布，统一设计要求与运维管理要求。 设计建议 整体技术方案会变成标准并进行发布，各个业务系统架构师在设计时遵循这套标准，这样可以保证能力能够从设计态开始，包括运行态、高可用架构等场景中得到应用。 可观测指标可以通过
识别工作负载内的数据 通过业务流程、数据流动方向、数据分布、数据的所有者等维度，对照合规要求评估数据的敏感度，对数据分级分类。 风险等级 高 关键策略 遵循以下步骤梳理、识别数据： 业务流程分析。 了解业务流程，对照业务流程图，明确在各个环节中产生、处理和存储的数据类型和用途。 与业务部门、开发
赖低，也是在软件系统运维之前成本最低的发现软件问题的方式，尤其是各种异常场景或者用户输入，开发者测试的过程实际上“强制”了开发者去思考线上业务可能出现的场景，从而有利于减轻后续运维阶段系统的负担。 此外，云上的软件是不断演进和重构的，很多时候我们不敢修改已有系统代码的原因，就是不
云服务器反亲和 应用内相同业务的ECS需要分散到多台物理服务器，避免运行到同一台物理服务器上，当发生这种情况时，可能会由于一台物理服务器故障而导致业务中断。 风险等级 高 关键策略 针对多个承载相同业务的ESC，需要配置主机组反亲和，从而可以将相同业务的ECS调度到不同物理服务器
使用率。 恢复： 根据业务情况，手工变更集群规格或扩展资源。 CCE节点的CPU /内存/磁盘容量/磁盘IOPS/GPU/GPU缓存使用率过高 检测：通过AOM监控CCE节点的CPU/内存/磁盘容量/磁盘IOPS/GPU/GPU缓存使用率。 恢复： 根据业务情况，手工变更节点规格或增加节点数量。
COST02-01 建立云预算与预测流程 风险等级 高 关键策略 由于云资源天然的易申请，易缩扩容的特性，使用云可以提高效率、创新速度和灵活性，与此同时，也导致了云成本和使用模式的高度可变，客户应调整现有的组织预算和预测流程，以适应云的变化。 客户应密切关注历史消费趋势和不断变化的业务趋势，力求
恢复： 根据业务情况，更换规格更高的BMS实例或增加BMS实例进行负荷分担。 应用层进行过载保护，保障优先业务的运行。 连接后端BMS失败 检测：网络连接失败。 恢复： 至少部署2个后端BMS。对于无状态业务，配置ELB弹性负载均衡保障业务可靠性；对于有状态业务，由应用层实现多实例高可用。
蓝军从第三方角度发掘各类脆弱点，并向业务所依赖的各种软硬件注入故障，不断验证业务系统的可靠性；而红军则需要按照预先定义的故障响应和应急流程进行处置。 演练结束后，建议针对故障中的发现、响应、恢复三个阶段的时长和操作内容进行复盘，并梳理改进点进行优化，提升业务系统的稳定性。 父主题： RES11
OPS01-01 建立持续学习和改进的文化 风险等级 高 关键策略 由于系统的独特性和复杂性，没有放之四海皆准的方案，为了达到卓越运营，需要不断改进这些最佳实践，并建立自己的最佳实践。所以，在所有最佳实践的第一条，就是在您的团队中培养持续学习和改进的文化。 而持续学习和改进需要鼓
异常场景下的业务切换。 风险等级 高 关键策略 实时监控容灾状态，了解容灾运行状态。 支持应用级数据校验，比较AZ间数据同步差异，监控及PO指标。 典型确定性故障场景下自动容灾或切换，无需人工接入，业务不受影响，满足RPO/RTO指标。 典型亚健康故障场景，支持业务降级或主动切换，业务不持续受损。
检测：通过CES监控CPU /内存/磁盘容量/磁盘IOPS/数据库连接数使用率。 恢复： 根据业务情况，手工变更规格以扩展资源。 开启存储空间自动扩容，以便在磁盘容量不足时自动扩容。 应用层进行过载保护，保障优先业务的运行。 连接后端RDS失败 检测：连接失败。 恢复： 应用层进行重试，以应对暂
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
