检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过AOM助力系统运维能力提升，降低运维成本与难度 某平台服务的认证驾驶员用户1000万人，货主用户500万人，集团业务覆盖全国339个主要城市，覆盖线路数量超过11万条，实现了全国多中心运营的架构。 客户痛点： 多云双活场景运维难保障：大规模集群场景，单个云厂商灾备不足以保障业
RES04-01 定义应用系统的容灾目标RPO与RTO 在进行容灾设计前，需要根据应用系统的重要性，明确其容灾目标，通常以RPO和RTO指标来定义： RPO：允许的数据丢失量，与数据的周期性复制周期或连续性复制延时相关。 RTO：允许的业务恢复时长，即业务中断时长，与灾备端业务的部署与切换方式相关。
ECS实例或挂载的磁盘或数据被意外删除 检测：NA 恢复：对于无状态业务，使用模板快速发放新实例；对于有状态业务，使用CBR云备份服务对ECS进行定期备份，在数据被删除时使用备份数据快速恢复。 ECS实例使用本地盘时本地盘故障 检测：应用层检测本地盘运行状态。 恢复：应用层采用RA
串联模型：组成系统的所有单元中任一单元的故障都会导致整个系统故障的称为串联系统。 可靠性数学模型： 举例：假定系统存在2个串联单元，每个单元的可用度均为99.9%，则系统可用度为 Rs = 99.9% * 99.9% = 99.8%。 串联系统中系统可用度低于串联系统中任一单元的可用度。为提高系统可用度，设计时需考虑：
力 备份 应用数据被破坏的情况下的恢复能力 容灾 在Region/AZ/IDC或其他云站点发生灾难的情况下的恢复能力 监控告警 应用系统故障后的检测和告警能力 弹性扩缩容 应用容量不足时的自动恢复能力 变更防差错 变更对应用业务中断的影响 应急恢复处理 应用在故障情况下的应急恢复能力
可靠性功能 集群HA Kafka实例通过副本冗余方式实现实例容灾，当检测到leader副本故障后，快速完成副本选主，保障Kafka实例持续提供服务。 RabbitMQ集群提供镜像队列，通过镜像在其他节点同步数据。单节点宕机时，仍可通过唯一的访问地址对外提供服务。 RocketMQ
应用层进行过载保护，保障优先业务的运行。 OBS对象上传/下载失败 检测：对象上传/下载失败。 恢复： 应用层进行重试，以应对暂时性故障，如网络拥塞；应用故障重试处理可参考“故障重试”。 当OBS桶由于过载导致网络限制时，可参考“OBS桶流量过载”的处理。 OBS桶内数据被误删 检测：NA 恢复：针对OBS桶启用多
常见故障模式 CPU /内存/磁盘/带宽使用率过高 检测：通过CES监控CPU /内存/磁盘/带宽使用率。 恢复： 当CPU/内存使用高时，可根据业务情况，手工修改代理规格或增加代理数量以扩展资源。 当磁盘使用率高时，可根据业务情况，修改实例存储空间支持更大存储空间。 当带宽使用
数使用率过高 检测：通过CES监控CPU /内存/磁盘容量/磁盘IOPS/数据库连接数使用率。 恢复： 根据业务情况，手工变更规格以扩展资源。 开启存储空间自动扩容，以便在磁盘容量不足时自动扩容。 应用层进行过载保护，保障优先业务的运行。 连接后端RDS失败 检测：连接失败。 恢复：
可靠性功能 数据持久性 OBS通过存储介质的慢盘/坏道检测、AZ内设备和数据冗余、AZ之间数据容灾、跨区域复制等技术方案，提供针对介质、服务器、机柜、数据中心和区域的多级可靠性保障。其数据持久性高达99.9999999999%（12个9），可用性高达99.995%，远高于传统架构。详见“OBS的持久性和可用性如何
应用程序的性能数据（吞吐量、延迟和完成时间），通常需要通过代码采集，例如嵌入代码片段或将工具集成到应用程序代码中。通过应用的性能数据，可以识别性能瓶颈、评估系统行为、识别可用性风险、规划容量等指标。 常用应用性能监控策略有： APM 工具：可用使用云上APM 工具或者开源的APM工具和分析性能数据（指标、日志、调研链）
常见故障模式 GaussDB(for MySQL)的CPU /内存/磁盘容量/磁盘IOPS/数据库连接数使用率过高 检测：通过CES监控CPU /内存/磁盘容量/磁盘IOPS/数据库连接数使用率。 恢复： 根据业务情况，手工变更规格以扩展资源。 开启自动扩缩容，以便在过载时自动扩容规格和/或只读节点。
的运维流程有： 变更管理流程：适用于生产环境软、硬件的变更活动管理，减少变更导致服务意外中断或服务质量下降，确保企业的环境安全、稳定地运行，并最大化的提升系统的可用性，满足所承诺的服务水平。 告警和事件管理流程：适用于开发，生产环境故障等事件的受理、处理、升级流程，确保用户的业务
移能力。当弹性云服务器所在的硬件出现故障时，系统会自动将弹性云服务器迁移至正常的物理机，保障业务受到的影响最小，该过程会导致云服务器重启。详见“物理机故障时，弹性云服务器是否会自动恢复”。 当检测到弹性云服务所在的硬件出现亚健康时，系统会自动化将弹性云服务器热迁移到其他物理服务器
的运行状况及性能。提供有关与 DNS、数据库或第三方 API 等依赖项相关的可访问性、超时及其他关键事件的高价值指标采集。当对应用程序进行检测，以发布有关这些依赖项的指标、日志和跟踪时，就能更清楚地了解可能影响工作负载的潜在瓶颈、性能问题或故障。 父主题： OPS06 可观测性体系
存放的是文件，会以文件和文件夹的层次结构来整理和呈现数据。 存放的是对象，可以直接存放文件，文件会自动产生对应的系统元数据，用户也可以自定义文件的元数据。 存放的是二进制数据，无法直接存放文件，如果需要存放文件，需要先格式化文件系统后使用。 访问方式 在ECS/BMS中通过网络协议挂载使用，支持NFS和CIFS
OPS04-03 基础设施即代码 基础设施即代码（IaC）是指使用代码而不是手动流程来管控基础设施的能力。 应用程序环境都需要许多基础设施组件，例如操作系统、数据库连接和存储。 开发人员必须定期设置、更新和维护基础设施，以开发、测试和部署应用程序。 手动管理基础设施既耗时又容易出错，尤其是在大规模管理应用程序时。
编码了流经分布式系统的端到端请求流。 风险等级 高 关键策略 当系统出现问题时，需要能够追踪系统中每个组件的行为和交互情况。通过在系统中实现分布式跟踪，可以快速定位问题并进行有效的故障排除。 设计建议 链路跟踪可以通过在系统中添加跟踪标识符来实现。当请求进入系统时，标识符将被添加
根据“常见IT系统SLO示意”中的表格可以得知，不同的IT系统，SLO目标是存在差异的，不是所有的应用系统都需要达到最高可用性要求。 当系统可用性目标要求升高时，所需的成本也通常会增加，因此在可用性目标制定时，需要对韧性与成本进行权衡，确定真正的可用性需求。 在系统的可用性目标明
备份有： 云备份CBR服务：CBR提供对磁盘（EVS）、服务器（ECS、HECS、BMS）基于快照的备份和恢复能力，SFS Turbo文件系统备份，云服务器部署的MySQL或SAP HANA等数据库备份，以及云上同步和管理线下备份软件OceanStor BCManager和VMw
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
