检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
RES14-01 变更防呆检查 防呆是一种预防矫正的行为约束手段，运用防止错误发生的限制方法，让操作者不需要花费注意力、也不需要经验与专业知识，凭借直觉即可准确无误地完成的操作。 风险等级 高 关键策略 通过以下约束和检查，可减少配置差错： 角色约束：通过权限控制设计预防对不同角
变更防差错 在系统的运行过程中，配置变更是导致生产系统不可用的重要风险之一，如配置修改、工作负载手工增缩或补丁安装等。当变更失败时，可能会导致性能下降或业务中断等严重的问题。因此为了降低变更带来的业务风险，需要为工作负载或其环境的更改做好准备，实现工作负载的可靠操作。 变更操作属
设计建议 变更风控衡量指标：变更风控衡量指标为变更导致事件密度和变更引入重大事件数。 变更导致事件密度定义：每月变更导致对客户造成影响的事件数与总变更数的比值。 计算公式：变更导致事件密度=变更导致对客户造成影响的事件数/总变更数。 变更引入重大事件数定义：每月变更引入对客户产生重大影响的事件次数。
RES15-04 灰度部署和升级 原地升级和回滚时，升级和回滚过程中业务将会中断，中断时长受限于升级和回滚的时长，对业务影响比较大；而采用灰度部署和升级，可减少升级和回滚过程中的业务中断，提升系统可用性。 风险等级 高 关键策略 通过金丝雀部署、蓝绿部署等方式实现灰度升级或部署，逐步引入新
性能消耗。 优先级保障：系统过载时保证高优先级的业务能够优先获得资源，优先得到处理，从而保证社会效益最大化。 变更防差错 当对系统进行升级部署、配置变更时，需要防止变更过程中由于人因差错导致系统和业务受损或失效。 通常采用防呆的方式来减少人因差错。防呆是一种预防矫正的行为约束手段
的形式展示指标源、日志源以及系统图表信息。主要关注：WAITING 状态线程数、TIMED_WAITING 状态线程数、可使用内存等指标 进程监控 进程监控是针对主机内活跃进程进行的监控，默认采集活跃进程消耗的 CPU、内存，以及打开的文件数量等信息。当您配置了自定义进程监控，还
TaurusDB长事务产生大量临时表导致内存超限的解决实践 考虑升级实例规格，将内存利用率维持在合理范围，防止业务突增导致实例OOM，或根据业务实际情况优化慢查询。 11.云数据库 TaurusDB联合索引设置不当导致慢SQL的解决实践 查询变慢首先确认是否由于CPU利用率达到性能瓶颈导致执行慢，考虑升级资源规格
提供runbook进行标准化变更 runbook是指运行手册，是用来实现变更的详细操作过程。 变更前需提供标准化runbook用于变更和回退，变更过程中严格按照runbook执行，在变更失败时根据runbook进行回退。 风险等级 高 关键策略 runbook需涵盖变更前检查、变更操作、变更后检查及变更失败回退操作。
系统组网、硬件规格等要保持与生产环境基本一致。 性能测试环境配置通常要考虑以下因素： 系统组网与架构：系统组网方式如主备、集群、分布式等组网，系统架构分析服务间依赖关系，确定周边依赖服务。 硬件规格：所需服务器的数量、规格以及硬件配置，包括 CPU 主频/核数、内存容量、磁盘类型与容量、存储池类型与容量，网卡带宽等。
合理选择规格 如果业务增长会带来Redis请求增长，请选择集群实例（Proxy集群和Cluster集群） 强制 单机和主备扩容只能实现内存、带宽的扩容，无法实现计算性能扩容。 生产实例需要选择主备或者集群实例，不能选用单机实例 强制 - 主备实例，不建议使用过大的规格。 建议
针对具体故障进行检测时，根据检测的类型通常可以分为资源检测、功能检测和业务检测。 资源检测：云环境中一般指虚拟化后的物理硬件资源及其对应的软件资源，具体包含CPU、内存、网络和磁盘资源等。 功能检测：对组成产品系统的各个内部模块对象进行检测的过程，确定模块功能是否满足设计的需求。当产品系统的功能发生故障时
ECS弹性云服务器 弹性云服务器（Elastic Cloud Server，ECS）是由CPU、内存、操作系统、云硬盘组成的基础的计算组件。弹性云服务器创建成功后，就可以像使用自己的本地PC或物理服务器一样，在云上使用弹性云服务器。 可靠性功能 常见故障模式 父主题： 云服务可靠性介绍
DCS分布式缓存服务 分布式缓存服务（Distributed Cache Service，简称DCS）是华为云提供的一款兼容Redis的高速内存数据处理引擎，可提供即开即用、安全可靠、弹性扩容、便捷管理的在线分布式缓存能力，满足用户高并发及数据快速访问的业务诉求。 可靠性功能 常见故障模式
户。对审计日志进行保护并定期备份，避免受到未预期的删除、修改或覆盖。 风险等级 高 关键策略 云服务的关键操作包含高危操作（如创建IAM用户、删除IAM用户、重启虚拟机、变更安全配置等）、成本敏感操作（创建、删除高价资源等）、业务敏感操作（网络配置变更等）。 启用关键操作通知功能
数据层：MySQL数据库跨可用区高可用，通过DRS数据复制服务实现跨Region的双向数据库复制与容灾切换；并支持定期自动数据备份，在数据丢失时能快速恢复。OBS对象存储服务同样支持跨Region的双向复制能力。 为了保证数据的可靠性，RDS for MySQL、DDS数据库的数据定期自动备份。 父主题： 参考架构
、优化资源分配等，找到性能优化方向。 性能监控对象：服务器、操作系统、数据库、应用程序、网络设备、云服务。 常见性能指标：包括资源CPU、内存，硬盘等，及程序的响应时间、吞吐量、并发数等。 父主题： 建立性能可观测性体系
CPU核均负载 该指标为从Kafka节点虚拟机层面采集的CPU每个核的平均负载。 broker_memory_usage 内存使用率 该指标为Kafka节点虚拟机层面采集的内存使用率。 broker_cpu_usage CPU使用率 统计Kafka节点虚拟机的CPU使用率。 group_msgs
类别 实施方案 冗余 ELB、CCE、DCS、Kafka、GaussDB、DDS等云服务实例均高可用部署。 备份 GaussDB、DDS数据库自动备份，在数据故障时使用最新备份数据恢复，可以满足可用性目标要求。 容灾 应用跨3AZ部署，AZ故障时自动恢复。 监控告警 支持业务运行状
pReduce/Spark/HDFS）。下面列举目前可查看到的相关指标信息： 通用指标 主要是指通用的服务器的相关性能指标：CPU使用率，内存占用量，磁盘IO读写速度，使用Core数量等，通过这些指标可以衡量任务在该类型机器或该机器上的执行情况，观察集群各机器的通用指标，可以看到集群的负载是否均衡。
OPS05 运维准备和变更管理 OPS05-01 进行生产准备度评审（Product Readiness Review） OPS05-02 进行变更风控 OPS05-03 定义变更流程 父主题： 卓越运营支柱
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
