华为云用户手册

故障快速恢复 故障恢复指恢复产品执行规定功能的能力，一般情况下恢复越快影响越小。 结合业务情况，综合考虑技术实现难度、技术方案复杂度、成本等设计合适的故障恢复方案： 自动恢复：对于影响业务的故障，系统应尽可能自动恢复自愈，如保护倒换、局部复位或系统服务等。 优先恢复：优先对故障发生概率高、故障影响大的故障进行恢复。 分级复位：提供分级复位设计，尽可能在更小级别进行复位，以减少对业务的影响。 无耦合恢复：尽可能做到系统局部故障或各部件启动顺序不影响系统成功启动。 分层保护：系统故障保护要考虑网络分层，下层的故障保护倒换要比上层灵敏，防止系统出现乒乓倒换。 通过检测系统运行状态，或监控系统载关键指标，来判断系统是否发生故障，并针对故障可进行自动恢复处理。 可以通过故障分析方法分析各种故障模式、影响及危害，设计对应的可靠可用方案，提供冗余、隔离、降级、弹性等能力；并通过故障注入测试（FIT）验证可靠可用方案的有效性，最大程度提高业务的可靠性和可用性。 对于某些故障，即使通过各种技术手段进行冗余和自动恢复处理，但仍会导致业务中断，需要人工干预，如备份恢复或灾难恢复处理，因此需要建立高效的故障应急恢复处理流程和平台，以便在故障发生时，能快速恢复业务，减少故障影响。

PERF04-02 选择合适的测试方式 风险等级 高 关键策略 性能测试的常见方式如下，需要注意的是，各种测试方式并不是正交的，而是有耦合关系的： 性能验收：性能验收测试的运行环境必须是确定的，验证系统在确定的场景条件下是否达到了其宣称的能力规格。 负载测试：是在被测系统上进行负载阶梯加载，直至摸到系统性能极限，一般用来测试系统性能容量或调优。 压力测试：是检查系统处于超负载压力下的性能表现，可以考察系统的流控机制和极限场景下的性能。 长时间稳定性测试：该测试需要在负载压力下进行，是考察性能表现稳定性的重要手段，经常结合压力测试开展。 配置测试：通过对被测系统软硬件配置的调整以及业务模型调整，了解不同配置对系统性能的影响，从而找到系统资源的最优分配原则、不同业务模型的性能趋势。 并发测试：通常通过构造多用户或多任务并发的手段来暴露可能隐藏的进程死锁、资源泄露或其他性能问题。 相关云服务和工具 性能测试 CodeArts PerfTest 父主题： 性能测试

OPS01-02 规划标准化的运维组织 风险等级 高 关键策略 承载卓越运营，应该建立适应您实际的运维组织。运维组织的团队之间具有明确的流程，规定了团队之间的协作方式，例如规定不同团队的响应时间、服务级别目标（SLO) 或服务等级协议(SLA），同时应该记录团队间沟通信息，确保有足够的数据用于后续的改进。 例如一种运维组织设计是：将运维组织分为一线、二线和三线阶梯型运维支持团队，一线受理客户的服务请求，第一时间将大部分的服务请求闭环。二线处理一线升级的服务请求和监控发现的客户的问题，按照SLA完成闭环，涉及到软件版本缺陷类问题升级到三线进行解决，大部分时间处理告警、事件和故障的恢复，其余时间开展转维验收、应急预案与演练等主动运维活动，对现网的稳定性和可用性负责。三线聚焦解决软件版本缺陷问题。 此外也可以使用DevOps模式，由开发工程师直接运维系统，而保留一个小而精干的卓越运营使能团队，用于负责组织整体的卓越运营流程改进和相应的流程工具落地。 无论如何设立组织，应该确保具有一个整体的流程，在流程中的每个团队和成员都有自己明确的责任。 同时可以使用明确的方式（如收集运营/运维数据）分析团队工作对业务成果的影响，从而可以在实际工作中确定不同任务的优先级，并适时改进。 父主题： OPS01 建立持续改进的团队文化和标准化的运维体系

RES11-02 压力负载测试 通过施加超出系统容量的业务压力，验证云服务的过载保护、业务隔离和优雅降级等能力。为全面验证系统整体的容量规划和业务依赖，云服务应用通常采用全链路压测进行测试。 风险等级 高 关键策略 模拟大量接口消息进行压力测试。 模拟各种业务场景进行压力测试。 持续自动测试。 性能发生偏差时自动告警，以便及时定位和处理。 相关云服务和工具 性能测试 CodeArts PerfTest：针对HTTP/HTTPS/TCP/UDP/HLS/RTMP/ WEBSOCKET/HTTP-FLV等协议构建的云应用提供性能测试的服务，其支持快速模拟大规模并发用户的业务高峰场景，通过自定义报文内容、时序、多事务组合等复杂场景，帮助用户测试验证业务高峰下的服务表现。 父主题： RES11 可靠性测试

RES08-03 减少被依赖项故障的影响 被依赖项自身的可用性需要增强，以减少对依赖它的组件的影响。 风险等级 中 关键策略 对于被依赖项本身，为减少由于服务故障或运行缓慢对依赖它的组件的影响，需要考虑使用以下技术和原则： 减少被依赖项本身的外部依赖。 优化性能，减少消息响应时延和负载。 使用优先队列，优先处理高优先级用户的请求，以便在流量过载时不影响应用系统的核心功能。 流量过载时支持功能逐步降级。 被依赖项本身的功能受损时，提供缺省处理，以便应用系统仍可继续正常运行；由于缺省处理可能与实际配置有差异，此时需要告警以便通知系统管理员解决问题。 父主题： RES08 依赖减少与降级

SEC08-03 数据主体的选择和同意 数据主体的选择和同意是指在个人数据被收集、处理或使用之前，数据处理者需要获得数据主体（个人）的明确同意，并且数据主体有权选择是否同意其个人数据被处理的过程。 风险等级 高 关键策略 收集或使用个人数据前，须明确提示用户，并获得用户的同意，并且允许用户随时关闭对个人数据的收集和使用。 从数据主体系统中传出包含个人数据的错误报告之前，必须提供机制告知数据主体，并获得其同意。 若需要将个人数据用于营销、用户画像、市场调查，数据控制者和设备供应者必须提供机制单独获取数据主体明示同意，并提供随时撤销同意的机制。 设置或读取在数据主体系统上的Cookie前（如用于营销或广告），应提供获取数据主体同意及撤销的机制。 修改用户个人空间的行为（如系统或应用配置变更、下载软件、对用户系统或软件升级），须得到用户的同意。 对未成年人提供服务或收集了包含年龄信息的个人信息时，需要实现从未成年人的监护人处获取同意的功能。 数据控制者应提供对用户的同意和撤销同意行为进行记录的机制。 父主题： SEC08 数据隐私保护

应用性能管理 ( APM ) 华为云应用性能管理服务（Application Performance Management，简称APM）帮助运维人员快速发现应用的性能瓶颈，以及故障根源的快速定位，为用户体验保驾护航。 您无需修改代码，只需为应用安装一个APM Agent，就能够对该应用进行全方位监控，帮助您快速定位出错接口和慢接口、重现调用参数、发现系统瓶颈，从而大幅提升线上问题诊断的效率。目前支持JAVA、Python、Node.js、Go、Php和.Net应用，具体的应用监控能力概览如下表。 父主题： 卓越运营云服务介绍

SEC02-03 网络访问权限最小化 确保只有必要的人员或组件可以访问特定的网络资源。 风险等级 高 关键策略 通过配置安全组和网络访问控制列表（ACL），控制进出云资源的网络流量，确保只有授权的流量能够访问特定的服务和端口。根据业务实际情况优化每个网络区域的ACL，并保证访问控制规则数量最小化。 避免暴露多余的公网IP，同时不应对外开放或未最小化开放高危端口、远程管理端口。 安全组仅开放业务所需的网段及端口，禁止设置成对所有IP(0.0.0.0/0)都可访问。 相关云服务和工具 虚拟私有云 VPC NAT网关 NAT 安全云脑 SecMaster：云服务基线核查 父主题： SEC04 网络安全

PERF03-05 选择合适类型的存储云服务 风险等级 中 关键策略 在架构设计过程中，根据业务场景、数据特征等因素，选择相应的存储服务。目前可供您选择的有三种数据存储服务，分别是云硬盘、弹性文件服务（Scalable File Service, SFS）以及 对象存储服务 （Object Storage Service, OBS），这三种数据存储的主要区别如下： 对比维度 弹性文件服务 对象存储服务 云硬盘 概念 提供按需扩展的高性能文件存储，可为云上多个云服务器提供共享访问。弹性文件服务就类似Windows或Linux中的远程目录。 提供海量、安全、高可靠、低成本的数据存储能力，可供用户存储任意类型和大小的数据。 可以为云服务器提供高可靠、高性能、规格丰富并且可弹性扩展的块存储服务，可满足不同场景的业务需求。云硬盘就类似PC中的硬盘。 存储数据的逻辑 存放的是文件，会以文件和文件夹的层次结构来整理和呈现数据。 存放的是对象，可以直接存放文件，文件会自动产生对应的系统元数据，用户也可以自定义文件的元数据。 存放的是二进制数据，无法直接存放文件，如果需要存放文件，需要先格式化文件系统后使用。 访问方式 在E CS /BMS中通过网络协议挂载使用，支持NFS和CIFS的网络协议。需要指定网络地址进行访问，也可以将网络地址映射为本地目录后进行访问。 可以通过互联网或专线访问。需要指定桶地址进行访问，使用的是HTTP和HTTPS等传输协议。 只能在ECS/BMS中挂载使用，不能被操作系统应用直接访问，需要格式化成文件系统进行访问。 使用场景 如高性能计算、 媒体处理 、文件共享和内容管理和Web服务等。 说明： 高性能计算：主要是高带宽的需求，用于共享文件存储，比如基因测序、图片渲染这些。 如大数据分析、静态网站托管、在线 视频点播 、基因测序和智能视频监控等。 如高性能计算、企业核心集群应用、企业应用系统和开发测试等。 说明： 高性能计算：主要是高速率、高IOPS的需求，用于作为高性能存储，比如工业设计、能源勘探这些。 容量 PiB级别 EiB级别 TiB级别 时延 3~10ms 10ms 亚毫秒级 IOPS/TPS 单文件系统 10K 千万级 单盘 128K 带宽 GiB/s级别 TiB/s级别 MiB/s级别 是否支持数据共享 是 是 是 是否支持远程访问 是 是 否 是否能单独使用 是 是 否 云服务链接 SFS官网 OBS官网 EVS官网 父主题： 选择合适的存储云服务

SEC03-02 按需分配合适的权限 权限管理应遵循按需分配、最小授权、职责分离原则。需要根据工作职责限定人员对于关键业务系统的访问权限，以免非必要人员或非授权人员访问到关键系统和敏感数据。如需要临时权限，应仅向用户授予有限的时间段内执行特定任务的权限，并且在任务完成后，应撤销访问权限。 风险等级 高 关键策略 按照IT工作职能划分用户组，将用户加入到与其匹配的用户组中。用户组是 IAM 用户的集合，IAM可以通过用户组功能实现用户的授权。 优先基于用户组授权，而不是基于用户授权。 “admin”为系统缺省提供的管理员用户组，具有所有云服务资源的操作权限。避免将所有用户都加入admin用户组。 遵循最小权限原则，仅授予用户组必要的最小权限，如某些用户组只能访问特定的云服务或者某些用户组仅有云服务资源的只读权限。 避免IAM自定义策略中包含“*:*”管理权限。 如果使用了企业项目，优先在企业项目中对用户组进行授权。如果需要针对账号内所有区域或特定区域内的所有资源进行统一授权，如将账号内所有企业项目的所有资源的访问权限授予统一资源管理组，则可以使用IAM项目进行授权，避免在各个企业项目中逐一授权，简化授权操作。 相关云服务和工具 统一身份认证 服务 IAM 企业项目 EPS 云堡垒机CBH ：使用CBH限制对运维账号的使用和访问。CBH可用于集中管控运维账号访问系统和资源的权限，对系统和资源的访问权限进行细粒度设置。 组织 Organizations：多账号场景使用Organizations云服务的服务控制策略（SCP）。组织管理账号可以使用SCP指定组织中成员账号的权限边界，限制账号内用户的操作。服务控制策略可以关联到组织、组织单元和成员账号。当服务控制策略关联到组织或组织单元时，该组织或组织单元下所有账号受到该策略影响。 父主题： SEC03 权限管理

安全性支柱简介 华为将安全及隐私保护作为公司的最高纲领。安全性支柱旨在确保业务的安全、可信、合规，通过一系列华为云架构的最佳实践保护工作负载免受各种安全威胁，降低安全风险。安全性支柱涉及保护云上系统、资产、数据的机密性、完整性、可用性以及合法、合规使用数据，保护用户隐私的一系列最佳实践。 安全性是现代应用程序的重要维度，需要成体系地考虑工作负载的安全。华为 云安全 性支柱的设计框架如下图所示： 父主题： 概述

OPS08-02 进行事故复盘和改进 事故分析的目的是：规范和指导重大事故发生后，优化事故的输入、输出，确保事故回溯工作有效开展，回溯报告中发现的问题有效整改，总结的经验有效推广。 风险等级 高 关键策略 故障发生后，通过对现网重大故障处理过程 Review 及根因进行分析和改进总结，规范整个恢复过程，实现对可用性和技术能力的提升。故障复盘的技术过程按照 RASA 法、Review（回顾）、Analyze（分析）、Summary（总结）、Action（行动）。 Review（回顾）：完整记录故障的发生、发现、根因定位、决策、处理、预案执行、回滚、故障解决等的关键人与关键时间点，保证信息尽可能的客观、准确。 Analyze（分析）：分析故障的根本原因及故障处理过程中优化点。 Summary（总结）：总结本次故障及处理故障的过程。进行故障定性、故障定责及总结本次故障带来的经验教训并举一反三。 Action（行动）：确定上面分析总结的结论，进行改进、优化及落地实施。 父主题： OPS08 度量运营状态和持续改进

成本优化云服务介绍 成本中心是华为云免费向用户提供的 云财务管理 服务，可帮助您收集华为云成本和使用量的相关信息、探索和分析华为云成本使用情况、监控和跟踪华为云成本，及时了解云支出的趋势和动因，减少异常支出，持续成本优化。 费用中心为您提供财务信息、发票、合同、续费、退订和变更等服务，有助于更好的了解您的消费信息。同时费用中心还提供余额预警、资源包预警等服务，可以帮助您及时了解支出情况， 管控支出。 企业中心面向大型企业，提供多账号环境下的财务管理服务，帮助企业以多层级组织的方式管理人、财、物，满足企业IT治理诉求。支持财务托管和财务独立两种多账号财务关联模式。理 企业项目管理 EPS为客户提供单账号下的人财物权管理，用户可以根据组织架构规划企业项目，将企业分布在不同区域的资源按照企业项目进行统一管理，同时可以为每个企业项目设置拥有不同权限的用户组和用户。 标签管理TMS是一种快速便捷将标签集中管理的可视化服务，提供跨区域、跨服务的集中标签管理和资源分类功能。 优化顾问结合华为云最佳实践与用户的配置和使用情况进行分析，为客户提供包括可靠性、安全、性能、成本等维度的自助检查与优化建议，从而帮助客户实现高效运营与成本节约。 父主题： 成本优化支柱

通过 AOM 助力系统运维能力提升，降低运维成本与难度 某平台服务的认证驾驶员用户1000万人，货主用户500万人，集团业务覆盖全国339个主要城市，覆盖线路数量超过11万条，实现了全国多中心运营的架构。 客户痛点： 多云双活场景运维难保障：大规模集群场景，单个云厂商灾备不足以保障业务，需引入双活并行，故障零切换，过程中，客户自建运维平台能力较为欠缺，不足以满足运维需要 无法采集云服务指标信息：客户自建运维体系无法采集到云服务等场景的指标信息，不能满足大屏展示需要 告警通知能力不足：自建运维平台告警通知能力不能完全满足多场景通知的需要，且没有告警降噪能力 解决方案： 业务价值： 降低了运维成本与难度：降低了运维多套系统的难度，减少了客户运维起步的资源投入，降低了运维成本 运营分析能力提升：基于可视化图表和开箱即用的仪表盘等强大功能，快速实现对业务的运营分析 排障能力提升：云端多维度监控实现对业务立体运维，结合自动告警规则达到对故障的快速感知定位处理 父主题： 参考案例

RES08-01 减少强依赖项 系统内组件之间强依赖时，一个组件故障会对其他组件造成直接影响，影响系统可用性。 风险等级 中 关键策略 可以通过以下技术将强依赖项转换为非强依赖项： 提高关键依赖项的冗余级别，降低该关键组件不可用的可能性。 与依赖项的通信采用异步消息并支持超时重试，或发布/订阅消息功能将请求与响应分离，以便依赖项从短时故障中恢复。 依赖项长时间无法访问时，应用程序应能继续执行其核心功能，以便将局部故障对整体系统功能的影响减到最小。如所依赖的数据丢失时，应用程序仍能运行，但可以提供稍微陈旧的数据、替代数据，甚至没有数据，应用仍处于可预测和可恢复的状态。 避免启动依赖及循环依赖。若应用系统由于某些原因导致重启时，若依赖于其他依赖项启动或加载关键配置数据，可能会导致应用系统长时间停在启动状态而无法响应外部消息。针对这种情况，应用系统应该先使用缺省配置启动，再检查依赖项的状态或加载最新配置数据，以恢复正常运行。 父主题： RES08 依赖减少与降级

性能测试 性能测试是一种软件测试形式，通过性能测试工具模拟正常、峰值及异常负载等状态下对系统的各项性能指标进行测试的活动，它关注运行系统在特定负载下的性能，可帮助你评估系统负载在各种方案中的功能，涉及系统在负载下的响应时间、吞吐量、资源利用率和稳定性，以帮助确保系统性能满足基线要求，有助于提早发现性能问题，防止随着系统运行可能出现的性能裂化小于基线的情况。以下内容将带领大家了解性能测试。 PERF04-01 定义验收标准 PERF04-02 选择合适的测试方式 PERF04-03 性能测试步骤 父主题： PERF04 性能分析

基础概念 名称 名词解释 确定性运维 确定性运维旨在构建可防、可控、可治的运维管理体系。首先是通过高质量的产品开发，严谨的运维流程和制度来降低故障的概率，要挑战零故障，同时也要有技术手段对可能发生的故障，将间隔、影响范围及故障恢复时间做到可防、可控、可治，要把数字化带来的“不确定性”通过运维变成“确定性”。 IaC 基础设施即代码 基础设施即代码（IaC）是指使用代码而不是手动流程和设置来配置和支持基础设施的能力。任何应用程序环境都需要许多基础设施组件，例如操作系统、数据库连接和存储。 开发人员必须定期设置、更新和维护基础设施，以开发、测试和部署应用程序。 手动管理基础设施既耗时又容易出错，尤其是在大规模管理应用程序时。 CI/CD 持续集成/持续交付 持续集成是一种编码理念和一套实践，它促使开发团队频繁地实施小的代码更改并将其签入版本控制存储库。大多数现代应用程序都需要使用各种平台和工具来开发代码，因此团队需要一种一致的机制来集成和验证更改。持续集成建立了一种自动化的方式来构建、打包和测试他们的应用程序。拥有一致的集成流程可以鼓励开发人员更频繁地提交代码更改，从而实现更好的协作和代码质量。 持续交付从持续集成结束的地方开始，并自动将应用程序交付到选定的环境，包括生产、开发和测试环境。持续交付是一种将代码更改推送到这些环境的自动化方式。 Telemetering 遥测 遥测是对被测量对象的参数进行远距离测量的一种技术。是将对象参数的近距离测量值传输至远距离的测量站来实现远距离测量的技术，并把测得结果传送到接收地点进行记录、显示和处理的活动。 CMDB 配置管理数据库（configuration management database）简称CMDB，是信息技术基础架构库（ITIL）用语，是组织用来储存软体硬体资产（常称为形态项目，CI）资讯的数据库。用CMDB来追踪资产（例如产品、系统、软体、设备、人员）的状态，例如这些资产在特定的时间点是否存在，以及各资产之间的关系，并通过公开的接口支持IT管理各种业务数据消费。 MTTR MTTR（Mean Time to Repair）平均恢复时长，平均修复时间指从故障发生到验证确认故障恢复的耗时。MTTR 分为三个维度：MTTI（Mean Time To Identify）平均发现时长、MTTK（Mean Time to Know）平均诊断时长、MTTF（Mean Time to Fix）平均修复时长 变更风险控制 在变更作业过程中，建立事前检查、事中拦截和事后验证的能力，防止异常行为。 安全生产 安全生产目的是为了持续保障现网“安全、稳定、高质量”，从人员、工具、产品能力、流程规范等方面在安全预防、过程监控、结果稽查等维度进行端到端管理，减少或防止现网故障的发生，其中如何防止异常行为导致的事件是安全生产的重要目标。 故障快速恢复 故障快恢是以故障模式库为基础，建立应急预案，提升故障恢复效率、降低故障恢复时长，结合混沌工程演练把不确定的恢复时长做到确定的。 资源生命周期管理 指的资源的申请、创建、交付、运维以及最终的销毁释放过程。 故障演练 故障演练指通过沉淀通用的故障场景和可控成本在线上故障重放，以持续性的演练和回归方式的运营来暴露问题，不断验证和推动系统、工具、流程、人员能力的提升，从而提前发现并修复可避免的重大问题，或通过验证故障发现手段、故障修复能力来达到缩短故障修复时长的作用。 运维托管 运维托管服务是一种针对企业或组织的IT基础设施进行全面管理和维护的专业服务，旨在提高IT系统的可用性、可靠性和安全性。该服务涵盖了多个方面，包括系统监控、故障排除、系统优化、安全防护等。 父主题： 卓越运营支柱

SEC10-01 建立安全响应团队 建立安全事件响应团队，明确各角色与职责。 风险等级 高 关键策略 安全事件响应团队一般包含如下角色及职责： 安全响应专家：主导网络安全事件调查，负责对事件进行定级、通报、攻击溯源以及确定影响范围，制定应急处置措施，推动服务控制风险。 攻击溯源专家：根据攻击的IOC信息进行溯源，追溯攻击者信息，攻击范围（无遗漏），攻击溯源图（攻击路径）和攻击溯源报告，确认攻击事件性质。 高级分析专家：漏洞分析及复现，恶意样本逆向分析，输出病毒查杀脚本。 服务安全响应专家：协助安全响应人员对事件进行调查分析，配合执行各类日志取证，提供业务架构、网络架构、业务日志等协助分析攻击源头，影响范围。实施应急处置措施，并覆盖安全产品。 父主题： SEC10 安全事件响应

跨Region容灾 RDS支持使用 数据复制服务 （Data Replication Service，简称DRS）创建灾备任务，当主实例所在区域发生突发性自然灾害等状况，主节点（Master）和备节点（Slave）均无法连接时，可将异地灾备实例切换为主实例，在应用端修改数据库链接地址后，即可快速恢复应用的业务访问。数据复制服务提供的实时灾备功能，可实现主实例和跨区域的灾备实例之间的单主灾备（详见“MySQL到MySQL单主灾备”）或双主灾备（详见“MySQL到MySQL双主灾备”）。

RES01-01 应用组件高可用部署 应用系统内的所有组件均需要高可用部署，避免单点故障。 风险等级 高 关键策略 应用系统内各组件需要根据其具体能力，采用不同的高可用部署方案： 使用原生高可用实例：当云服务既支持单节点资源，又支持主备或集群资源时，应用的关键节点应使用主备或集群资源，如CCE高可用集群、RDS主备实例、DDS集群、DCS主备或集群实例等。对于运行在CCE集群上的工作负载，也需要配置多个，以避免单个节点故障就导致业务中断。 单节点实例通过多实例实现高可用：当云服务只支持单节点发放，则需要应用层来实现多个节点之间的主备或负载均衡，如ECS实例，用户可以通过构建ELB+多ECS实例，来实现无状态业务在多实例之间的负载均衡和自动切换，或从应用层实现两个ECS实例的主备等。 硬件依赖实例从应用层实现高可用：当ECS使用本地硬盘、直通FPGA、直通IB网卡等物理服务器强相关的硬件资源时，当硬件故障时会导致ECS故障，且无法通过虚拟机HA功能自动恢复；针对此类问题，需要应用系统在设计时就必须要预料到偶发故障，尽可能避免使用，若必须用时需要从应用层来实现高可用，以便在所依赖的硬件故障时业务能快速恢复。 虚拟机HA：当ECS不依赖于特殊资源时，可以支持虚拟机故障自动恢复功能，在其所在物理服务器故障的情况下，可以自动在其他物理服务器上重启；对于部署在这种ECS中的工作负载，需要支持虚拟机重启后业务自动恢复的功能，并能容忍虚拟机HA期间业务处理性能短暂下降或中断。 对已部署的应用系统，改造为支持高可用能力的实施步骤： 确定应用系统的关键组件；所谓关键组件是指一旦故障，会导致整个应用系统或其中的关键功能受损。 针对关键组件，检查其高可用能力，即在其故障的情况下，是否能自动故障转移，进行业务恢复。 针对未支持高可用的关键组件，进行如下优化处理： 若云服务实例为单节点实例，如ECS，则通过申请多个实例承载相同业务，并利用ELB实现负载均衡和自动故障切换，或由应用层实现多实例的自动故障切换能力，来实现高可用。 对于不依赖于特殊资源的ECS，支持故障自动恢复功能，在ECS所在物理服务器故障的情况下可以自动在其他物理服务器上重启；对于部署在这种ECS中的工作负载，需要检查ECS重启后业务是否能自动恢复。 对于依赖特殊资源的ECS，如本地盘、直通FPGA卡、直通IB卡等，不支持故障自动恢复，针对此类ECS需要检查是否可以替换为不依赖于这些特殊资源的ECS，以提高ECS的可用性。 对于ECS、BMS、 MRS 等实例，在使用本地盘时，由于磁盘存在使用寿命上的限制，长时间使用后出现故障的概率会比较高，需要避免使用，而尽可能使用具有高可用能力的EVS磁盘；若必须使用时，则建议使用RAID提升本地盘的可用性，并从应用层实现高可用，以便在一个实例故障时，应用可以自动故障切换和恢复业务。 相关云服务和工具 弹性云服务器 ECS 裸金属服务器 BMS 弹性负载均衡 ELB 云容器引擎 CCE 文档数据库服务 DDS 分布式缓存服务 DCS MapReduce服务 MRS 父主题： RES01 冗余

云监控 中心( CES ) 云监控服务 为用户提供一个针对弹性云服务器、带宽等资源的立体化监控平台。使您全面了解云上的资源使用情况、业务的运行状况，并及时收到异常告警做出反应，保证业务顺畅运行。 云监控服务主要具有以下功能： 自动监控：云监控服务不需要开通，在创建弹性云服务器等资源后监控服务会自动启动，您可以直接到云监控服务查看该资源运行状态并设置告警规则。 主机监控：通过在弹性云服务或裸金属服务器中安装云监控服务Agent插件，用户可以实时采集ECS或BMS 1分钟级粒度的监控数据。已上线CPU、内存和磁盘等40余种监控指标。有关主机监控的更多信息，请参阅主机监控简介。 灵活配置告警规则：对监控指标设置告警规则时，支持对多个云服务资源同时添加告警规则。告警规则创建完成后，可随时修改告警规则，支持对告警规则进行启用、停止、删除等灵活操作。 实时通知：通过在告警规则中开启 消息通知 服务，当云服务的状态变化触发告警规则设置的阈值时，系统通过短信、邮件通知或发送消息至服务器地址等多种方式实时通知用户，让用户能够实时掌握云资源运行状态变化。 监控面板：为用户提供在一个监控面板跨服务、跨维度查看监控数据，将用户关注的重点服务监控指标集中呈现，既能满足您总览云服务的运行概况，又能满足排查故障时查看监控详情的需求。 OBS转储：云监控服务各监控指标的原始数据的保留周期为两天，超过保留周期后原始数据将不再保存。您可以在对象存储服务（Object Storage Service，以下简称OBS）创建存储桶，然后将原始数据同步保存至OBS，以保存更长时间。 资源分组：资源分组支持用户从业务角度集中管理其业务涉及到的弹性云服务器、云硬盘、弹性IP、带宽、数据库等资源。从而按业务来管理不同类型的资源、告警规则、告警记录，可以迅速提升运维效率。 站点监控：站点监控用于模拟真实用户对远端服务器的访问，从而探测远端服务器的可用性、连通性等问题。 日志监控：日志监控提供了针对日志内容的实时监控能力。通过云监控服务和 云日志 服务的结合，用户可以针对日志内容进行监控统计、设置告警规则等操作，降低用户监控日志的运维成本，简化用户使用监控日志的流程。 事件监控：事件监控提供了事件类型数据上报、查询和告警的功能。方便您将业务中的各类重要事件或对云资源的操作事件收集到云监控服务，并在事件发生时进行告警。 父主题： 卓越运营云服务介绍

RTO与RPO 灾难场景通常采用RTO和RPO目标定义： 恢复时间目标RTO：指灾难发生后应用不可用的最长时间。RTO决定了应用容灾整体架构，是采用数据备份，还是冷备、温备、热备。 恢复点目标RPO：指灾难发生后应用数据丢失的最大时间。RPO决定了数据备份频率或复制方式，是在线备份还是离线备份，是同步复制还是异步复制。 国家标准《信息系统灾难恢复规范》（GB/T 20988-2007）中灾难恢复等级与RTO/RPO的关系如下： 灾难恢复能力等级 能力要求 RTO RPO 1 基本支持：基本支持备份介质并场外存放 2天以上 1天至7天 2 备用场地支持：有备份场地，能调配所有资源 24小时以上 1天至7天 3 电子传输和设备支持：关键数据定时传送，备用网络部分就绪 12小时以上 数小时至1天 4 电子传输及完整设备支持：少量数据丢失，备用数据系统就绪，数据定时传送，备用网络就绪 数小时至2天 数小时至1天 5 实时数据传输及完整设备支持：数据丢失趋于0，备用数据系统就绪，远程数据复制，备用网络就绪 数分钟至2天 0至30分钟 6 数据零丢失和远程集群支持：数据零丢失，自动系统故障切换，远程磁盘镜像，备用网络active 数分钟 0 父主题： 可用性目标定义

Flink性能优化 概述 Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：高并发pipeline处理数据，时延毫秒级，且兼具可靠性。 集群服务部署架构 服务规模与业务容量参数配置 Flink作为流数据处理引擎，依赖内存和CPU。用户在规划规格时，应根据当前的业务容量和增长速度，规划合理的内存和CPU资源，特别需要关注以下几点： 根据自己的业务目标，规划CPU资源和内存资源。规划时，需要结合当前的数据分布情况，业务复杂度，设置JobManager的内存，TaskManager的数量，TaskManager的内存，每个TaskManager的slot数量，规划适当的CPU核数和内存大小。 在规划内存时，要预留一定量的内存空间作为操作系统的buffer cache，一般预留20%。 从HDFS中读入数据时，要考虑block解压缩后的数据膨胀。 规划一定的磁盘作为缓存空间，包括缓存数据与日志。 调优目标 Flink调优的目标是在不影响其他业务正常运行的前提下，高效的完成业务目标，通常为了达成该目标，一般需要最大限度利用集群的物理资源，如CPU、内存、磁盘IO，使其某一项达到瓶颈。 调优原则 提高CPU使用率同时减少额外性能开销。 提高内存使用率。 优化业务逻辑，减少计算量和IO操作。 性能调优常用方法-DataStream调优 配置内存：调整老年代和新生代的比值；开发Flink应用程序时，优化datastream的数据分区活分组操作。 设置并行度：用户可以根据实际的内存，CPU，数据以及应用程序逻辑的情况调整并行度参数。任务的并行度可以按优先级从高到低排列，由算子层次、执行环境层次、客户端层次、系统层次这四种层次指定。 配置进程参数：配置JobManager内存、TaskManager个数、TaskManager Slot数、TaskManager内存。 设计分区方法：可设置随机分区、rebalancing（round-robin partitioning，基于round-rebin对元素进行分区，使得每个分区负责均衡）、rescaling（以round-robin的形式将元素分区到下游操作的子集中）、广播分区（广播每个元素到所有分区）、自定义分区。 配置netty网络通信：可在客户端的“conf/flink-conf.yaml”配置文件中进行修改适配。 指标观测方法 性能衡量指标包含吞吐量、资源利用率、伸缩性。 吞吐量：在相同资源环境下，执行相同计算任务，查看任务的完成速度。 资源利用率：执行计算任务，查看在不同负载情况下，CPU、内存、网络的使用率。 伸缩性： − 横向扩容带来的性能提升曲线：增加资源，执行相同计算任务，查看性能提升比率。 − 增加系统负担带来的性能下降曲线：在相同资源环境下，增加计算负载，查看性能下降比率。 父主题： 大数据性能优化

OPS07-03 支持事件管理 风险等级 高 关键策略 事件(incidents)是需要干预的事情。当发生事故(incidents)时，通过流程来处理。如何与团队沟通活动的状态？谁负责响应处置？使用哪些工具来缓解该事件？这些都是流程中需要回答的问题，并需要获得可靠的响应过程。流程必须中心化，并且可供参与工作负载的任何人使用。如果没有wiki 或文档存储，可以使用源代码版本控制机制。 优先通过自动化响应事件，避免占用业务交付和创新的时间。首先构建一个可重复的流程来缓解问题，然后关注自动缓解或解决根本问题以提升效率。 华为云相关云服务和工具 云监控服务 CES 云运维中心 COC 父主题： OPS07 进行故障分析和管理

RES15-04 灰度部署和升级 原地升级和回滚时，升级和回滚过程中业务将会中断，中断时长受限于升级和回滚的时长，对业务影响比较大；而采用灰度部署和升级，可减少升级和回滚过程中的业务中断，提升系统可用性。 风险等级 高 关键策略 通过金丝雀部署、蓝绿部署等方式实现灰度升级或部署，逐步引入新版本部署范围或切换用户流量，配合自动回退以降低部署差错导致业务中断的风险。 金丝雀部署（灰度发布）是将少量客户引导到新版本的做法，通常在单个服务实例（Canary）上运行；当检查到任何行为更改或错误时，可以将Canary中的流量删除，并将用户发回到以前的版本。如果部署成功，则可以继续以期望的速度进行部署，同时监控更改以便发现错误，直到所有部署完成。 蓝绿部署与金丝雀部署类似，只是会并行部署一整套应用程序，形成两套生产环境：蓝环境和绿环境，蓝色是当前版本并拥有实时流量，绿色是包含更新代码的环境。当应用程序已经准备就绪，用户可以将所有流量都将路由到绿环境中，当出现问题时，可以快速将流量重新路由回蓝环境，进行故障恢复。 相关云服务和工具 部署 CodeArts Deploy：提供可视化、自动化部署能力，提供丰富的部署步骤，有助于用户制定标准的部署流程，降低部署成本，提升发布效率。 微服务引擎 CSE：支持灰度发布。 应用服务网格 ASM：支持灰度发布。 父主题： RES15 升级不中断业务

PERF03-02 选择合适规格的虚拟机和容器节点 风险等级 中 关键策略 服务器资源就类似一块块资源拼成的木桶，其最多能承载的业务需求取决于哪一块资源最先达到瓶颈。 不同应用对资源需求不同，例如： 功耗密集型业务（如高性能计算、人工智能、深度学习等场景）主要就是消耗计算维度的容量。 内存密集型业务（如大数据处理、图像/视频处理、游戏开发、数据库等场景）主要消耗内存和存储维度的容量。 存储密集型业务（如大型数据库、大数据分析、大规模文件存储、编译构建等场景）可能会比较消耗存储的带宽。 根据业务的特征选择合适的虚拟机类型和规格。具体的虚拟机类型规格请参考官方文档。 相关云服务和工具 弹性云服务器 ECS 裸金属服务器 BMS 父主题： 选择合适的计算资源

基本概念 名称 名词解释 FinOps FinOps 是 Finance 和 DevOps 的合成词，强调 IT、财务和业务团队必须协作，将财务责任引入云，并在速度、成本和性能之间做权衡时做出数据驱动的明智决策。 CFM 华为云云财务管理（Cloud Financial Management），参考FinOps流程实践，E2E构建云财务管理能力，旨在帮助客户提高云支出的透明度和可预测性，以更加准确、高效的方式分配、控制和优化云成本。

RES01-03 云服务器反亲和 应用内相同业务的ECS需要分散到多台物理服务器，避免运行到同一台物理服务器上，当发生这种情况时，可能会由于一台物理服务器故障而导致业务中断。 风险等级 高 关键策略 针对多个承载相同业务的ESC，需要配置主机组反亲和，从而可以将相同业务的ECS调度到不同物理服务器上，以避免由于单台物理服务器故障而导致所有业务不可用的场景。 若ECS通过AS进行弹性伸缩时，则需要AS配置云服务器组反亲和，以避免AS自动创建的ECS运行在同一个物理服务器上。 若CCE集群节点或节点池采用弹性 云服务器ECS 时，建议配置云服务器组反亲和，以避免CCE集群中的ECS节点运行在同一个物理服务器上。 相关云服务和工具 弹性云服务器 ECS：云服务器组 弹性伸缩服务 AS 云容器引擎 CCE 父主题： RES01 冗余

RES10-04 健康检查与自动隔离 对应用组件进行健康检查，当发现故障后进行主动隔离，避免故障扩散。 风险等级 高 关键策略 对系统内组件需要定期进行健康检查，以判断其状态是否正常。 对于异常组件，需要能支持自动隔离，避免对整体业务造成影响。 相关云服务和工具 弹性负载均衡器 ELB：支持健康检查，会定期向后端服务器发送请求以测试其运行状态，并根据健康检查来判断后端服务器是否可用，当判断为异常后就不会将流量分发给该异常后端服务器。 云容器引擎 CCE：支持容器健康检查，容器运行过程中，可根据用户需要，定时检查容器健康状况。若不配置健康检查，如果容器内应用程序异常，Pod将无法感知，也不会自动重启去恢复。最终导致虽然Pod状态显示正常，但Pod中的应用程序异常的情况。 父主题： RES10 故障隔离

SEC05-03 减少资源的攻击面 通过加固操作系统、减少未使用的组件和外部服务，以及使用工具加强云安全，减少资源的攻击面。 风险等级 高 关键策略 强化操作系统和减少组件：通过减少未使用的组件、库和外部服务，可以缩小系统在意外访问下的危险。这包括操作系统程序包、应用程序以及代码中的外部软件模块。 创建安全的虚拟机镜像或者容器镜像。 使用第三方工具进行安全性分析：使用第三方静态代码分析工具和依赖关系检查工具来识别常见的安全问题和漏洞，确保代码的安全性和合规性。 应用其他测试方法：除了工具的使用，还需要在应用程序级别进行测试，如使用模糊测试来查找和修复潜在的漏洞和错误。 相关云服务和工具 企业主机安全 HSS 父主题： SEC05 运行环境安全