检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark性能优化 概述 Spark是基于内存的分布式计算框架。在迭代计算的场景下，数据处理过程中的数据可以存储在内存中，提供了比MapReduce高10到100倍的计算能力。Spark可以使用HDFS作为底层存储，使用户能够快速地从MapReduce切换到Spark计算平台上去。
COST05-03 定期回顾和审核 风险等级 高 关键策略 为了让云上应用始终最具成本效益，推荐您定期对其进行回顾和审核，以了解是否有机会实施新的优化措施。 回顾和审核可以基于成本分配的原则，在应用级别执行，持续审核组织为每个云上应用付出的总体成本。
可以关注华为云新推出的云区域以及相关的服务，考虑多Region部署方案。 相关服务和工具 布局优化可以参考华为云不同Region的算力价格，尤其乌兰察布和贵阳等Region 父主题： COST08 进行架构优化
OPS05-03 定义变更流程 风险等级 高 关键策略 在建立标准的变更管理流程前，清晰明白变更各个流程的定义： 变更发起：在变更发起前，需明确变更内容与变更原因等信息。信息的明确可减轻变更评估人的工作量，同时明确变更的意义。变更信息包括： 基本信息：标题、时间、变更人、原因等。
OPS06-04 规范化应用日志 日志是随时间推移发生的不可变、记录时间戳的离散事件。系统需要记录关键事件和故障，以帮助诊断问题和解决故障。 风险等级 高 关键策略 对于一个系统来说，日志是非常重要的。它可以记录在系统中发生的一切，包括成功的操作、错误的操作、警告信息等等。因此，日志记录是可观测性设计中最基本的需求之一
相关云服务和工具 华为云大部分云服务支持创建多可用区实例，可实现在一个可用区故障时能自动快速切换，不影响实例对外提供服务，如ELB负载均衡、AS弹性伸缩、CCE容器集群、DCS实例、DMS消息服务、RDS数据库、GaussDB数据库等。 父主题： RES03 跨AZ容灾
相关云服务和工具 云运维中心 COC：支持混沌演练，为用户提供一站式的自动化演练能力，覆盖从风险识别、应急预案管理、故障注入到复盘改进的端到端的演练流程。 父主题： RES12 应急恢复处理
此外，华为云还提供了一些内嵌伸缩能力的云服务，对用户无感知或仅需简单配置： OBS、SFS、FunctionGraph等服务会根据请求量自动扩展业务处理能力，用户无感知。
RES14-01 变更防呆检查 防呆是一种预防矫正的行为约束手段，运用防止错误发生的限制方法，让操作者不需要花费注意力、也不需要经验与专业知识，凭借直觉即可准确无误地完成的操作。 风险等级 高 关键策略 通过以下约束和检查，可减少配置差错： 角色约束：通过权限控制设计预防对不同角色的配置范围进行约束
RES14-03 变更前数据备份 通过配置数据事前备份与恢复设计，确保在出现配置错误时能够快速恢复到正确的配置数据状态。 风险等级 高 关键策略 进行全量数据备份，以防变更过程中数据被破坏，影响业务。 异常回滚时，可使用备份数据进行恢复。 父主题： RES14 配置防差错
RES03-04 支持容灾管理 提供容灾管理功能，实现容灾状态及RPO监控，及异常场景下的业务切换。 风险等级 高 关键策略 实时监控容灾状态，了解容灾运行状态。 支持应用级数据校验，比较AZ间数据同步差异，监控及PO指标。 典型确定性故障场景下自动容灾或切换，无需人工接入，业务不受影响
RES11-04 灾难演练 通过容灾演练，可以验证灾备系统是否可用，且数据丢失时间以及恢复时间符合数据的RPO与RTO指标要求。 风险等级 高 关键策略 灾难演练着重测试服务跨AZ或跨Region故障转移能力，验证系统的容灾能力以及面对灾难时的应对能力，涉及到多个团队间配合，通常作为专项开展
相关云服务和工具 云运维中心 COC：支持应急预案管理。 父主题： RES12 应急恢复处理
常见故障模式 ELB的并发连接数/新建连接数/带宽使用率过高 检测：通过CES监控ELB的并发连接数/新建连接数/带宽使用率。 恢复： 根据业务情况，采用独享型负载均衡器，并手工调整ELB负载均衡器规格。 父主题： ELB弹性负载均衡
DISK_READ_BYTES_RATE、带外网络流入速率等指标 用户线下 组件监控 对用户的线下组件统一监控，主要支持：线下 Grafana 对接、线下自建 Prometheus 对接、业务监控、应用监控、线下 IDC 监控和线下中间件监控 网络性能 管理监控 功能：对客户端 - 网 - 边 - 云全链路网络进行监控
OPS06-05 实施依赖项遥测 风险等级 高 关键策略 依赖项遥测可以监控工作负载所依赖的外部服务和组件的运行状况及性能。提供有关与 DNS、数据库或第三方 API 等依赖项相关的可访问性、超时及其他关键事件的高价值指标采集。当对应用程序进行检测，以发布有关这些依赖项的指标、日志和跟踪时
RES01-03 云服务器反亲和 应用内相同业务的ECS需要分散到多台物理服务器，避免运行到同一台物理服务器上，当发生这种情况时，可能会由于一台物理服务器故障而导致业务中断。 风险等级 高 关键策略 针对多个承载相同业务的ECS，需要配置主机组反亲和，从而可以将相同业务的ECS调度到不同物理服务器上
RES15-02 自动化检查 在部署或升级过程中集成基本测试功能，实现自动化检查，无需人工参与。 风险等级 高 关键策略 在部署或升级过程中集成基本测试功能，在部署或升级完成后自动进行检查和测试，以验证新部署的代码功能是否正确。 在部署或升级过程中集成故障注入测试功能，在部署或升级完成后自动注入故障进行测试
RES15-04 灰度部署和升级 原地升级和回滚时，升级和回滚过程中业务将会中断，中断时长受限于升级和回滚的时长，对业务影响比较大；而采用灰度部署和升级，可减少升级和回滚过程中的业务中断，提升系统可用性。 风险等级 高 关键策略 通过金丝雀部署、蓝绿部署等方式实现灰度升级或部署，逐步引入新版本部署范围或切换用户流量
常见故障模式 ECS的CPU /内存/磁盘容量/磁盘IOPS使用率过高 检测：通过CES监控CPU/内存/磁盘容量/磁盘IOPS使用率。 恢复： 根据业务情况，手工变更规格以扩展资源或增加ECS实例进行负荷分担。 对于无状态业务，启动AS弹性伸缩，自动扩展资源。 应用层进行过载保护
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
