检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark性能优化 概述 Spark是基于内存的分布式计算框架。在迭代计算的场景下，数据处理过程中的数据可以存储在内存中，提供了比MapReduce高10到100倍的计算能力。Spark可以使用HDFS作为底层存储，使用户能够快速地从MapReduce切换到Spark计算平台上去
安全合规使用开源软件 SEC06-02 建立安全编码规范 SEC06-03 实行代码白盒检视 SEC06-04 应用安全配置 SEC06-05 执行渗透测试 父主题： 应用安全
全生命周期性能管理 全生命周期性能管理围绕需求、设计、开发、测试与编护完整的软件生周期展开，将性能活动内化到生命周期流程中，实现性能工作的常态化。 PERF01-01 全生命周期性能管理 父主题： PERF01 流程与规范
OPS01-02 规划标准化的运维组织 风险等级 高 关键策略 承载卓越运营，应该建立适应您实际的运维组织。运维组织的团队之间具有明确的流程，规定了团队之间的协作方式，例如规定不同团队的响应时间、服务级别目标（SLO) 或服务等级协议(SLA），同时应该记录团队间沟通信息，确保有足够的数据用于后续的改进。
过载控制 系统内组件资源有限，在遇到突发流量时可能会造成资源耗尽，而导致业务受损。 RES13 过载保护 父主题： 韧性支柱
参考架构 概述 内部工具或公测类应用典型部署架构（99%） 内部知识管理类应用典型部署架构（99.9%） 信息管理类应用典型部署架构（99.95%） 电商类应用典型部署架构（99.99%） 金融类核心应用典型部署架构（99.999%） 跨云场景典型部署架构（99.99%） 父主题：
e/Spark引擎的相关参数，主要是Job数量，Map数量，Reduce数量。 通用测试标准 Hive性能上业界主要是拿TPC-DS来跟同类型的产品或者自己的老版本进行对比。标准测试仅做为性能测试的一些参考。 指标观测方法 通用指标的观测 集群机器的CPU，内存，IO的使用情况可
理。上述参考架构中创建了两个OU，安全OU下面创建用于安全运营和日志审计的账号，基础设施OU下面创建用于网络运营、运维监控、公共服务和沙箱测试的账号。下表是这些IT职能账号的详细说明。 除了上述账号之外，每个组织有且仅有一个管理账号，管理账号不建议部署任何云资源，主要是做好以下管理工作：
更多参考文档 确定性运维白皮书 父主题： 卓越运营支柱
应用安全 SEC06 应用安全性 父主题： 安全性支柱
什么是应用韧性 应用韧性是应用系统在运行过程中面对各种异常场景，如基础设施故障（如数据库异常）、外部攻击（如网络DDoS攻击超出预定限额流量）、外部依赖故障（如依赖系统访问超时或不可用）、地域灾难（如大面积停电、洪水）等，仍能提供和维持可接受的服务水平的能力，对系统至关重要。 系统韧性设计主要涉及以下两个方面：
基本概念 概念表 什么是应用韧性 责任共担模式 可用性目标定义 可用性需求 父主题： 韧性支柱
故障全面检测 高可用性系统必须具有完善的故障检测能力，以确保能够快速发现那些可能导致故障的事件、显示正在发展的故障、激活的故障，以及潜在的故障的事件。在几乎所有情况下，故障检测能力都是故障恢复的前提。 RES06 故障检测 RES07 监控告警 父主题： 韧性支柱
基础概念 基本概念 名称 名词解释 FinOps FinOps 是 Finance 和 DevOps 的合成词，强调 IT、财务和业务团队必须协作，将财务责任引入云，并在速度、成本和性能之间做权衡时做出数据驱动的明智决策。 CFM 华为云云财务管理（Cloud Financial
工具：可用使用云上APM 工具或者开源的APM工具和分析性能数据（指标、日志、调研链） 使用基于日志调用链框架：这些框架具备日志生成、日志格式化、日志上下文关联分析登能力。 通过框架引入到代码库中，可以在运行时采集相关的性能数据。 自定义检测：仅当平台指标不足时，才建议开发人员可以添加自定义代码采集独有的性能指标。
足上云标准的服务，原则上不允许上线。 2）持续导入服务可服务性、运维需求基线，实现标准化、减少例外操作，帮助服务快速上云。 3）持续提升自动化验证能力，减少手工评估，提升产品的交付与运维效率。 相关云服务和工具 COC PRR评审 父主题： OPS05 运维准备和变更管理
变更防差错 在系统的运行过程中，配置变更是导致生产系统不可用的重要风险之一，如配置修改、工作负载手工增缩或补丁安装等。当变更失败时，可能会导致性能下降或业务中断等严重的问题。因此为了降低变更带来的业务风险，需要为工作负载或其环境的更改做好准备，实现工作负载的可靠操作。 变更操作属
参考案例 通过AOM助力系统运维能力提升，降低运维成本与难度 基于LTS采集多类端侧日志，问题全链路追踪分析和业务运营分析 LTS助力某公司高效完成日常业务运维与等保合规 父主题： 卓越运营支柱
云监控中心(CES) 云监控服务为用户提供一个针对弹性云服务器、带宽等资源的立体化监控平台。使您全面了解云上的资源使用情况、业务的运行状况，并及时收到异常告警做出反应，保证业务顺畅运行。 云监控服务主要具有以下功能： 自动监控：云监控服务不需要开通，在创建弹性云服务器等资源后监控
Flink性能优化 概述 Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：高并发pi
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
