检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据性能优化 HIVE优化 Spark性能优化 Flink性能优化 父主题： 云服务性能优化介绍
Spark性能优化 概述 Spark是基于内存的分布式计算框架。在迭代计算的场景下，数据处理过程中的数据可以存储在内存中，提供了比MapReduce高10到100倍的计算能力。Spark可以使用HDFS作为底层存储，使用户能够快速地从MapReduce切换到Spark计算平台上去。Spark提供
PERF05-04 大数据场景资源优化 风险等级 中 关键策略 在大数据场景下，可以通过优化资源的使用和分配，提高系统的性能和效率。以下是一些常见的大数据场景资源优化方法： 分布式存储：使用分布式存储系统，如Hadoop HDFS、Apache Cassandra等，将数据分散存
HiveServer：以SQL的优化为主，执行计划是SQL优化的主要手段，通过接口查看Hive对整个SQL语句是如何进行任务的分解和编排，并结合MapReduce/Spark的执行情况针对性的进行任务的优化。 HiveMetaStore：因为Hive的MetaStore可能是外部的独立数据库，所以它的性
Flink性能优化 概述 Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：高并发pi
应用管理与运维平台(ServiceStage) 应用管理与运维平台（ServiceStage）是面向企业的应用管理与运维平台，提供应用发布、部署、监控与运维等一站式解决方案。支持Java、Php、Python、Node.js、Docker、Tomcat技术栈。支持Apache ServiceComb
COST08-03 存算分离 风险等级 中 关键策略 传统大数据方案计算和存储融合部署，扩容磁盘时必须扩容计算节点，在实际使用时产生浪费。存算分离是一种数据处理技术，它将数据存储和数据处理（计算）分开，使得存储和计算可以独立地进行优化和扩展，这种技术提高数据处理的效率、降低成本并满足大规模数据存储和分析的需求。
误或安全事件时，通过执行彻底地跟踪、告警和分析，可以较快地确定导致威胁的原因。 风险等级 中 关键策略 采集各类安全服务的告警事件，并进行大数据关联、检索、排序，全面评估安全运营态势。 生成定期的安全状态报告，总结安全态势，包括发现的问题、采取的行动和改进措施。 确保所有安全措施
PERF06-03 自动告警 风险等级 中 关键策略 通过在云监控平台配置对应的告警策略，可以及时了解资源风险，以便做出对应调整和策略。 相关云服务和工具： 优化顾问 OA 云监控服务 CES 父主题： 性能看护
功耗密集型业务（如高性能计算、人工智能、深度学习等场景）主要就是消耗计算维度的容量。 内存密集型业务（如大数据处理、图像/视频处理、游戏开发、数据库等场景）主要消耗内存和存储维度的容量。 存储密集型业务（如大型数据库、大数据分析、大规模文件存储、编译构建等场景）可能会比较消耗存储的带宽。 根据业务的特征
低计算成本，应用微服务化可以降低运维复杂度，从而降低运维成本。 广告电商等在线作业服务SLA要求较高，高峰时段明显，使用资源存在潮汐现象；大数据/转码等离线作业容错性高，计算需求大，可容忍较高的时延。为了保证在线业务的性能和稳定性，通常按波峰时需要申请资源，这样在非波峰时段就有资
务，需引入双活并行，故障零切换，过程中，客户自建运维平台能力较为欠缺，不足以满足运维需要 无法采集云服务指标信息：客户自建运维体系无法采集到云服务等场景的指标信息，不能满足大屏展示需要 告警通知能力不足：自建运维平台告警通知能力不能完全满足多场景通知的需要，且没有告警降噪能力 解决方案：
关键策略 在公司范围内构建统一身份管理系统，集中存储用户身份信息。 统一身份管理系统与私有云、公有云平台的IAM系统进行身份联邦，统一身份管理系统中的用户身份可以同时访问私有云和公有云平台。 统一身份管理系统与公司的HR流程结合，当员工入职、调岗和离职时可以触发用户的创建、变更和删除。
什么是应用韧性 应用韧性是应用系统在运行过程中面对各种异常场景，如基础设施故障（如数据库异常）、外部攻击（如网络DDoS攻击超出预定限额流量）、外部依赖故障（如依赖系统访问超时或不可用）、地域灾难（如大面积停电、洪水）等，仍能提供和维持可接受的服务水平的能力，对系统至关重要。 系统韧性设计主要涉及以下两个方面：
Server、MariaDB）；其中GaussDB、GaussDB（for MySQL）是华为推出的基于openGauss生态和MySQL生态的企业级关系型数据库，性能表现更好；RDS数据库服务可支持四种开源数据库引擎，RDS依托云计算平台，为用户提供了更稳定、更弹性、运维更便捷的在线云服务。 适用场景：
云堡垒机(CBH) 云堡垒机（Cloud Bastion Host，CBH）是华为云的一款统一安全管控平台，为企业提供集中的账号（Account）、授权（Authorization）、认证（Authentication）和审计（Audit）管理服务。 云堡垒机提供云计算安全管控的
应用运维管理(AOM2.0) 应用运维管理（Application Operations Management，简称AOM）是云上应用的一站式立体化运维管理平台，融合云监控、云日志、应用性能、真实用户体验、后台链接数据等多维度可观测性数据源，提供应用资源统一管理、一站式可观测性分析
建了一套质量管理机制、一套运维平台、一支全球专家队伍，更重要的是，我们已经和很多客户一起开展了面向应用视角的稳定性提升工作，助力客户提升应用稳定性，从应用层到平台底层，在成本、质量、效率中寻找最优方案。 云财务体系(FinOps)建设 FinOps是“Finance”和“DevO
等。 节点自动伸缩 CCE突发弹性引擎（对接CCI） 将Kubernetes API扩展到无服务器的容器平台（如CCI），无需关心节点资源。 适合在线突增流量、CI/CD、大数据作业等场景。 CCE容器实例弹性伸缩到CCI服务 相关云服务和工具 弹性伸缩 AS 云容器引擎 CCE
云日志服务(LTS) 云日志服务（Log Tank Service，简称LTS）是高性能、低成本、功能丰富、高可靠的日志平台，提供全栈日志采集、百亿日志秒搜、PB级存储、日志加工、可视化图表、告警和转储等功能，满足应用运维、等保合规和运营分析等应用场景需求。 云日志服务提供多种接
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
