检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据量少，但小文件数量多：减少数据分片，在reduce算子后执行coalesce算子，以减少task数量，减少cpu负载。 使用spark sql查找一个大表，表列数较多，但是查找的列较少：尽量使用rcfile或parquet格式，减少文件读取成本，同时选择合适的压缩格式，减少内存负载。 指标观测方法
Flink性能优化 概述 Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：高并发pi
常见故障模式 云数据库 TaurusDB的CPU /内存/磁盘容量/磁盘IOPS/数据库连接数使用率过高 检测：通过CES监控CPU /内存/磁盘容量/磁盘IOPS/数据库连接数使用率。 恢复： 根据业务情况，手工变更规格以扩展资源。 开启自动扩缩容，以便在过载时自动扩容规格和/或只读节点。
可靠性功能 集群HA 云数据库 TaurusDB服务支持主节点+只读节点的高可用架构，当主节点故障时，系统会自动切换到只读节点，只读节点提升为主节点，原来故障的主节点也会自动恢复为只读节点。 云数据库 TaurusDB服务还支持异构容灾实例(MySQL节点)，支持在极端场景，如社
RES05-01 网络连接高可用 应用系统对外提供服务时，需要确保对外网络连接的高可用，避免单个网络连接中断而导致业务不可用。 风险等级 高 关键策略 网络链路冗余：网络连接需要支持多路径，以实现高可用能力，以避免在一条网络路径中断的情况下，业务能切换到其他路径继续通信。 网络链
PERF03-07 选择合适的Kafka 风险等级 中 关键策略 根据生产流量、消费流量、老化时间、副本数等指标，计算业务所需的规格，选择合适的Kafka规格。 规格测算： 性能容量维度所需最小节点数 = max（（存储带宽需求 / 单节点存储带宽），（网络带宽需求 / 单节点网络基准带宽））
PERF03-08 选择合适的RocketMQ 风险等级 中 关键策略 RocketMQ服务提供了多个维度定义规格，如资源规格、代理个数、存储容量、单个代理TPS、单个代理Topic数上限、单个代理消费组数上限等，建议根据不同版本涉及的具体规格情况选择合适的RocketMQ服务。
PERF03-09 选择合适的RabbitMQ 风险等级 中 关键策略 版本选择：RabbitMQ服务版本随时间更迭，选择版本时需注意查看不同版本状态与区分，详情可参考官方公告。 规格选择：RabbitMQ服务提供了不同规格实例可供选择，建议按照业务需求对比，选择合适的规格型号，具体实例规格请参考官方文档。
PERF03-06 选择合适的消息队列 风险等级 中 关键策略 三种不同版分布式消息服务的适用场景如下： Kafka：兼容开源Kafka，适用构建实时数据管道、流式数据处理、第三方解耦、流量削峰去谷等场景，有大规模、高可靠、高并发访问、可扩展且完全托管的特点。 RocketMQ：
系统内组件有可能完全故障，也有可能处于亚健康状态；亚健康是指系统整体业务未超标，但系统中局部实例业务超标。亚健康更多是个相对概念，相对历史表现的统计，或相对系统整体。因此针对亚健康的检测和判断有所不同。当处于亚健康状态时，系统也需要及时进行隔离或恢复处理，避免对业务造成影响。 风险等级
生物特征（指纹）、位置数据、IP地址、医疗信息、宗教信仰、社保号、婚姻状态等。个人数据按照影响等级分为高、中、低三种个人数据（分级描述如下表）： 个人数据分级 说明 高影响 被不正当地披露可能会违反法律，对公司声誉、财务或营运影响很大，对个人数据主体造成严重的不利影响，例如身份证号、指纹等
COST02-01 建立云预算与预测流程 风险等级 高 关键策略 由于云资源天然的易申请，易缩扩容的特性，使用云可以提高效率、创新速度和灵活性，与此同时，也导致了云成本和使用模式的高度可变，客户应调整现有的组织预算和预测流程，以适应云的变化。 客户应密切关注历史消费趋势和不断变化
算法的设计和实现方式来提高其效率和性能。以下是一些最佳实践： 使用正确的数据结构：选择合适的数据结构可以大辐提高算法的效率。例如，使用哈希表可以快速查找元素，使用数组可以快速访问元素。 减少内存分配：内存分配是一个耗时的操作。可以通过预先分配内存或者重复使用已分配的内存来减少内存分配。
SEC04-02 控制网络流量的访问 控制网络流量以确保网络分区之间的流量是可预期的、允许的。依据零信任原则，需在网络级别验证所有的流量出入。确保网络设备的业务能力、网络每个部分的带宽满足业务高峰期的需要。 风险等级 高 关键策略 在设计网络拓扑时，仔细检查每个组件的连接要求，例
PERF01-01 全生命周期性能管理 风险等级 高 关键策略 指定性能目标 从性能角度来看，最好为性能场景定义具体的、量化的、可测量的性能目标。若要设置这些目标，需要充分了解业务要求以及预期将提供的服务质量。 需要与业务利益干系人共同关键功能的体验要求，而不是只关注技术指标。通
可用性需求 根据“常见IT系统SLO示意”中的表格可以得知，不同的IT系统，SLO目标是存在差异的，不是所有的应用系统都需要达到最高可用性要求。 当系统可用性目标要求升高时，所需的成本也通常会增加，因此在可用性目标制定时，需要对韧性与成本进行权衡，确定真正的可用性需求。 在系统的
卓越运营支柱简介 在华为公司，卓越运营代表着质量、效率和可持续的卓越客户体验。它帮助改进设计、开发、测试、部署、发布和运维活动，持续实现高质量的交付结果，推动了持续集成和持续交付（CI/CD）落地；同时助力打造确定性运维体系，让研发团队将更多时间用在构建让客户受益的新功能上，减少
数据持久度 数据持久度是指数据不丢失的概率，即存储在预计周期内不出现数据丢失的概率，可以用于度量一个存储系统的可靠性。其只表示数据是否丢失的概率，不体现数据丢失多少；数据持久度的预计周期，一般按一年进行预计。 影响存储数据持久度的主要因子有：冗余数、磁盘失效率与数据修复时间。其中
OPS06-06 实施分布式跟踪 Trace是一系列因果相关的分布式事件的表示，这些事件编码了流经分布式系统的端到端请求流。 风险等级 高 关键策略 当系统出现问题时，需要能够追踪系统中每个组件的行为和交互情况。通过在系统中实现分布式跟踪，可以快速定位问题并进行有效的故障排除。 设计建议
PERF06-03 自动告警 风险等级 中 关键策略 通过在云监控平台配置对应的告警策略，可以及时了解资源风险，以便做出对应调整和策略。 相关云服务和工具： 优化顾问 OA 云监控服务 CES 父主题： 性能看护
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
