检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
服务规模与业务容量参数配置对照表 Spark作为内存计算引擎，需要更多的内存和CPU。用户在规划规格时，应根据当前的业务容量和增长速度，规划合理的内存和CPU资源，特别需要关注以下几点： 当程序运行在yarn-client模式下时，需要关注在driver端汇聚的数据量大小，根据自己的业务场景，为driver设置合理的内存。
CCE集群的CPU /内存/磁盘容量使用率过高 检测：通过AOM监控CCE集群的CPU/内存/磁盘容量使用率。 恢复： 根据业务情况，手工变更集群规格或扩展资源。 CCE节点的CPU /内存/磁盘容量/磁盘IOPS/GPU/GPU缓存使用率过高 检测：通过AOM监控CCE节点的CPU
可以为云服务器提供高可靠、高性能、规格丰富并且可弹性扩展的块存储服务，可满足不同场景的业务需求。云硬盘就类似PC中的硬盘。 存储数据的逻辑 存放的是文件，会以文件和文件夹的层次结构来整理和呈现数据。 存放的是对象，可以直接存放文件，文件会自动产生对应的系统元数据，用户也可以自定义文件的元数据。
allocated 的较大差值，通常称为内存碎片。 pytorch的内存碎片影响因素 一个step里更多的内存申请释放内存次数理论上一定会导致更多的内存碎片，为什么说是一个step呢？因为pytorch内存池只取决于host上的训练脚本逻辑，而每个step的训练脚本逻辑是相同的，所以一般第一个step之后内存状态可以稳定下来。
化），请考虑具有自动缩放功能的计算服务，该功能可根据需求自动调整计算容量。自动缩放有助于确保在高峰期拥有足够的资源，并防止在低需求时段过度预配。虚拟机弹性伸缩和容器弹性伸缩都是实现应用自动化扩容和缩容的方式，但虚拟机弹性伸缩需要更多的资源和时间来启动和部署，而容器弹性伸缩可以更快
导致变更规格和迁移失败。应从设计源头上避免此类问题带来的影响。 设计合理的Key中元素的数量。 对于集合和列表类的数据结构（例如Hash，Set，List等），避免其中包含过多元素，建议单Key中的元素不要超过5000个。 建议 由于某些命令（例如HGETALL）的时间复杂度直接
饱和度：侧重在对系统中最为受限的瓶颈资源的监控。 对于基于Java的应用系统，华为云用户可使用APM服务实现基于调用链的业务延迟和错误率监控。函数服务FunctionGraph、微服务引擎CSE提供了流量、延迟和错误率监控能力。基于API网关暴露接口的应用，可使用APIG服务提供的流量、延迟和错误率监
关键策略 客户可感知的观测对象分类如下： 可观测分层 功能 / 主要指标 IT 资源监控 IT 资源监控对 IT 资源的性能和容量进行监视和报告，确保您的业务稳定可靠运行 应用监控 应用监控基于应用资源管理对资源实行从应用、业务组件、到环境的分层监控，每一层对应的观测指标均不同。在
编译型语言。 内存规格 函数Pod中分配的CPU资源与内存规格成正比，所以更大的内存规格可以获得更高的CPU资源从而提升执行性能。如果业务场景为CPU密集型或者需要大量使用内存的，建议配置更大的内存规格来获取更低的执行时延，可以通过配置不同大小内存进行性能测试，观察时延监控结合业务实际预算选择合适的内存规格。
力扩容和缩容，从而提供资源使用率，降低成本。 相关服务和工具 华为云以Serverless形态存在的产品，存储类的对象存储服务（Object Storage Service，OBS），应用类的云应用引擎（Cloud Application Engine， CAE），容器类的云容器实例（Cloud
云数据库 TaurusDB的CPU /内存/磁盘容量/磁盘IOPS/数据库连接数使用率过高 检测：通过CES监控CPU /内存/磁盘容量/磁盘IOPS/数据库连接数使用率。 恢复： 根据业务情况，手工变更规格以扩展资源。 开启自动扩缩容，以便在过载时自动扩容规格和/或只读节点。 应用层进行过载保护，保障优先业务的运行。
考对应组件的调优。本文档重点讨论上述的1，2，3部分的性能调优的内容，并结合MapReduce/Spark的进行调优说明。 批处理业务 批处理主要特点是耗时时间长，消耗的资源比较多，主要的调优和设计推荐如下： 尽量使用ORC File， 配上合适的压缩算法， 主要可选的压缩算法为
OBS通过存储介质的慢盘/坏道检测、AZ内设备和数据冗余、AZ之间数据容灾、跨区域复制等技术方案，提供针对介质、服务器、机柜、数据中心和区域的多级可靠性保障。其数据持久性高达99.9999999999%（12个9），可用性高达99.995%，远高于传统架构。详见“OBS的持久性和可用性如何
自动扩容到最大时的规则不超过配额限制。 在系统中也可配置资源使用超过一定限额后进行预警，避免配额超过限制后导致业务受影响。 相关云服务和工具 使用华为云“我的配额”，可以查询每个云服务不同资源类型的总配额限制和已用配额，可根据业务的需要申请扩大对应云服务指定资源的配额，也可配置配
构建增加的开发和运维成本。 风险等级 低 关键策略 实施用于托管资源的服务以便在责任共担模式中减少安全维护任务。例如使用华为云的数据库服务而不是自建关系型数据库的实例。 使用Serverless架构的云服务，将计算资源的安全交给华为云处理，减免了用户自行运维服务器带来的工作量和人
Flink作为流数据处理引擎，依赖内存和CPU。用户在规划规格时，应根据当前的业务容量和增长速度，规划合理的内存和CPU资源，特别需要关注以下几点： 根据自己的业务目标，规划CPU资源和内存资源。规划时，需要结合当前的数据分布情况，业务复杂度，设置JobManager的内存，TaskManager的数量，T
常见故障模式 DCS的CPU /内存/带宽/连接数使用率过高 检测：通过CES监控CPU /内存/带宽/连接数使用率。 恢复： 根据业务情况，手工变更规格以扩展资源。 应用层进行过载保护，保障优先业务的运行，如将部分性能要求不高的业务切回到原始数据源。 连接后端DCS失败 检测：连接失败。
知识分享和交流：运维知识库系统还支持用户之间的知识分享和交流。用户可以将自己的经验和知识上传到系统中，与其他用户进行交流和讨论。这不仅可以扩展自己的知识面，还可以通过与其他人的交流，获得更多的解决方案。 随时更新和维护：运维知识库系统会不断更新和维护知识库中的内容，保证系统中的知识始终是最新的和准确的。用户可以通
自动化资产盘点：使用安全云服务或工具来自动发现和记录云上资源，包括主机、存储、数据库、网络等。这样可以确保资产清单的及时性和准确性。 标签和元数据：使用标签和元数据来对云资源进行分类和描述，以便更好地组织和管理资源清单。通过标签可以快速识别和过滤资源，有助于监控和安全审计。 相关云服务和工具 解决方案工作台
响应时间，或服务响应请求的速度。 吞吐量，或按单位时间处理的请求数。 资源利用率，例如CPU、内存和磁盘使用率。 记录性能相关的度量值：将测试期间获得的性能指标记录为基线度量值。这些度量与测试前约定的SLA比较值。 比较将来的测试：在后续性能测试中，将性能指标与已建立的基线和阈值进行比较。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
