检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
考对应组件的调优。本文档重点讨论上述的1，2，3部分的性能调优的内容，并结合MapReduce/Spark的进行调优说明。 批处理业务 批处理主要特点是耗时时间长，消耗的资源比较多，主要的调优和设计推荐如下： 尽量使用ORC File， 配上合适的压缩算法， 主要可选的压缩算法为
力。通过云监控服务和云日志服务的结合，用户可以针对日志内容进行监控统计、设置告警规则等操作，降低用户监控日志的运维成本，简化用户使用监控日志的流程。 事件监控：事件监控提供了事件类型数据上报、查询和告警的功能。方便您将业务中的各类重要事件或对云资源的操作事件收集到云监控服务，并在事件发生时进行告警。
CCE集群的CPU /内存/磁盘容量使用率过高 检测：通过AOM监控CCE集群的CPU/内存/磁盘容量使用率。 恢复： 根据业务情况，手工变更集群规格或扩展资源。 CCE节点的CPU /内存/磁盘容量/磁盘IOPS/GPU/GPU缓存使用率过高 检测：通过AOM监控CCE节点的CPU
1. 分析业务趋势和优化收益 2. 建立可以量化的优化目标 3. 定期回顾和审核 COST06 您是否使用考虑了不同的计费模式优化成本？ 1. 了解云上不同计费模式的特点 2. 为工作负载选择合适的计费模式 3. 跟踪并监控权益商品的使用情况 COST07 您是否管理了和优化了资源使用情况？
Spark作为内存计算引擎，需要更多的内存和CPU。用户在规划规格时，应根据当前的业务容量和增长速度，规划合理的内存和CPU资源，特别需要关注以下几点： 当程序运行在yarn-client模式下时，需要关注在driver端汇聚的数据量大小，根据自己的业务场景，为driver设置合理的内存。 根据自己的业务目标
区等。最重要的边界是公共网络（互联网）与应用程序之间的边界，这个边界是您的工作负载的第一道防线。华为云的VPC和子网都可以作为每个网络分区的边界。 VPC划分：为VPC指定合适的CIDR范围，以确定VPC的IP地址空间。 子网划分：在VPC中，创建多个子网，并将不同的资源部署在不同的子网中。
n故障而导致所有业务中断。 在多AZ部署能满足需求的情况下，应优先使用多AZ部署。大多数工作负载的可用性目标都可通过在单个Region内多 AZ 部署来实现，只有工作负载具有极高的可用性要求或者其他业务目标时，才考虑多Region架构。 父主题： RES01 冗余
选择合适网络服务资源 选择合适的网络服务资源是一个复杂的过程，需要考虑许多因素。以下提供了一些主要因素： 评估合适网络云服务，主要考虑如下性能指标： 网络流量：评估工作负载的预期网络流量，了解数据传输需求和网络请求的频率。 带宽要求：确定工作负载的带宽要求，考虑通过网络传输和接收的数据量。 网络
为了构建安全、可信、合规的云上工作负载，华为云提供了大量的与安全相关的云服务。华为云客户基于Well-Architected架构的最佳实践会组合使用到这些云服务。我们的解决方案架构师在与客户进行沟通时，客户通常会提出以下疑问： 是否有一个全局性的视图可以表达构建安全工作负载的整体情况？ 在
及相应的成本是否带来正向的营收。 回顾和审核的频率应该综合考虑多种因素，包括成本优化在企业或者组织中的重要性，测试和验证成本，应用的复杂性和优化变更的难易程度。同时，在每次回顾和审核时，持续改进流程，例如，通过降低测试和变更的成本从而提升整体的优化频率。最后，在云厂商新的服务、资
HLS/RTMP/ WEBSOCKET/HTTP-FLV等协议构建的云应用提供性能测试的服务，其支持快速模拟大规模并发用户的业务高峰场景，通过自定义报文内容、时序、多事务组合等复杂场景，帮助用户测试验证业务高峰下的服务表现。 父主题： RES11 可靠性测试
变更防差错 在系统的运行过程中，配置变更是导致生产系统不可用的重要风险之一，如配置修改、工作负载手工增缩或补丁安装等。当变更失败时，可能会导致性能下降或业务中断等严重的问题。因此为了降低变更带来的业务风险，需要为工作负载或其环境的更改做好准备，实现工作负载的可靠操作。 变更操作属
性能数据采集 收集性能数据是收集指标和日志的过程，这些指标和日志提供有关工作负载性能的信息。 此数据包括数值，称为指标。 指标描述系统在特定时间点的状态。 它还包括包含组织成记录的不同类型的数据的日志。 通过收集性能数据，可以监视和分析工作负载的性能。 可以使用此信息来识别性能瓶颈、
在此情况下，建议将长期凭证放置到代码之外的文件或由第三方托管，将长期凭证作为变量传入使用。要定期审计和实施凭证轮换，以帮助降低长期凭证相关风险。 对您的身份提供者和IAM中配置的身份进行审计，这有助于验证只有经过授权的身份才能访问您的工作负载。 使用数据加密服务DEW托管凭据。
试，部署的开发周期较小，使用频繁的小型迭代进行。一个典型的实践是使用微服务和CI/CD实践，微服务架构是一种更为灵活、可扩展和易于维护的架构风格，已经逐渐成为现代应用开发的主流选择。它通过将应用程序拆分为小的、自治的服务，每个服务都负责执行特定的业务功能，可以使用不同的技术栈，由
自动扩容到最大时的规则不超过配额限制。 在系统中也可配置资源使用超过一定限额后进行预警，避免配额超过限制后导致业务受影响。 相关云服务和工具 使用华为云“我的配额”，可以查询每个云服务不同资源类型的总配额限制和已用配额，可根据业务的需要申请扩大对应云服务指定资源的配额，也可配置配
COST07 管理和优化资源 COST07-01 持续监控资源利用率指标 COST07-02 释放闲置资源 COST07-03 考虑不同的云资源技术选型 COST07-04 合理降配低负载资源或升配高负载资源 父主题： 成本优化支柱
当系统某个单元发生故障时，如果不采取措施，故障可能会大规模扩散，从而造成整个系统失效。故障隔离技术的核心思想是将一个工作负载内的故障影响限制于有限数量的组件内，降低故障影响范围，防止产生级联故障。 通过划分故障隔离域，限制工作负载的影响，可有效进行故障隔离。 RES10-01 应用控制平面与数据平面隔离 RES10-02
用能力，要实现较高的可用性，仍需要构建针对各种偶发故障下的恢复能力，如： 由于硬件故障导致的高可用切换或跨AZ切换过程中，导致瞬时链接中断，需要应用系统具备链接中断重试的功能。 由于外部流量突发导致业务过载，需要应用系统具备流量控制的能力。 部分强依赖于硬件的负载，如依赖本地硬盘
SEC07 通用数据安全 SEC07-01 识别工作负载内的数据 SEC07-02 数据保护控制 SEC07-03 对数据操作实施监控 SEC07-04 静态数据的加密 SEC07-05 传输数据的加密 父主题： 数据安全与隐私保护
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
