检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
系统或组件的性能问题,对外的表象上反应为: 请求响应延迟时间过长 资源占有量过大 对常见的性能问题进行分析,可以发现对于一个系统或组件来说,性能问题经常发生在以下方面: 实体间通信或者调用处理(包括数据库) 频繁调用函数、模块处理过程、数据组织等问题 并行处理资源争用引起的延迟 串行处理进程/线程间等待延迟 父主题:
COST08-03 存算分离 风险等级 中 关键策略 传统大数据方案计算和存储融合部署,扩容磁盘时必须扩容计算节点,在实际使用时产生浪费。存算分离是一种数据处理技术,它将数据存储和数据处理(计算)分开,使得存储和计算可以独立地进行优化和扩展,这种技术提高数据处理的效率、降低成本并满足大规模数据存储和分析的需求。
优先级与分级:根据事件的严重性和紧急程度,定义响应的优先级,确保重要事件得到优先处理。 持续监控:利用SIEM(安全信息和事件管理)、UEBA(用户和实体行为分析)等工具,对网络、系统、应用程序和用户活动进行实时监控。 智能警报:当检测到符合预定义触发条件的事件时,自动生成警报,并根据事件的优先级进行分类。
分散负载原则:通过在不同时间或者不同位置处理冲突负载,从而分散负载:将资源划分为成一些相对独立的小资源组,不同进程/线程可以独立访问,是“资源”分散的常见方案;将同一时间点的多个请求分散到一个时间区段,是“时间”分散的方案。 父主题: 性能效率支柱
性能数据采集 收集性能数据是收集指标和日志的过程,这些指标和日志提供有关工作负载性能的信息。 此数据包括数值,称为指标。 指标描述系统在特定时间点的状态。 它还包括包含组织成记录的不同类型的数据的日志。 通过收集性能数据,可以监视和分析工作负载的性能。 可以使用此信息来识别性能瓶颈、解
其中MapReduce/Spark/HDFS组件有自己独立的调优手册及文档,请参考对应组件的调优。本文档重点讨论上述的1,2,3部分的性能调优的内容,并结合MapReduce/Spark的进行调优说明。 批处理业务 批处理主要特点是耗时时间长,消耗的资源比较多,主要的调优和设计推荐如下: 尽量使用ORC File,
问题和检查项 在企业进行成本优化的过程中,推荐使用如下问题寻找自身可以改进的点,并参考检查项/最佳实践进行改进,以下所有的检查项,也是最佳实践建议,将在下一章节进行详细描述。 问题 检查项/最佳实践 COST01 您是否按照成本优化的需求,规划了相应的组织机构和流程? 1. 规划
能目标,团队可以针对特定目标持续改进。为了确保系统能够满足预期的可靠性和性能要求,避免系统性能瓶颈,性能目标设计需要在部署业务之前开展,重点的是明确系统的需求和预期目标,以生成性能目标范围。 结合业务明确性能要求 通过性能目标可以确定系统能够承载的最大用户量、并发请求量等,要保持
战略制定云安全战略,并且需要在计划采用云服务时尽早考虑安全性。 云安全治理策略包括安全团队、安全基线、安全资产、安全建模以及核心的安全控制点。企业需尽早规划和思考如何使用云技术和云服务来实现安全治理的现代化,并通过实施合理的云安全策略,实现云上业务系统的安全、合规。 SEC01-01
COST06 使用不同计费模式优化成本 COST06-01 了解云上不同计费模式的特点 COST06-02 为工作负载选择合适的计费模式 COST06-03 跟踪并监控权益商品的使用情况 父主题: 成本优化支柱
供一站式数据分析能力,包括小批量流式处理、离线批处理、SQL查询、数据挖掘等,用户可以在同一个应用中无缝结合使用这些能力。 Spark的特点如下: 通过分布式内存计算和DAG(无回路有向图)执行引擎提升数据处理能力,比MapReduce性能高10倍到100倍。 提供多种语言开发接
由于云平台封装了底层软件技术的复杂度,让企业可以更聚焦业务应用设计。云架构设计鼓励以领域驱动设计(DDD)为架构设计起点,结合不同视角的架构视图,融入韧性、安全性、性能效率、成本和运营支柱,真正将云架构关注点融入到架构设计过程中。 云架构审视 随着业务需求和技术发展的变化,系统的架构也需要不断演进和优化
限制网络流量:控制不同网络分区之间的通信流量,以确保只有经过授权的流量可以流动。 提高性能和可用性:通过分区网络,可以优化网络性能和可用性,避免网络拥塞和单点故障的影响。 定义每个分区的边界,并按照方便管理和控制的原则为各网络区域分配地址。例如,对于一个Web工作负载,划分Web区、App区、Da
务中断的影响、数据转移效率),这是具体实施业务上云过程中的重点关切。 业务应用场景的评估:如果是在云上新建业务系统,则要通过业务的实际需要进行云数据库的选型,它的评估与数据库是否建立在云上无关,而是根据实际业务系统的特点来决定的。如电商系统,考虑选型MySQL满足用户信息管理、买
利用安全测试工具进行静态代码分析、动态代码分析、漏洞扫描等测试,以发现潜在的安全问题。 使用模拟攻击工具或技术,尝试模拟攻击者的行为,以评估系统的安全性和弱点。 父主题: SEC01 云安全治理策略
敏感数据,并支持从海量数据中自动发现并分析敏感数据使用情况,基于数据识别引擎,对结构化数据和非结构化数据进行扫描、分类、分级,解决数据“盲点”。 父主题: SEC07 通用数据安全
大限度地提高自动化投资的价值,优先考虑简单、程序化且长期的任务。应用自动化并不是一种全有或全无的策略。即使需要人工干预的工作流(例: 决策点),也可以从自动化中受益。 风险等级 高 关键策略 优先考虑从自动化中受益最多的任务: 专注于高度程序化且容易出现人为错误的任务:这些任务被
若ECS通过AS进行弹性伸缩时,则需要AS配置云服务器组反亲和,以避免AS自动创建的ECS运行在同一个物理服务器上。 若CCE集群节点或节点池采用弹性云服务器ECS时,建议配置云服务器组反亲和,以避免CCE集群中的ECS节点运行在同一个物理服务器上。 相关云服务和工具 弹性云服务器 ECS:云服务器组 弹性伸缩服务 AS
持可接受的服务水平的能力,对系统至关重要。 系统韧性设计主要涉及以下两个方面: 确保系统具有高可用的架构,如无单点故障 各种故障场景下的恢复能力,如数据丢失、设备或站点故障等场景均能恢复 相对于传统数据中心,华为云可以提供具备高可用、弹性伸缩、自动备份、跨AZ容灾、跨Region
nStor BCManager和VMware虚拟机的备份数据。CBR支持一次性备份和周期性备份两种配置方式。目前备份时间只支持整点,可以同时选择多个整点进行备份,即最小RPO=1小时,用户需要根据数据重要性选择合适的备份周期。 数据库自动备份:RDS、DDS、GaussDB等数据