检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
算法优化 PERF05-02 通用算法优化 父主题: PERF05 性能优化
PERF05-02 通用算法优化 风险等级 中 关键策略 算法优化是提高程序性能的关键,可以通过改进算法的设计和实现方式来提高其效率和性能。以下是一些最佳实践: 使用正确的数据结构:选择合适的数据结构可以大辐提高算法的效率。例如,使用哈希表可以快速查找元素,使用数组可以快速访问元素。
事件回顾:定期回顾已处理的事件,评估自动化响应的效果,识别改进点。 规则与策略更新:根据回顾结果,更新自动化响应规则和策略,增强系统的自适应能力。 培训与演练:定期对安全团队进行自动化响应流程的培训和演练,确保人员熟悉流程并在实际操作中高效执行。 依赖剧本实现威胁处置自动化,让
OPS01-01 建立持续学习和改进的文化 风险等级 高 关键策略 由于系统的独特性和复杂性,没有放之四海皆准的方案,为了达到卓越运营,需要不断改进这些最佳实践,并建立自己的最佳实践。所以,在所有最佳实践的第一条,就是在您的团队中培养持续学习和改进的文化。 而持续学习和改进需要鼓
显存优化策略 由于大模型的参数成倍数的增长,远超出了单GPU物理显存所能承载的范围,大模型训练必然需要进行显存优化。显存优化要么是优化算法本身,降低模型算法的显存消耗;要么是去扩大显存,通过一些置换方式获得“额外“空间,由于显存物理大小一定,我们获得额外空间的方式不外乎两种:时间换空间
分区数量越少,每个分区的资源多,更容易适合对资源要求较高的大客户,运维管理简单,且资源利用率越高,所需的成本低。 确定分区映射算法。存在以下一些映射算法供参考: 原始除模:即使用分区键对分区数量取模,该算法分布均匀,但是不适配Grid增删场景,一旦增删需要进行业务迁移。 Range-Hash/Hash:即
设计原则 建立持续改进的团队文化和标准化运维体系 在卓越运营中,团队文化建设至关重要。运营是一门不断改进的艺术。只有不断从已有事故中学习经验,持续学习和改进,才能最终达到卓越运营。故而,团队应该培养持续学习和改进的文化,此外,在事故发生时,应该以对事不对人的态度,思考系统的改进,
批处理业务 批处理主要特点是耗时时间长,消耗的资源比较多,主要的调优和设计推荐如下: 尽量使用ORC File, 配上合适的压缩算法, 主要可选的压缩算法为Zlib和Snappy。其中Zlib压缩比高,但压缩解压时间比Snappy长,消耗资源比如Snappy多。Snappy平衡了的
通过使用更多的存储空间,以节省执行时间。 空间换时间包括简单地预先存储结果,或者存储经常被访问的数据以方便计算;另一种空间换时间则包括选择特定的算法,如HASH算法就是一种典型的空间换时间的算法。另一种是OLAP技术,在此技术中,数据被按照一定的层级关系预先汇总,这样会大辐降低后续查询的耗时。 比如在慢SQL
风险等级 高 关键策略 发布团队常用编程语言的安全编码规范。通用的安全编码规范应包含程序输入校验、程序输出编码、身份验证、访问控制、安全加解密算法、异常处理、IO操作、文件上传、序列化、输出格式化等。 对于在Web应用场景使用的语言如Java、Python,还要考虑安全会话管理、防S
服务器资源就类似一块块资源拼成的木桶,其最多能承载的业务需求取决于哪一块资源最先达到瓶颈。 不同应用对资源需求不同,例如: 功耗密集型业务(如高性能计算、人工智能、深度学习等场景)主要就是消耗计算维度的容量。 内存密集型业务(如大数据处理、图像/视频处理、游戏开发、数据库等场景)主要消耗内存和存储维度的容量。
速添加列,避免造成锁等待影响业务或者SQL执行超时无法新增成功。 13.DAS数据诊断优化性能问题实践 DBA智能运维功能基于运行数据结合算法对实例进行诊断,并对异常项提供具体的诊断结果以及优化建议。 14.观测性能指标(GaussDB为例) 指标ID 指标名称 指标说明 rds001_cpu_util
高 高 高 如果追求高TPS,建议采用lz4压缩算法;如果追求较低的网络I/O或希望较低的客户端/服务端CPU占用,建议采用zstd压缩算法。这里通常推荐使用lz4压缩算法,同时不建议使用gzip算法,因为它会是一种计算敏感的压缩算法。同时针对一批数据(batch)消息压缩,更好的运用批处理可以获得更高的TPS。
HDFS、Apache Cassandra等,将数据分散存储在多个节点上,以提高数据的可靠性和可扩展性。 数据压缩:对于大量的数据,可以采用压缩算法进行压缩,以减少数据的存储空间和传输带宽。 并行计算:使用并行计算框架,如Apache Spark、Apache Flink等,将计算任务
析瓶颈,否则很有可能是在浪费自己的时间。另外,性能优化的隐含代价会使我们的代码变得难于理解和维护,这一点也是需要权衡和关注的。 设计优化 算法优化 资源优化 父主题: 性能效率支柱
JAVA语言:结合语言基础能力的使用、并发模型、部署调优、工具链辅助等维度展开。 C/C++语言:结合语言基础能力、编译技术、并发技术、高效数据结构与算法、高性能库及工具链辅助展开。 父主题: 应用性能编程规范
Kubernetes社区开源组件,用于节点水平伸缩,CCE在其基础上提供了独有的调度、弹性优化、成本优化的功能。 全场景支持,适合在线业务、深度学习、大规模成本算力交付等。 节点自动伸缩 CCE突发弹性引擎(对接CCI) 将Kubernetes API扩展到无服务器的容器平台(如CCI),无需关心节点资源。
SEC05-04 密钥安全管理 密钥的安全管理对于整个工作负载的安全性至关重要。如果使用不恰当的密钥管理方式,强密码算法也无法保证系统的安全。密钥的安全管理包括密钥的生成、传输、使用、存储、更新、备份与恢复、销毁等完整的生命周期流程。 风险等级 高 关键策略 生成密钥: 分层管理
选择合适的测试方式 性能测试步骤 资源性能数据采集 应用性能数据采集 建立性能可观测性体系 PERF05 如何进行性能优化? 设计优化 通用算法优化 WEB场景资源优化 大数据场景资源优化 PERF06 如何进行性能看护? 分层看护 性能劣化自动定界定位 自动告警 父主题: 性能效率支柱
市场趋势、消费者行为、竞争环境等。通过多种方法的组合,如历史数据分析、资源分析、趋势分析等,以此作为预测需求的基础,并结合人工智能机器学习算法,以便更准确地预测未来的需求,评估工作负载的资源需求。 使预测与工作负载目标保持一致 为了确保预测与工作负载目标保持一致,需要定期对预测进