检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
集群成本管理最佳实践 集群成本优化的核心在于如何最大化的利用集群资源,减少集群中不必要的成本开销。同时,成本优化并不局限在降低资源规模,而是需要在集群成本优化与可靠性之间进行平衡。本文汇总了集群成本优化的最佳实践,希望可以帮助您有效地进行集群成本优化,助力企业降本增效。 使用合适的集群配置
CCE AI套件(Ascend NPU)版本发布记录 表1 CCE AI套件(Ascend NPU)插件版本记录 插件版本 支持的集群版本 更新特性 2.1.23 v1.21 v1.23 v1.25 v1.27 v1.28 v1.29 v1.30 修复部分问题 2.1.22 v1
在CCE中实现应用高可用部署 基本原则 在CCE中,容器部署要实现高可用,可参考如下几点: 集群选择3个控制节点的高可用模式。 创建节点选择在不同的可用区,在多个可用区(AZ)多个节点的情况下,根据自身业务需求合理的配置自定义调度策略,可达到资源分配的最大化。 创建多个节点池,不
微服务流量治理 应用场景 伴随着互联网技术的不断发展,各大企业的系统越来越复杂,传统的系统架构越来越不能满足业务的需求,取而代之的是微服务架构。微服务是将复杂的应用切分为若干服务,每个服务均可以独立开发、部署和伸缩;微服务和容器组合使用,可进一步简化微服务的交付,提升应用的可靠性和可伸缩性。
调度配置 为您提供kube-scheduler基础配置信息,并提供Volcano作为容器调度器的高级调度能力配置,您可以在此开启装箱策略、基于优先级的调度与抢占、AI任务性能增强、异构资源管理等高级调度能力,提升集群资源利用率,为您节约成本。 设置集群默认调度器 默认调度器 (default-scheduler)
高性能调度 CCE通过集成Volcano提供高性能计算能力。 Volcano是基于Kubernetes的批处理系统。Volcano提供了一个针对BigData和AI场景下,通用、可扩展、高性能、稳定的原生批量计算平台,方便AI、大数据、基因、渲染等诸多行业通用计算框架接入,提供高
CCE集群高可用推荐配置 为了保证应用可以稳定可靠的运行在Kubernetes里,本文介绍构建Kubernetes集群时的推荐配置。 类型 说明 高可靠配置建议 集群控制面 CCE是一项托管式的Kubernetes服务,集群控制面(即控制节点)无需由用户进行运维,您可以通过一些集群配置来提高集群整体的稳定性和可靠性。
Volcano调度器版本发布记录 表1 Volcano调度器版本记录 插件版本 支持的集群版本 更新特性 1.15.8 v1.23 v1.25 v1.27 v1.28 v1.29 v1.30 支持NPU双DIE亲和调度能力 1.15.6 v1.23 v1.25 v1.27 v1.28
修改节点池配置 约束与限制 默认节点池DefaultPool不支持如下管理操作。 配置管理 为方便对CCE集群中的Kubernetes配置参数进行管理,CCE提供了配置管理功能,通过该功能您可以对核心组件进行深度配置,更多信息请参见kubelet。 仅支持在v1.15及以上版本的集群中对节点池进行配置,v1
优先级调度与抢占 优先级表示一个作业相对于其他作业的重要性,Volcano兼容Kubernetes中的Pod优先级定义(PriorityClass)。启用该能力后,调度器将优先保障高优先级业务调度。集群资源不足时,调度器主动驱逐低优先级业务,保障调度高优先级业务可以正常调度。 前提条件
应用容器化改造方案概述 本手册基于云容器引擎实践所编写,用于指导您已有应用的容器化改造。 什么是容器 容器是操作系统内核自带能力,是基于Linux内核实现的轻量级高性能资源隔离机制。 云容器引擎CCE是基于开源Kubernetes的企业级容器服务,提供高可靠高性能的企业级容器应用
工作负载异常:实例驱逐异常(Evicted) 驱逐原理 当节点出现异常时,为了保证工作负载的可用性,Kubernetes会通过驱逐机制(Eviction)将该节点上的Pod调离异常节点。 目前Kubernetes中存在两种Eviction机制,分别由kube-controller-manager和kubelet实现。
Volcano调度概述 Volcano是一个基于Kubernetes的批处理平台,提供了机器学习、深度学习、生物信息学、基因组学及其他大数据应用所需要而Kubernetes当前缺失的一系列特性,提供了高性能任务调度引擎、高性能异构芯片管理、高性能任务运行管理等通用计算能力。 Volcano
公平调度(DRF) DRF(Dominant Resource Fairness)是主资源公平调度策略,应用于大批量提交AI训练和大数据作业的场景,可增强集群业务的吞吐量,整体缩短业务执行时间,提高训练性能。 前提条件 已创建v1.19及以上版本的集群,详情请参见购买Standard/Turbo集群。
为IAM子账号配置命名空间级别的权限 应用场景 在容器化环境中,不同团队和部门对资源的访问需求不尽相同。如果权限设置过于宽泛,可能会导致环境交叉占用、误操作和资源竞争等问题。为了解决这些问题,实现细粒度的权限控制尤为重要。 CCE权限管理是在统一身份认证服务(IAM)与Kuber
文件存储卷概述 CCE支持将弹性文件存储(SFS)创建的存储卷挂载到容器的某一路径下,以满足数据持久化需求,SFS存储卷适用于多读多写的持久化存储,适用场景包括:媒体处理、内容管理、大数据分析和分析工作负载程序等。 图1 CCE挂载文件存储卷 使用说明 符合标准文件协议:用户可以
自建IDC与CCE集群共享域名解析方案概述 应用现状 当前,越来越多的软件采用微服务架构,构建一个产品时会大量使用微服务,不同微服务之间访问时涉及到域名访问。 拥有自建IDC的企业,在使用CCE时通常需要在CCE集群与自建IDC之间通信,而且当IDC有内部域名时,需要CCE集群内
容器与节点时区同步 案例场景 场景一:容器与节点时区同步 场景二:容器、容器日志与节点时区同步 场景三:工作负载与节点时区同步 场景一:容器与节点时区同步 登录CCE控制台。 在创建工作负载基本信息页面,开启“时区同步”,即容器与节点使用相同时区。 图1 开启时区同步 登录节点进入容器查询容器时区是否与节点保持一致。
调度算法 在离线业务混部 在离线业务混部是将多种应用在一个集群内部署,通过预测分析应用特性,实现业务对集群资源的充分利用; 参数名 取值范围 默认值 是否允许修改 作用范围 colocation-enable true/false false 允许 CCE Turbo 从集群维度
节点伸缩原理 HPA是针对Pod级别的,可以根据负载指标动态调整副本数量,但是如果集群的资源不足,新的副本无法运行的情况下,就只能对集群进行扩容。 CCE集群弹性引擎是Kubernetes提供的集群节点弹性伸缩组件,根据Pod调度状态及资源使用情况对集群的节点进行自动扩容缩容,同