检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当在线业务带宽低于在线业务水线时,离线业务的带宽阈值处于一个相对较高的水平,即表示允许离线业务占用一定的带宽;当在线业务带宽超过在线业务水线时,则会相应地调低离线业务带宽阈值,以降低离线业务占用的带宽,预留出更多的带宽供在线业务使用。
当前特性支持集群内在离线作业混部以及节点CPU和内存资源超卖,关键特性如下: 离线作业优先使用超卖节点 若同时存在超卖与非超卖节点,在离线作业调度过程中,超卖节点得分高于非超卖节点,离线作业优先调度到超卖节点。
调度算法 在离线业务混部 在离线业务混部是将多种应用在一个集群内部署,通过预测分析应用特性,实现业务对集群资源的充分利用; 参数名 取值范围 默认值 是否允许修改 作用范围 colocation-enable true/false false 允许 CCE Turbo 从集群维度来看
业务在离线混部优先级 参数名 取值范围 默认值 是否允许修改 作用范围 annotations["volcano.sh/qos-level"] -7~7间整数 无 允许 - 小于0代表低优先级任务,即离线作业,大于等于0代表高优先级任务,即在线作业。
在线和离线作业分布不同集群,资源无法分时复用:用户为在线和离线作业划分不同的K8s集群中,在线业务在波谷时,无法部署离线作业使用这部分资源。 这些都是云原生应用粗犷发展阶段的典型表现。
超卖资源适合部署离线作业,离线作业通常关注吞吐量,SLA要求不高,容忍一定的失败。在线作业和离线作业混合部署在Kubernetes集群中将有效的提升集群整体资源利用率。 目前Kubernetes的默认调度器是以Pod为单位进行调度的,不区分Pod中运行的业务类型。
如果Volcano插件未开启在离线业务混部功能,您需要在弹出的配置页面中先开启该功能,等待Volcano插件安装或更新完成后继续配置。 在混部配置页面中,打开“节点池混部开关”。
CPU Burst弹性限流 出口网络带宽保障 平衡在线业务与离线业务对出口网络带宽的使用,保证在线业务有足够的网络带宽。 出口网络带宽保障 父主题: 调度
在线和离线作业分布不同集群,资源无法分时复用:用户为在线和离线作业划分不同的K8s集群中,在线业务在波谷时,无法部署离线作业使用这部分资源。
商用 6 CCE Turbo集群在离线混部增强:支持Pod网络优先级限制 CCE Turbo集群支持在离线Pod的网络优先级限制,以实现出口网络带宽保障,可平衡在线业务与离线业务对出口网络带宽的使用,保证在线业务有足够的网络带宽,在线业务触发阈值时,压缩离线业务带宽使用。
的部署方式由StatefulSet调整为Deployment,修复节点异常时Pod无法自动迁移的问题 1.4.2 v1.15 v1.17 v1.19 v1.21 修复跨GPU分配失败问题 适配更新后的EAS API 1.3.7 v1.15 v1.17 v1.19 v1.21 支持在/离线作业混合部署及资源超卖功能
CCE集群,缩容时优先缩容CCI业务 Kubernetes通过Volcano实现MPI高性能计算作业 kube-scheduler基于scheduler-framework拓展默认调度器 kube-scheduler如何完成调度和调整调度权重 CCE云原生混部场景下在线任务抢占、压制离线任务
CCE支持CPU资源调度、GPU/NPU异构资源调度、在离线作业混合部署、CPU Burst弹性限流等调度策略,您可以根据业务特征设置调度策略,帮助您提升应用的性能和集群整体资源的利用率。
CCE Turbo集群在离线混部增强:支持Pod网络优先级限制。详情请参见出口网络带宽保障。 CCE Turbo集群支持命名空间关联容器网段。详情请参见网络配置(NetworkAttachmentDefinition)。
CCE Turbo集群在离线混部增强:支持Pod网络优先级限制。详情请参见出口网络带宽保障。 CCE Turbo集群支持命名空间关联容器网段。详情请参见网络配置(NetworkAttachmentDefinition)。
在离线业务混部:启用后,开启混部能力的节点池默认部署volcano-agent组件,通过节点QoS保障、CPU Burst和动态资源超卖等方式提升资源利用率,为您降低资源使用成本。详情请参见开启云原生混部。
优先级调度与抢占介绍 用户在集群中运行的业务丰富多样,包括核心业务、非核心业务,在线业务、离线业务等,根据业务的重要程度和SLA要求,可以对不同业务类型设置相应的高优先级。比如对核心业务和在线业务设置高优先级,可以保证该类业务优先获取集群资源。
创建使用自定义指标的HPA策略 Kubernetes默认的HPA策略只支持基于CPU和内存的自动伸缩,在复杂的业务场景中,仅使用CPU和内存使用率指标进行弹性伸缩往往无法满足日常运维需求。通过自定义指标配置工作负载HPA策略,可以根据业务自身特点,通过更多指标实现更灵活的弹性配置。