检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
负载均衡(LoadBalancer) 创建负载均衡类型的服务 使用Annotation配置负载均衡类型的服务 为负载均衡类型的Service配置HTTP/HTTPS协议 为负载均衡类型的Service配置服务器名称指示(SNI) 为负载均衡类型的Service配置跨集群的后端 为
使用独享型ELB时,ELB可以直通Pod(即Pod直接作为ELB的后端服务器组),因此Service开启基于源IP的会话保持无需配置服务亲和及应用反亲和。 使用共享型ELB时,不支持开启会话保持。 操作步骤 独享型ELB场景 以使用已有的ELB为例,Service的负载均衡配置源IP地址会话保持的YAML示例如下。
HPC作业类型混合部署。 多队列场景调度优化:支持分队列调度,提供队列优先级、多级队列等复杂任务调度能力。 多种高级调度策略:支持gang-scheduling、公平调度、资源抢占、GPU拓扑等高级调度策略。 多任务模板:支持单一Job多任务模板定义,打破Kubernetes原生资源束缚,Volcano
2。 图1 DRF调度示意图 配置公平调度策略 安装Volcano后,您可通过“配置中心 > 调度配置”选择开启或关闭DRF调度能力,默认开启。 登录CCE控制台。 单击集群名称进入集群,在左侧选择“配置中心”,在右侧选择“调度配置”页签。 在“AI任务性能增强调度”配置中,选择是否开启“公平调度
Volcano调度概述 Volcano是一个基于Kubernetes的批处理平台,提供了机器学习、深度学习、生物信息学、基因组学及其他大数据应用所需要而Kubernetes当前缺失的一系列特性,提供了高性能任务调度引擎、高性能异构芯片管理、高性能任务运行管理等通用计算能力。 Volcano
Volcano调度 Volcano调度概述 使用Volcano调度工作负载 资源利用率优化调度 业务优先级保障调度 AI任务性能增强调度 NUMA亲和性调度 应用扩缩容优先级策略 父主题: 调度
机调度。 指定节点池调度:指定插件实例部署的节点池。若不指定,将根据集群默认调度策略进行随机调度。 自定义亲和策略:填写期望插件部署的节点标签实现更灵活的调度策略,若不填写将根据集群默认调度策略进行随机调度。 同时设置多条自定义亲和策略时,需要保证集群中存在同时满足所有亲和策略的节点,否则插件实例将无法运行。
等多项功能。 一般情况下,Kubernetes在调度工作负载时会使用自带的默认调度器,若需要使用Volcano调度器的能力,您可以为工作负载指定调度器。关于Kubernetes调度器的详情请参见为Pod指定调度器。 约束与限制 调度大量工作负载的场景下,Volcano会打印较多的
变化,为防止Pod调度完成后,集群再次出现负载极端不均衡的情况下,Volcano同时提供重调度能力,通过负载感知和热点打散重调度结合使用,可以获得集群最佳的负载均衡效果。关于热点打散重调度能力的使用请参见重调度(Descheduler)。 工作原理 负载感知调度能力由Volcan
AI任务性能增强调度 公平调度(DRF) 组调度(Gang) 父主题: Volcano调度
普通任务(Job)和定时任务(CronJob) 普通任务(Job)和定时任务(CronJob) Job和CronJob是负责批量处理短暂的一次性任务(short lived one-off tasks),即仅执行一次的任务,它保证批处理任务的一个或多个Pod成功结束。 Job:是
当集群使用共享VPC时,不支持自动创建共享型ELB。 表1 ELB配置 创建方式 配置 选择已有 仅支持选择与集群在同一个VPC下的ELB实例。如果没有可选的ELB实例,请单击“创建负载均衡器”跳转到ELB控制台创建。 自动创建 实例名称:请填写ELB名称。 企业项目:该参数仅对开通企业
组调度(Gang) 组调度(Gang)满足了调度过程中“All or nothing”的调度需求,避免Pod的任意调度导致集群资源的浪费,主要应用于AI、大数据等多任务协作场景。启用该能力后,可以解决分布式训练任务之间的资源忙等待和死锁等痛点问题,大幅度提升整体训练性能。 前提条件
kubernetes.io/elb.id: <your_elb_id> #本示例中使用已有的独享型ELB,请替换为您的独享型ELB ID kubernetes.io/elb.class: performance # ELB类型 kubernetes.io/elb.protocol-port:
union:共享型负载均衡。 performance:独享型负载均衡,仅支持1.17及以上集群,详情请参见共享型弹性负载均衡与独享型负载均衡的功能区别。 v1.9及以上 kubernetes.io/elb.id String 仅关联已有ELB的场景:必填。 为负载均衡实例的ID。 获取方法:
kubernetes.io/elb.class: performance # ELB类型,TLS监听器仅支持performance,即独享型ELB kubernetes.io/elb.id: 35cb3
kubernetes.io/elb.id 是 String ELB的ID,仅支持使用已有ELB实例。 kubernetes.io/elb.class 是 String ELB类型。只能使用独享型ELB,即取值必须为performance。 kubernetes.io/elb.multicluster
为负载均衡类型的Service配置获取客户端IP 使用共享型ELB创建负载均衡类型的服务时,您可以通过配置annotation配置ELB的监听器获取客户端IP的能力。 使用独享型ELB时默认开启获取客户端IP,无需配置。 配置获取客户端IP后,如果您在YAML中删除对应的annotation,ELB侧的配置将会保留。
为负载均衡类型的Service配置HTTP/HTTPS协议 约束与限制 Service使用HTTP/HTTPS协议仅v1.19.16及以上版本集群支持。 表1 ELB支持HTTP/HTTPS协议的场景 ELB类型 使用场景 是否支持HTTP/HTTPS协议 说明 共享型ELB 对接已有ELB
kubernetes.io/elb.class: performance #需使用独享型ELB kubernetes.io/elb.id: <your_elb_id> #替换为您已有的ELB ID kubernetes.io/elb.port-ranges: