华为云用户手册

控制节点子网 集群下控制节点使用的子网。 参数名 取值范围 默认值 是否允许修改 作用范围 HostNetwork.subnet 无 无 支持创建集群时配置，不支持后续修改 CCE Standard/ CCE Turbo 用于创建控制节点的subnet的网络ID。获取方法如下： 方法1：登录虚拟私有云服务的控制台界面，单击VPC下的子网，进入子网详情页面，查找网络ID。 方法2：通过虚拟私有云服务的查询子网列表接口查询。

网络模型 集群下容器网络使用的模型架构。 参数名 取值范围 默认值 是否允许修改 作用范围 ContainerNetwork.mode overlay_l2/vpc-router/eni 无 支持创建集群时配置，不支持后续修改 CCE Standard/CCE Turbo overlay_l2：容器隧道网络，通过OVS（OpenVSwitch）为容器构建的overlay_l2网络。 vpc-router：VPC网络，使用ipvlan和自定义VPC路由为容器构建的Underlay的l2网络。 配置建议： 优选CCE Turbo

IPv4 服务网段 同一集群下容器互相访问时使用的Service资源的网段。 参数名 取值范围 默认值 是否允许修改 作用范围 kubernetesSvcIpRange 无 无 支持创建集群时配置，不支持后续修改 CCE Standard/CCE Turbo 服务网段参数，kubernetes clusterIP取值范围，1.11.7版本及以上支持。创建集群时如若未传参，默认为"10.247.0.0/16"。

组调度 将一组Pod看做一个整体进行资源分配。观察Job下的Pod已调度数量是否满足了最小运行数量，当Job的最小运行数量得到满足时，为Job下的所有Pod执行调度动作，否则，不执行。 参数名 取值范围 默认值 是否允许修改 作用范围 gang true/false true 允许 CCE Standard/CCE Turbo Gang调度策略是volcano-scheduler的核心调度算法之一，它满足了调度过程中的“All or nothing”的调度需求，避免Pod的任意调度导致集群资源的浪费。具体算法是，观察Job下的Pod已调度数量是否满足了最小运行数量，当Job的最小运行数量得到满足时，为Job下的所有Pod执行调度动作，否则，不执行。 配置建议： 基于容器组概念的Gang调度算法十分适合需要多进程协作的场景。AI场景往往包含复杂的流程，Data Ingestion、Data Analysts、Data Splitting、Trainer、Serving、Logging等，需要一组容器进行协同工作，就很适合基于容器组的Gang调度策略。MPI计算框架下的多线程并行计算通信场景，由于需要主从进程协同工作，也非常适合使用Gang调度策略。容器组下的容器高度相关也可能存在资源争抢，整体调度分配，能够有效解决死锁。 在集群资源不足的场景下，gang的调度策略对于集群资源的利用率的提升是非常明显的。

公平调度 DRF调度算法（Dominant Resource Fairness）可以根据作业使用的主导资源份额进行调度，资源份额较小的作业将具有更高优先级。 参数名 取值范围 默认值 是否允许修改 作用范围 drf true/false true 允许 CCE Standard/CCE Turbo DRF调度算法的全称是Dominant Resource Fairness，是基于容器组Domaint Resource的调度算法。volcano-scheduler观察每个Job请求的主导资源，并将其作为对集群资源使用的一种度量，根据Job的主导资源，计算Job的share值，在调度的过程中，具有较低share值的Job将具有更高的调度优先级。这样能够满足更多的作业，不会因为一个资源份额较大业务，导致大批资源份额小的业务无法调度。DRF调度算法能够确保在多种类型资源共存的环境下,尽可能满足分配的公平原则。 配置建议： DRF调度算法优先考虑集群中业务的吞吐量，适用单次AI训练、单次大数据计算以及查询等批处理小业务场景。

昇腾NPU预选调度 支持昇腾NPU HC CS 亲和预选调度 参数名 取值范围 默认值 是否允许修改 作用范围 cce-gpu-topology-predicate true/false true 允许 CCE Standard/CCE Turbo 一台AI服务器上共有8块NPU 1980芯片，4P * 2方式。每4块NPU 1980芯片之间通过HCCS互联，4块之间通过PCIe swith互联。 HCCS互联的4块NPU 1980芯片较PCIe swith互联有更大的带宽，可以针对HCCS做亲和性调度发挥HCCS的带宽优势。 配置建议： 使用NPU的集群默认开启，不使用NPU资源可以关闭

专家模式 如果上述Volcano的典型配置无法满足您的业务场景，可以使用专家模式定制专属于您的调度策略 参数名 取值范围 默认值 是否允许修改 作用范围 expert-mode json格式 actions: 'allocate, backfill, preempt' tiers: - plugins: - name: 'priority' - name: 'gang' - name: 'conformance' - name: 'lifecycle' arguments: lifecycle.MaxGrade: 10 lifecycle.MaxScore: 200.0 lifecycle.SaturatedTresh: 1.0 lifecycle.WindowSize: 10 - plugins: - name: 'drf' - name: 'predicates' - name: 'nodeorder' - plugins: - name: 'cce-gpu-topology-predicate' - name: 'cce-gpu-topology-priority' - name: 'cce-gpu' - plugins: - name: 'nodelocalvolume' - name: 'nodeemptydirvolume' - name: 'nodeCSIscheduling' - name: 'networkresource' 允许 CCE Standard/CCE Turbo volcano-scheduler是负责Pod调度的组件，它由一系列action和plugin组成。action定义了调度各环节中需要执行的动作；plugin根据不同场景提供了action 中算法的具体实现细节。 您可以根据官方文档中对每个action和plugin的说明，定义专属于您的调度策略。 详情可参见：https://support.huaweicloud.com/usermanual-cce/cce_10_0193.html#section1 配置建议： 使用默认配置 该项配置有一定的使用门槛，需要对调度有深入了解的客户，才可以根据官方文档进行定制化修改调度策略。

在离线业务混部 在离线业务混部是将多种应用在一个集群内部署，通过预测分析应用特性，实现业务对集群资源的充分利用； 参数名 取值范围 默认值 是否允许修改 作用范围 colocation-enable true/false false 允许 CCE Turbo 从集群维度来看，混部是将多种应用在一个集群内部署，通过预测分析应用特性，实现业务对集群资源的充分利用；从节点维度来看，混部是将多个容器部署在同一个节点上，这些容器内的应用既包括在线类型，也包括离线类型。根据应用对资源质量需求的差异，在线应用可以归纳为延时敏感型LS（Latency Sensitive），通常对请求压力（QPS）或访问延迟（RT）等指标有明确的要求，对资源质量较为敏感；离线应用可以归纳为资源消耗型BE（Best Effort），通常是一些计算密集型的任务类应用，有较好的容错重试能力，对资源质量的要求相对较为宽松。 配置建议： 只有在HCE 2.0的OS节点支持

负载感知调度 Volcano调度器提供节点CPU、Memory的负载感知调度能力，感知集群内节点CPU、Memory的负载情况，将Pod优先调度到负载较低的节点，实现节点负载均衡，避免出现因单个节点负载过高而导致的应用程序或节点故障。 参数名 取值范围 默认值 是否允许修改 作用范围 usage true/false false 允许 CCE Standard/CCE Turbo 负载感知调度支持的配置参数如下： 参数 说明 默认值 负载感知调度策略权重 增大该权重值，可提高负载感知策略在整体调度中的影响力。 5 CPU权重 增大该权重值，优先均衡CPU资源。 1 内存权重 增大该权重值，优先均衡内存资源。 1 真实负载阈值生效方式 软约束：节点CPU、内存真实负载达到阈值后，新的任务优先被分配至真实负载未达到阈值的节点，但是该节点依然允许调度。 硬约束：节点CPU、内存真实负载达到阈值后，该节点不允许调度新的任务。 硬约束 CPU真实负载阈值 节点CPU真实利用率超过该阈值后，会根据真实负载阈值生效方式，将工作负载优先或强制调度到其他节点。 80 内存真实负载阈值 节点内存真实利用率超过该阈值后，会根据真实负载阈值生效方式，将工作负载优先或强制调度到其他节点。 80 配置建议： 为达到最优的负载感知调度效果，可以选择关闭装箱（binpack）策略。装箱策略（binpack）根据Pod的Request资源信息，将Pod优先调度到资源消耗较多的节点，在一定程度上会影响负载感知调度的效果。多种策略的结合使用案例可参考资源利用率优化调度配置案例。

节点优选策略 优选节点的常用算法，通过模拟分配从各个维度为节点打分，找到最适合当前作业的节点。 参数名 取值范围 默认值 是否允许修改 作用范围 nodeorder 开启和关闭插件：true/false 打分参数： nodeaffinity.weight：非负整数。 podaffinity.weight：非负整数。 leastrequested.weight：非负整数。 balancedresource.weight：非负整数。 mostrequested.weight：非负整数。 tainttoleration.weight：非负整数。 imagelocality.weight：非负整数。 volumebinding.weight：非负整数。 podtopologyspread.weight：非负整数。 开启插件：TRUE nodeaffinity.weight：1。 podaffinity.weight：1。 leastrequested.weight：1。 balancedresource.weight：1。 mostrequested.weight：0。 tainttoleration.weight：1。 imagelocality.weight：1。 volumebinding.weight：1。 podtopologyspread.weight：2。 允许 CCE Standard/CCE Turbo 打分参数： nodeaffinity.weight：节点亲和性优先调度，默认值是1。 podaffinity.weight：Pod亲和性优先调度，默认值是1。 leastrequested.weight：资源分配最少的节点优先，默认值是1。 balancedresource.weight：节点上面的不同资源分配平衡的优先，默认值是1。 mostrequested.weight：资源分配最多的节点优先，默认值是0。 tainttoleration.weight：污点容忍高的优先调度，默认值是1。 imagelocality.weight：节点上面有Pod需要镜像的优先调度，默认值是1。 volumebinding.weight：Local PV延迟绑定调度，默认值是1。 podtopologyspread.weight：Pod拓扑调度，默认值是2。 配置建议： 建议使用默认配置，如果业务有特殊的述求，可以根据业务实际场景调整各权重值。 增大策略对应的权重值，可以使该策略在节点打分时发挥更大的影响力。 NodeOrder和Binpack对某个节点的给出的基础分值，并根据对应的权重值进行倍数放大，调整插件中某个策略的权重值后，该策略对于节点打分的整体影响力增加，其他插件对节点评分的影响力将会同步被削弱。

可用区部署策略 优先模式：以拓扑域topology.kubernetes.io/zone为key做多实例副本软的反亲和部署。优先将插件的容器实例调度到不同可用区的节点上，如集群下节点不满足多可用区，插件实例将调度到单可用区下的不同节点。 强制模式：以拓扑域topology.kubernetes.io/zone为key做多实例副本硬反亲和部署。插件容器实例强制调度到不同可用区的节点上，如集群下节点支持的可用区数目小于实例数，插件实例将无法全部运行。 参数名 取值范围 默认值 是否允许修改 作用范围 availability-zone 优先模式/强制模式 优先模式 允许 CCE Standard/CCE Turbo 配置建议： 优先模式

节点亲和 用户支持指定volcano插件的节点亲和调度策略 参数名 取值范围 默认值 是否允许修改 作用范围 affinity 不配置/亲和节点调度/亲和节点池调度/自定义亲和策略 不配置 允许 CCE Standard/CCE Turbo 不配置：插件实例不指定节点亲和调度。 指定节点调度：指定插件实例部署的节点。若不指定，将根据集群默认调度策略进行随机调度。 指定节点池调度：指定插件实例部署的节点池。若不指定，将根据集群默认调度策略进行随机调度。 自定义亲和策略：填写期望插件部署的节点标签实现更灵活的调度策略，若不填写将根据集群默认调度策略进行随机调度。 配置建议： 使用默认配置 同时设置多条自定义亲和策略时，需要保证集群中存在同时满足所有亲和策略的节点，否则插件实例将无法运行。

节点迁移速率 当某区域健康时，在节点故障的情况下每秒删除 Pods 的节点数比例 参数名 取值范围 默认值 是否允许修改 作用范围 node-eviction-rate 大于0小于1 0.1 允许 CCE Standard/CCE Turbo 当某区域健康时，在节点故障的情况下每秒删除 Pods 的比例 配置建议： 结合集群规模合理设置，建议按比例折算后每批迁移pod数量不超过300 迁移速率设置过大可能引入集群过载风险，同时每批迁移重调度的pod过多，大量pod无法及时调度，影响整体故障恢复时间

次级节点迁移速率 当一个区域不健康造成节点失效时，每秒钟从此标志所给的节点上删除 Pod 的节点数比例 参数名 取值范围 默认值 是否允许修改 作用范围 secondary-node-eviction-rate 大于0小于1 0.01 允许 CCE Standard/CCE Turbo 当一个区域不健康造成节点失效时，每秒钟从此标志所给的节点上删除 Pod 的节点数比例，小规模集群场景（可用区节点数在50及以下该值会被隐式重设为 0） 配置建议： 配合node-eviction-rate设置，一般建议设置为node-eviction-rate的十分之一 区域亚健康场景迁移速率设置过大无实际意义，且可能引入集群过载风险

可用区亚健康阈值 当给定区域中处于非就绪状态的节点的占比高于此值时， 会将该区域视为不健康 参数名 取值范围 默认值 是否允许修改 作用范围 unhealthy-zone-threshold 大于0小于1 0.55 允许 CCE Standard/CCE Turbo 当可用区故障节点规模达到指定比例时被认定为不健康，针对不健康的区域，故障节点业务的迁移频率会降级，避免规模故障场景下大规模迁移操作产生更坏的影响 配置建议： 无特殊需求建议保持默认配置 比例配置过大可能导致区域在规模故障场景下仍尝试执行大规模迁移动作，导致集群过载等风险

终止状态pod触发回收的数量阈值 集群中可保留的终止状态Pod数量，超出该数量终止状态Pod将会被删除回收 参数名 取值范围 默认值 是否允许修改 作用范围 terminated-pod-gc-threshold 10-12500 集群版本为v1.21.11-r40、v1.23.8-r0、v1.25.6-r0、v1.27.3-r0及以上时，取值范围调整为0-100000 说明： 该参数设置为0时，表示保留所有终止状态的Pod。 1000 允许 CCE Standard/CCE Turbo 配置建议： 1000 配置过大集群可能存在大量终止状态的Pod，影响相关List查询请求性能，产生集群过载风险

启用资源配额管理 是否启用资源配额管理功能 参数名 取值范围 默认值 是否允许修改 作用范围 enable-resource-quota true/false false 允许 1.21版本以上的CCE Standard/CCE Turbo集群 通过配额管理功能，用户可以对命名空间或相关维度下的各类负载（deployment, pod等）数量以及资源（cpu, memory）上限进行控制。启用该功能后，用户创建命名空间时将自动创建ResourceQuota对象 在高并发场景下（如批量创建pod），配额管理机制可能导致部分请求因冲突而失败，除非必要不建议启用该功能；如启用，请确保请求客户端具备重试机制

企业项目 集群所归属的企业项目。企业项目是一种云资源管理方式，企业项目管理服务提供统一的云资源按项目管理，以及项目内的资源管理、成员管理。 参数名 取值范围 默认值 是否允许修改 作用范围 enterpriseProjectId 租户下已存在的企业项目ID default 在企业项目管理界面支持变更 CCE Standard/CCE Turbo 用户需要开通企业项目功能后才可配置企业项目。 集群所属的企业项目与集群下所关联的其他云服务资源所属的企业项目尽量保持一致 配置建议： 与资源标签用途类似，用户可以按照管理需求，将不同归属的集群规划到不同企业项目下进行治理，常见的划分维度包括业务领域、部门、环境归属（生产环境、测试环境）等

自定义集群API Server证书SAN 集群的API Server服务端证书中的自定义SAN（Subject Alternative Name）字段，遵从SSL标准X509定义的格式规范。 参数名 取值范围 默认值 是否允许修改 作用范围 customSan 不允许出现同名重复。 格式符合IP和 域名 格式。 无 允许 CCE Standard/CCE Turbo SAN通常在TLS握手阶段被用于客户端校验服务端的合法性：服务端证书是否被客户端信任的CA所签发，且证书中的SAN是否与客户端实际访问的IP地址或DNS域名匹配。 当客户端无法直接访问集群内网私有IP地址或者公网弹性IP地址时，您可以将客户端可直接访问的IP地址或者DNS域名签入集群服务端证书，以支持客户端开启双向认证，提高安全性。典型场景例如DNAT访问、域名访问等特殊场景。 配置建议： 域名访问场景的典型使用方式如下： 客户端配置Host域名指定DNS域名地址，或者客户端主机配置/etc/hosts，添加相应域名映射。 云上内网使用， 云解析服务DNS 支持配置集群弹性IP与自定义域名的映射关系。后续更新弹性IP可以继续使用双向认证+自定义域名访问集群，无需重新下载kubeconfig.json配置文件。 自建DNS服务器，自行添加A记录。

集群规模 集群支持管理的最大节点数量，请根据业务场景选择。创建完成后支持扩容，不支持缩容。 参数名 取值范围 默认值 是否允许修改 作用范围 flavor cce.s1.small: 小规模单控制节点CCE集群（最大50节点） cce.s1.medium: 中等规模单控制节点CCE集群（最大200节点） cce.s2.small: 小规模多控制节点CCE集群（最大50节点） cce.s2.medium: 中等规模多控制节点CCE集群（最大200节点） cce.s2.large: 大规模多控制节点CCE集群（最大1000节点） cce.s2.xlarge: 超大规模多控制节点CCE集群（最大2000节点） cce.s1.small 不支持直接修改，仅支持通过集群规格变更修改 CCE Standard/CCE Turbo s1：单控制节点CCE集群。 s2：多控制节点CCE集群。 最大节点数：当前集群支持管理的最大节点规模，请根据业务需求选择。 单控制节点集群：普通集群是单控制节点，控制节点故障后，集群将不可用，但已运行工作负载不受影响。 多控制节点集群：即高可用集群，当某个控制节点故障时，集群仍然可用。 配置建议： 除用于试验性用途用户可以视情况选择单控制节点规格外，凡是对可靠性有要求的应用场景请务必选择多控制节点集群规格。 请结合业务最大预期规模选择合适的集群规格，同时预留一定的buffer（如业务规模评估在50节点规模左右，那么请选择50上一档位的规格，即200节点规格），集群使用过程中建议保持对集群管理面资源占用情况的监控跟踪，观察到资源存在压力时及时调整集群规格进行扩容，避免集群过载风险

集群控制节点指定可用区 集群控制节点所处的可用区，以下两个参数不可同时指定。 参数名 取值范围 默认值 是否允许修改 作用范围 masters availabilityZone列表，用于指定master节点的可用区，该列表长度与集群的master节点数有关。例如3个master节点的集群示例如下： [{"availabilityZone": "AZ1"},{"availabilityZone": "AZ2"},{"availabilityZone": "AZ3"}] 无 支持初始化时配置，不支持后续修改 CCE Standard/CCE Turbo clusterAZ multi_az：随机多可用区，仅使用高可用集群时才可以配置多可用区。 指定AZ名称：例如“cn-east-3a”，表示将全部控制节点创建在该可用区下。 无 允许 CCE Standard/CCE Turbo

集群资源标签 为集群添加TMS资源标签，便于按照相应维度对集群资源和其他云服务资源进行统一检索和管理 参数名 取值范围 默认值 是否允许修改 作用范围 clusterTags 标签以key=value的形式赋值，其中key：最大长度36字符，由小写字母、数字、中划线(-)、下划线（_）组成 value：最大长度43字符，由小写字母、数字、中划线(-)、下划线（_）组成 无 允许 CCE Standard/CCE Turbo 每个集群最多支持添加20个标签 配置建议： 用户可以按照管理需求，将资源划分的维度以标签形式进行抽象，常见的划分维度包括业务领域、部门、环境归属（生产环境、测试环境）等

容器网络固定IP池掩码位数 容器网络固定IP池掩码位数，仅vpc-router网络支持。 该参数决定节点可分配容器IP数量，与创建节点时设置的maxPods参数共同决定节点最多可以创建多少个Pod 参数名 取值范围 默认值 是否允许修改 作用范围 alpha.cce/fixPoolMask 24 ~ 28 无 允许 CCE Standard/CCE Turbo 容器网络固定IP池掩码位数，仅vpc-router网络支持。 该参数决定节点可分配容器IP数量，与创建节点时设置的maxPods参数共同决定节点最多可以创建多少个Pod

集群控制节点操作系统架构 集群控制节点架构 参数名 取值范围 默认值 是否允许修改 作用范围 type VirtualMachine BareMetal Windows ARM64 VirtualMachine 支持初始化时配置，不支持后续修改 CCE Standard/CCE Turbo VirtualMachine：Master节点为x86架构服务器 ARM64: Master节点为鲲鹏（ARM架构）服务器

集群描述 集群描述，对于集群使用目的的描述，可根据实际情况自定义，默认为空。 参数名 取值范围 默认值 是否允许修改 作用范围 description 仅支持utf-8编码 支持200个字符以内 无 允许 CCE Standard/CCE Turbo 集群描述，对于集群使用目的的描述，可根据实际情况自定义，默认为空。集群创建成功后可通过接口更新指定的集群来做出修改，也可在CCE控制台中对应集群的“集群详情”下的“描述”处进行修改。 配置建议： 用户根据实际情况自行定义

集群CPU管理策略 提供的CPU管理策略为应用分配独占的CPU核（即CPU绑核），提升应用性能，减少应用的调度延迟。 参数名 取值范围 默认值 是否允许修改 作用范围 kubernetes.io/cpuManagerPolicy none/static 无 支持初始化时配置，不支持后续修改 CCE Standard/CCE Turbo 集群CPU管理策略。取值为none（或空值）或static，默认为none（或空值）。 none(或空值)：关闭工作负载实例独占CPU核的功能，优点是CPU共享池的可分配核数较多 static：支持给节点上的工作负载实例配置CPU独占，适用于对CPU缓存和调度延迟敏感的工作负载，Turbo集群下仅对普通容器节点有效，安全容器节点无效。

集群平台版本号 CCE集群平台版本号，表示集群版本(version)下的内部版本。用于跟踪某一集群版本内的迭代，集群版本内唯一，跨集群版本重新计数。不支持用户指定，集群创建时自动选择对应集群版本的最新平台版本。 参数名 取值范围 默认值 是否允许修改 作用范围 platformVersion platformVersion格式为：cce.X.Y X: 表示内部特性版本。集群版本中特性或者补丁修复，或者OS支持等变更场景。其值从1开始单调递增。 Y: 表示内部特性版本的补丁版本。仅用于特性版本上线后的软件包更新，不涉及其他修改。其值从0开始单调递增。 无 允许 CCE Standard/CCE Turbo CCE集群平台版本号，表示集群版本(version)下的内部版本。用于跟踪某一集群版本内的迭代，集群版本内唯一，跨集群版本重新计数。不支持用户指定，集群创建时自动选择对应集群版本的最新平台版本。 配置建议： 推荐使用最新的集群小版本

计费模式 包年包月是预付费模式，按订单的购买周期计费，适用于可预估资源使用周期的场景，价格比按需计费模式更优惠。 按需计费是后付费模式，按资源的实际使用时长计费，可以随时开通/删除资源。 参数名 取值范围 默认值 是否允许修改 作用范围 billingMode 0: 按需计费 1: 包周期 0 按需计费的集群支持变更为包周期集群，包周期集群无法变更为按需计费模式。 CCE Standard/CCE Turbo 集群转包时支持勾选归属集群的计算节点一并转包；同时，发起转包后需要完成订单付费操作才能生效，请按照前端引导进行操作 配置建议： 长期稳定使用的集群可以考虑选择包周期模式，有助于降低成本

集群显示名称 集群显示名称 参数名 取值范围 默认值 是否允许修改 作用范围 alias 以小写字母开头，由小写字母、数字、中划线(-)组成，长度范围4-128位，且不能以中划线(-)结尾 集群显示名不指定时，默认继承集群名称的取值 更新集群时支持修改 CCE Standard/CCE Turbo 集群显示名，用于在 CCE 界面显示，该名称创建后可修改 配置建议： 按照集群资源归属（如一般集群还是GPU集群）、应用场景（测试集群还是生产集群）等维度命名，方便区分和管理

集群版本 集群版本，与Kubernetes社区基线版本保持一致，建议选择最新版本。 参数名 取值范围 默认值 是否允许修改 作用范围 version 在维版本 最新的商用版本 仅支持创建集群时自定义版本，集群创建完成后不支持修改，此时可以通过升级集群变更版本号 CCE Standard/CCE Turbo 若不配置，默认创建最新版本的集群。 若指定集群基线版本但是不指定具体r版本，则系统默认选择对应集群版本的最新r版本。建议不指定具体r版本由系统选择最新版本。 Turbo集群支持1.19及以上版本商用。 配置建议： 推荐使用最新的商用版本。