华为云用户手册

计费周期 按需计费资源按秒计费，每一个小时整点结算一次费用（以GMT+08:00时间为准），结算完毕后进入新的计费周期。计费的起点以集群/节点创建成功的时间点为准，终点以实例删除时间为准。 集群/节点从下发创建命令到正常运行存在时间差，计费的起点是集群/节点创建成功的时间点，而非开始创建时间。您可以在CCE控制台中的“操作记录”中查看这两个时间。 例如，您在8:45:30购买了一个按需计费的集群，然后在8:55:30将其删除，则计费周期为8:00:00 ~ 9:00:00，在8:45:30 ~ 8:55:30间产生费用，该计费周期内的计费时长为600秒。

集群休眠计费策略 一般情况下，对于按需计费的集群，休眠状态期间的计费策略如下： 集群休眠后，集群管理费用不再收取，但集群中包含的其他云服务计费资源（例如云硬盘、带宽等）不受集群休眠影响，仍然按原有的计费方式进行计费。 集群休眠后，集群中的节点（即弹性云服务器）并不会自动关机，如需关机可勾选“关机集群下所有节点”选项。您也可以在集群休眠后自行登录E CS 控制台将节点关机，具体请参见节点关机。关于节点关机后的计费策略请参见节点关机计费策略。 集群休眠后，控制节点资源会被释放，如局点计算资源紧张，可能会出现后续唤醒失败的情况。 例如，您在9:00:00购买了一个按需计费集群，集群规模为50节点，并在9:30:00对集群进行休眠，那么在9:00:00 ~ 10:00:00的计费周期中，在9:00:00 ~ 9:30:00间产生费用，该计费周期内的计费时长为30分钟。

适用计费项 使用云容器引擎CCE时，表1中的计费项支持从CCE控制台选择计费模式（包年/包月或按需计费）。CCE相关的其他云服务资源计费项，通过CCE自动创建时均默认为按需计费，计费详情请参考对应云服务的计费说明，本文中不再说明。 表1 适用计费项 计费项 资源类型 说明 集群 - 根据集群规模和高可用模式计费。 节点（弹性云服务器 ECS） 实例规格 包括vCPU和内存。 云硬盘 随按需计费云服务器创建的云硬盘，其计费模式也为按需计费。包括系统盘和数据盘。 弹性公网IP 通过CCE控制台创建的按需计费云服务器支持同时绑定“按带宽计费”或“按流量计费”的弹性公网IP。CCE控制台不支持加入共享带宽，请前往弹性公网IP控制台购买后绑定至云服务器。 搭配“按带宽计费”的弹性公网IP时，带宽的计费模式同为按需计费。

适用计费项 使用云容器引擎CCE时，表1中的计费项支持从CCE控制台选择计费模式（包年/包月或按需计费）。CCE相关的其他云服务资源计费项无法从CCE控制台购买包年/包月资源，需要前往各自的云服务控制台购买包年/包月资源，计费详情请参考对应云服务的计费说明，本文中不再说明。 表1 适用计费项 计费项 资源类型 说明 集群 - 根据集群规模和高可用模式计费。 节点（弹性云服务器 ECS） 实例规格 包括vCPU和内存。 云硬盘 随包年/包月云服务器创建的云硬盘，其计费模式也为包年/包月。包括系统盘和数据盘。 弹性公网IP 通过CCE控制台创建的包年/包月云服务器仅支持绑定“按带宽计费”的弹性公网IP。如需使用“按流量计费”或“加入共享带宽”，请前往弹性公网IP控制台购买后绑定至云服务器。 包年/包月云服务器搭配“按带宽计费”的弹性公网IP时，带宽的计费模式同为包年/包月。

到期后影响 图1描述了包年/包月资源各个阶段的状态。购买后，在计费周期内资源正常运行，此阶段为有效期；资源到期而未续费时，将陆续进入宽限期和保留期。 图1 包年/包月资源生命周期 到期预警 包年/包月资源在到期前7天内，系统将向用户推送到期预警消息。预警消息将通过邮件、短信和站内信的方式通知到华为云账号的创建者。 到期后影响 当您的包年/包月资源到期未续费，资源将会进入宽限期，状态变为“已过期”。宽限期内您仍然可以正常访问及使用该资源。 如果超过宽限期后，您仍未续费包年/包月资源，资源将会进入保留期，资源状态变为“已冻结”，您将无法对处于保留期的包年/包月资源执行任何操作。 保留期到期后，若包年/包月资源仍未续费，那么该资源订单中包含的其他资源（例如云硬盘、弹性公网IP）也都将被释放，数据无法恢复。 华为云为客户提供充分的时间进行续费与充值，当您的包年/包月资源到期未续订或按需资源欠费时会依次进入宽限期和保留期，详情请参见宽限期和保留期。 关于续费的详细介绍请参见续费概述。

适用场景 包年/包月计费模式需要用户预先支付一定时长的费用，适用于长期、稳定的业务需求。以下是一些适用于包年/包月计费模式的业务场景： 稳定业务需求：对于长期运行且资源需求相对稳定的业务，如企业官网、在线商城、博客等，包年/包月计费模式能提供较高的成本效益。 长期项目：对于周期较长的项目，如科研项目、大型活动策划等，包年/包月计费模式可以确保在整个项目周期内资源的稳定使用。 数据安全要求高：对于对数据安全性要求较高的业务，包年/包月计费模式可确保资源的持续使用，降低资源欠费导致的数据安全风险。

回滚 回滚也称为回退，即当发现升级出现问题时，让应用回到老的版本。Deployment可以非常方便的回滚到老版本。 例如上面升级的新版镜像有问题，可以执行kubectl rollout undo命令进行回滚。 $ kubectl rollout undo deployment nginx deployment.apps/nginx rolled back Deployment之所以能如此容易的做到回滚，是因为Deployment是通过ReplicaSet控制Pod的，升级后之前ReplicaSet都一直存在，Deployment回滚做的就是使用之前的ReplicaSet再次把Pod创建出来。Deployment中保存ReplicaSet的数量可以使用revisionHistoryLimit参数限制，默认值为10。

升级 在实际应用中，升级是一个常见的场景，Deployment能够很方便的支撑应用升级。 Deployment可以设置不同的升级策略，有如下两种。 RollingUpdate：滚动升级，即逐步创建新Pod再删除旧Pod，为默认策略。 Recreate：替换升级，即先把当前Pod删掉再重新创建Pod。 Deployment的升级可以是声明式的，也就是说只需要修改Deployment的YAML定义即可，比如使用kubectl edit命令将上面Deployment中的镜像修改为nginx:alpine。修改完成后再查询ReplicaSet和Pod，发现创建了一个新的ReplicaSet，Pod也重新创建了。 $ kubectl edit deploy nginx $ kubectl get rs NAME DESIRED CURRENT READY AGE nginx-6f9f58dffd 2 2 2 1m nginx-7f98958cdf 0 0 0 48m $ kubectl get pods NAME READY STATUS RESTARTS AGE nginx-6f9f58dffd-tdmqk 1/1 Running 0 1m nginx-6f9f58dffd-tesqr 1/1 Running 0 1m Deployment可以通过maxSurge和maxUnavailable两个参数控制升级过程中同时重新创建Pod的比例，这在很多时候是非常有用，配置如下所示。 spec: strategy: rollingUpdate: maxSurge: 1 maxUnavailable: 0 type: RollingUpdate maxSurge：与Deployment中spec.replicas相比，可以有多少个Pod存在，默认值是25%，比如spec.replicas为 4，那升级过程中就不能超过5个Pod存在，即按1个的步伐升级，实际升级过程中会换算成数字，且换算会向上取整。这个值也可以直接设置成数字。 maxUnavailable：与Deployment中spec.replicas相比，可以有多少个Pod失效，也就是删除的比例，默认值是25%，比如spec.replicas为4，那升级过程中就至少有3个Pod存在，即删除Pod的步伐是1。同样这个值也可以设置成数字。 在前面的例子中，由于spec.replicas是2，如果maxSurge和maxUnavailable都为默认值25%，那实际升级过程中，maxSurge允许最多3个Pod存在（向上取整，2*1.25=2.5，取整为3），而maxUnavailable则不允许有Pod Unavailable（向上取整，2*0.75=1.5，取整为2），也就是说在升级过程中，一直会有2个Pod处于运行状态，每次新建一个Pod，等这个Pod创建成功后再删掉一个旧Pod，直至Pod全部为新Pod。

Deployment如何控制Pod 继续查询Pod，如下所示。 $ kubectl get pods NAME READY STATUS RESTARTS AGE nginx-7f98958cdf-tdmqk 1/1 Running 0 13s nginx-7f98958cdf-txckx 1/1 Running 0 13s 如果删掉一个Pod，您会发现立马会有一个新的Pod被创建出来，如下所示，这就是前面所说的Deployment会确保有2个Pod在运行，如果删掉一个，Deployment会重新创建一个，如果某个Pod故障或有其他问题，Deployment会自动拉起这个Pod。 $ kubectl delete pod nginx-7f98958cdf-txckx $ kubectl get pods NAME READY STATUS RESTARTS AGE nginx-7f98958cdf-tdmqk 1/1 Running 0 21s nginx-7f98958cdf-tesqr 1/1 Running 0 1s 看到有如下两个名为nginx-7f98958cdf-tdmqk和nginx-7f98958cdf-tesqr的Pod， 其中nginx是直接使用Deployment的名称，-7f98958cdf-tdmqk和-7f98958cdf-tesqr是kubernetes随机生成的后缀。 您也许会发现这两个后缀中前面一部分是相同的，都是7f98958cdf，这是因为Deployment不是直接控制Pod的，Deployment是通过一种名为ReplicaSet的控制器控制Pod，通过如下命令可以查询ReplicaSet，其中rs是ReplicaSet的缩写。 $ kubectl get rs NAME DESIRED CURRENT READY AGE nginx-7f98958cdf 2 2 2 1m 这个ReplicaSet的名称为nginx-7f98958cdf，后缀-7f98958cdf也是随机生成的。 Deployment控制Pod的方式如图2所示，Deployment控制ReplicaSet，ReplicaSet控制Pod。 图2 Deployment通过ReplicaSet控制Pod 如果使用kubectl describe命令查看Deployment的详情，您就可以看到ReplicaSet，如下所示，可以看到有一行NewReplicaSet: nginx-7f98958cdf (2/2 replicas created)，而且Events里面事件确是把ReplicaSet的实例扩容到2个。在实际使用中您也许不会直接操作ReplicaSet，但了解Deployment通过控制ReplicaSet来控制Pod会有助于您定位问题。 $ kubectl describe deploy nginx Name: nginx Namespace: default CreationTimestamp: Sun, 16 Dec 2018 19:21:58 +0800 Labels: app=nginx ... NewReplicaSet: nginx-7f98958cdf (2/2 replicas created) Events: Type Reason Age From Message ---- ------ ---- ---- ------- Normal ScalingReplicaSet 5m deployment-controller Scaled up replica set nginx-7f98958cdf to 2

无状态负载（Deployment） Pod是Kubernetes创建或部署的最小单位，但是Pod是被设计为相对短暂的一次性实体，Pod可以被驱逐（当节点资源不足时）、随着集群的节点崩溃而消失。Kubernetes提供了Controller（控制器）来管理Pod，Controller可以创建和管理多个Pod，提供副本管理、滚动升级和自愈能力，其中最为常用的就是Deployment。 图1 Deployment 一个Deployment可以包含一个或多个Pod副本，每个Pod副本的角色相同，所以系统会自动为Deployment的多个Pod副本分发请求。 Deployment集成了上线部署、滚动升级、创建副本、恢复上线的功能，在某种程度上，Deployment实现无人值守的上线，大大降低了上线过程的复杂性和操作风险。

创建Deployment 以下示例为创建一个名为nginx的Deployment负载，使用nginx:latest镜像创建两个Pod，每个Pod占用100m CPU、200Mi内存。 apiVersion: apps/v1 # 注意这里与Pod的区别，Deployment是apps/v1而不是v1 kind: Deployment # 资源类型为Deployment metadata: name: nginx # Deployment的名称 spec: replicas: 2 # Pod的数量，Deployment会确保一直有2个Pod运行 selector: # Label Selector matchLabels: app: nginx template: # Pod的定义，用于创建Pod，也称为Pod template metadata: labels: app: nginx spec: containers: - image: nginx:latest name: container-0 resources: limits: cpu: 100m memory: 200Mi requests: cpu: 100m memory: 200Mi imagePullSecrets: - name: default-secret 从这个定义中可以看到Deployment的名称为nginx，spec.replicas定义了Pod的数量，即这个Deployment控制2个Pod；spec.selector是Label Selector（标签选择器），表示这个Deployment会选择Label为app=nginx的Pod；spec.template是Pod的定义，内容与Pod中的定义完全一致。 将上面Deployment的定义保存到deployment.yaml文件中，使用kubectl创建这个Deployment。 使用kubectl get查看Deployment和Pod，可以看到READY值为2/2，前一个2表示当前有2个Pod运行，后一个2表示期望有2个Pod，AVAILABLE为2表示有2个Pod是可用的。 $ kubectl create -f deployment.yaml deployment.apps/nginx created $ kubectl get deploy NAME READY UP-TO-DATE AVAILABLE AGE nginx 2/2 2 2 4m5s

Docker容器典型使用流程 Docker容器有如下三个主要概念： 镜像：Docker镜像里包含了已打包的应用程序及其所依赖的环境。它包含应用程序可用的文件系统和其他元数据，如镜像运行时的可执行文件路径。 镜像仓库：Docker镜像仓库用于存放Docker镜像，以及促进不同人和不同电脑之间共享这些镜像。当编译镜像时，要么可以在编译它的电脑上运行，要么可以先上传镜像到一个镜像仓库，然后下载到另外一台电脑上并运行它。某些仓库是公开的，允许所有人从中拉取镜像，同时也有一些是私有的，仅部分人和机器可接入。 容器：Docker容器通常是一个Linux容器，它基于Docker镜像被创建。一个运行中的容器是一个运行在Docker主机上的进程，但它和主机，以及所有运行在主机上的其他进程都是隔离的。这个进程也是资源受限的，意味着它只能访问和使用分配给它的资源（CPU、内存等）。 典型的使用流程如图2所示： 图2 Docker容器典型使用流程 首先开发者在开发环境机器上开发应用并制作镜像。 Docker执行命令，构建镜像并存储在机器上。 开发者发送上传镜像命令。 Docker收到命令后，将本地镜像上传到镜像仓库。 开发者向生产环境机器发送运行镜像命令。 生产环境机器收到命令后，Docker会从镜像仓库拉取镜像到机器上，然后基于镜像运行容器。

容器与Docker 容器技术起源于Linux，是一种内核虚拟化技术，提供轻量级的虚拟化，以便隔离进程和资源。尽管容器技术已经出现很久，却是随着Docker的出现而变得广为人知。Docker是第一个使容器能在不同机器之间移植的系统。它不仅简化了打包应用的流程，也简化了打包应用的库和依赖，甚至整个操作系统的文件系统能被打包成一个简单的可移植的包，这个包可以被用来在任何其他运行Docker的机器上使用。 容器和虚拟机具有相似的资源隔离和分配方式，容器虚拟化了操作系统而不是硬件，更加便携和高效。 图1 容器 vs 虚拟机 相比于使用虚拟机，容器有如下优点： 更高效的利用系统资源 由于容器不需要进行硬件虚拟以及运行完整操作系统等额外开销，容器对系统资源的利用率更高。无论是应用执行速度、内存损耗或者文件存储速度，都要比传统虚拟机技术更高效。因此，相比虚拟机技术，一个相同配置的主机，往往可以运行更多数量的应用。 更快速的启动时间 传统的虚拟机技术启动应用服务往往需要数分钟，而Docker容器应用，由于直接运行于宿主内核，无需启动完整的操作系统，因此可以做到秒级、甚至毫秒级的启动时间，大大节约了开发、测试、部署的时间。 一致的运行环境 开发过程中一个常见的问题是环境一致性问题。由于开发环境、测试环境、生产环境不一致，导致有些问题并未在开发过程中被发现。而Docker的镜像提供了除内核外完整的运行时环境，确保了应用运行环境一致性。 更轻松的迁移 由于Docker确保了执行环境的一致性，使得应用的迁移更加容易。Docker可以在很多平台上运行，无论是物理机、虚拟机，其运行结果是一致的。因此可以很轻易的将在一个平台上运行的应用，迁移到另一个平台上，而不用担心运行环境的变化导致应用无法正常运行的情况。 更轻松的维护和扩展 Docker使用的分层存储以及镜像的技术，使得应用重复部分的复用更为容易，也使得应用的维护更新更加简单，基于基础镜像进一步扩展镜像也变得非常简单。此外，Docker团队同各个开源项目团队一起维护了大批高质量的官方镜像，既可以直接在生产环境使用，又可以作为基础进一步定制，大大的降低了应用服务的镜像制作成本。

EmptyDir EmptyDir是最简单的一种Volume类型，根据名字就能看出，这个Volume挂载后就是一个空目录，应用程序可以在里面读写文件，emptyDir Volume的生命周期与Pod相同，Pod删除后Volume的数据也同时删除掉。 emptyDir的一些用途： 缓存空间，例如基于磁盘的归并排序。 为耗时较长的计算任务提供检查点，以便任务能从崩溃前状态恢复执行。 emptyDir配置示例如下。 apiVersion: v1 kind: Pod metadata: name: nginx spec: containers: - image: nginx:alpine name: test-container volumeMounts: - mountPath: /cache name: cache-volume volumes: - name: cache-volume emptyDir: {} emptyDir实际是将Volume的内容写在Pod所在节点的磁盘上，另外emptyDir也可以设置存储介质为内存，如下所示，medium设置为Memory。 volumes: - name: html emptyDir: medium: Memory

Volume的类型 Kubernetes的Volume有非常多的类型，在实际使用中使用最多的类型如下。 emptyDir：一种简单的空目录，主要用于临时存储。 hostPath：将主机某个目录挂载到容器中。 ConfigMap、Secret：特殊类型，将Kubernetes特定的对象类型挂载到Pod，在ConfigMap和Secret章节介绍过如何将ConfigMap和Secret挂载到Volume中。 persistentVolumeClaim：Kubernetes的持久化存储类型，详细介绍请参考PV、PVC和StorageClass中会详细介绍。

HostPath HostPath是一种持久化存储，emptyDir里面的内容会随着Pod的删除而消失，但HostPath不会，如果对应的Pod删除，HostPath Volume里面的内容依然存在于节点的目录中，如果后续重新创建Pod并调度到同一个节点，挂载后依然可以读取到之前Pod写的内容。 HostPath存储的内容与节点相关，所以它不适合像数据库这类的应用，想象下如果数据库的Pod被调度到别的节点了，那读取的内容就完全不一样了。 记住永远不要使用HostPath存储跨Pod的数据，一定要把HostPath的使用范围限制在读取节点文件上，这是因为Pod被重建后不确定会调度哪个节点上，写文件可能会导致前后不一致。 apiVersion: v1 kind: Pod metadata: name: test-hostpath spec: containers: - image: nginx:alpine name: hostpath-container volumeMounts: - mountPath: /test-pd name: test-volume volumes: - name: test-volume hostPath: path: /data

创建ConfigMap 下面示例创建了一个名为configmap-test的ConfigMap，ConfigMap的配置数据在data字段下定义。 apiVersion: v1 kind: ConfigMap metadata: name: configmap-test data: # 配置数据 property_1: Hello property_2: World

在Volume中引用ConfigMap 在Volume中引用ConfigMap，就是通过文件的方式直接将ConfigMap的每条数据填入Volume，每条数据是一个文件，键就是文件名，键值就是文件内容。 如下示例中，创建一个名为vol-configmap的Volume，这个Volume引用名为“configmap-test”的ConfigMap，再将Volume挂载到容器的“/tmp”路径下。Pod创建成功后，在容器的“/tmp”路径下，就有两个文件property_1和property_2，它们的值分别为“Hello”和“World”。 apiVersion: v1 kind: Pod metadata: name: nginx spec: containers: - image: nginx:alpine name: container-0 resources: limits: cpu: 100m memory: 200Mi requests: cpu: 100m memory: 200Mi volumeMounts: - name: vol-configmap # 挂载名为vol-configmap的Volume mountPath: "/tmp" imagePullSecrets: - name: default-secret volumes: - name: vol-configmap configMap: # 引用ConfigMap name: configmap-test

在环境变量中引用ConfigMap ConfigMap最为常见的使用方式就是在环境变量和Volume中引用。 例如下面例子中，引用了configmap-test的property_1，将其作为环境变量EXAMPLE_PROPERTY_1的值，这样容器启动后里面EXAMPLE_PROPERTY_1的值就是property_1的值，即“Hello”。 apiVersion: v1 kind: Pod metadata: name: nginx spec: containers: - image: nginx:alpine name: container-0 resources: limits: cpu: 100m memory: 200Mi requests: cpu: 100m memory: 200Mi env: - name: EXAMPLE_PROPERTY_1 valueFrom: configMapKeyRef: # 引用ConfigMap name: configmap-test key: property_1 imagePullSecrets: - name: default-secret

使用Ingress规则 使用podSelector设置访问范围 apiVersion: networking.k8s.io/v1 kind: NetworkPolicy metadata: name: test-network-policy namespace: default spec: podSelector: # 规则对具有role=db标签的Pod生效 matchLabels: role: db ingress: # 表示入规则 - from: - podSelector: # 只允许具有role=frontend标签的Pod访问 matchLabels: role: frontend ports: # 只能使用TCP协议访问6379端口 - protocol: TCP port: 6379 示意图如下所示。 图1 podSelector 使用namespaceSelector设置访问范围 apiVersion: networking.k8s.io/v1 kind: NetworkPolicy metadata: name: test-network-policy spec: podSelector: # 规则对具有role=db标签的Pod生效 matchLabels: role: db ingress: # 表示入规则 - from: - namespaceSelector: # 只允许具有project=myproject标签的命名空间中的Pod访问 matchLabels: project: myproject ports: # 只能使用TCP协议访问6379端口 - protocol: TCP port: 6379 示意图如下所示。 图2 namespaceSelector

使用Egress规则 Egress不仅支持podSelector和namespaceSelector，还支持ipBlock。 仅1.23及以上版本集群支持Egress规则。 apiVersion: networking.k8s.io/v1 kind: NetworkPolicy metadata: name: deny-client-a-via-except-cidr-egress-rule namespace: default spec: policyTypes: # 使用Egress必须指定policyType - Egress podSelector: # 规则对具有role=db标签的Pod生效 matchLabels: role: db egress: # 表示出规则 - to: - ipBlock: cidr: 172.16.0.16/16 # 允许此网段被访问 except: - 172.16.0.40/32 # 不允许此网段被访问，except需在cidr网段内 示意图如下所示。 图3 ipBlock Ingress和Egress可以定义在同一个规则中。 apiVersion: networking.k8s.io/v1 kind: NetworkPolicy metadata: name: test-network-policy namespace: default spec: policyTypes: - Ingress - Egress podSelector: # 规则对具有role=db标签的Pod生效 matchLabels: role: db ingress: # 表示入规则 - from: - podSelector: # 只允许具有role=frontend标签的Pod访问 matchLabels: role: frontend ports: # 只能使用TCP协议访问6379端口 - protocol: TCP port: 6379 egress: # 表示出规则 - to: - podSelector: # 只允许访问具有role=web标签的Pod matchLabels: role: web 示意图如下所示。 图4 同时使用Ingress和Egress

CCE集群版本生命周期表 Kubernetes版本号 当前状态 社区发布时间 CCE集群版本公测时间 CCE集群版本商用时间 CCE集群版本EOS（停止服务）时间 v1.30 公测 2024年4月 2024年9月 2024年10月 2026年10月 v1.29 已商用a 2023年11月 2024年4月 2024年6月 2026年6月 v1.28 已商用a 2023年8月 2023年12月 2024年2月 2026年2月 v1.27 已商用b 2023年04月 2023年08月 2023年10月 2025年10月 v1.25 已商用b 2022年08月 2022年11月 2023年03月 2025年03月 v1.23 已商用b 2021年12月 2022年04月 2022年09月 2024年09月 v1.21 EOS 2021年04月 2021年12月 2022年04月 2024年04月 v1.19 EOS 2020年08月 2020年12月 2021年03月 2023年09月 v1.17 EOS 2019年12月 / 2020年07月 2023年01月 v1.15 EOS 2019年06月 / 2019年12月 2022年09月 v1.13 EOS 2018年12月 / 2019年06月 2022年03月 v1.11 EOS 2018年08月 / 2018年10月 2021年03月 v1.9 EOS 2017年12月 / 2018年03月 2020年12月 CCE控制台支持最新两个商用版本的集群： a：支持通过控制台、API方式创建。 b：仅支持API方式创建。

CCE集群版本号说明 CCE 集群基于社区Kubernetes版本迭代演进，因此集群版本号由社区Kubernetes版本和CCE补丁版本两部分共同构成，格式为vX.Y.Z-rN（例如v1.28.2-r0）： Kubernetes版本：格式为X.Y，继承社区版本策略，其中X对应社区Kubernetes的主要版本，Y对应社区Kubernetes的次要版本，详情请参见社区Kubernetes版本策略。关于CCE支持的Kubernetes版本详情，请参见Kubernetes版本发布记录。 CCE补丁版本：格式形如v1.28.Z-rN，处于维护期的Kubernetes版本会不定期的发布新的补丁版本。当新的补丁版本较上一版本提供了新的特性时，Z版本号增加；当新的补丁版本较上一版本提供了Bugfix、漏洞修复或场景优化时，N版本号增加。关于CCE补丁版本详情，请参见补丁版本发布记录。

CCE集群版本阶段说明 版本公测阶段：您可以通过CCE集群公测版本体验最新的Kubernetes版本特性，但需要注意该版本的稳定性未得到完全的验证，不适用于CCE服务SLA。 版本商用阶段：CCE集群商用版本经过充分验证，稳定可靠。您可以将该版本用于生产环境，享受CCE服务SLA保障。 版本EOS（停止服务）阶段：CCE集群版本EOS之后，CCE将不再支持对该版本的集群创建，同时不提供相应的技术支持，包含新特性更新、漏洞/问题修复、补丁升级以及工单指导、在线排查等客户支持，不再适用于CCE服务SLA保障。

CCE容器弹性引擎插件版本发布记录 表1 CCE容器弹性引擎插件版本记录 插件版本 支持的集群版本 更新特性 1.4.30 v1.21 v1.23 v1.25 v1.27 v1.28 v1.29 v1.30 适配CCE v1.30集群 1.4.3 v1.21 v1.23 v1.25 v1.27 v1.28 v1.29 修复部分问题 1.4.2 v1.21 v1.23 v1.25 v1.27 v1.28 v1.29 适配CCE v1.29集群 1.3.43 v1.21 v1.23 v1.25 v1.27 v1.28 修复部分问题 1.3.42 v1.21 v1.23 v1.25 v1.27 v1.28 适配CCE v1.28集群 1.3.16 v1.19 v1.21 v1.23 v1.25 v1.27 修复部分问题。 1.3.14 v1.19 v1.21 v1.23 v1.25 v1.27 适配CCE v1.27集群 1.3.10 v1.19 v1.21 v1.23 v1.25 周期规则不受冷却时间影响定时触发 1.3.7 v1.19 v1.21 v1.23 v1.25 支持插件实例AZ反亲和配置 1.3.3 v1.19 v1.21 v1.23 v1.25 适配CCE v1.25集群 CronHPA调整Deployment实例数，新增skip场景 1.3.1 v1.19 v1.21 v1.23 适配CCE v1.23集群 1.2.12 v1.15 v1.17 v1.19 v1.21 插件性能优化，降低资源消耗 1.2.11 v1.15 v1.17 v1.19 v1.21 从K8s Metrics API查询资源指标 计算资源利用率时考虑未就绪的Pod 1.2.10 v1.15 v1.17 v1.19 v1.21 适配CCE v1.21集群 1.2.4 v1.15 v1.17 v1.19 插件依赖例行升级 支持配置插件资源规格 1.2.3 v1.15 v1.17 v1.19 适配ARM64节点部署 1.2.2 v1.15 v1.17 v1.19 增强健康检查能力 1.2.1 v1.15 v1.17 v1.19 适配CCE v1.19集群 更新插件为稳定版本 1.1.3 v1.15 v1.17 支持周期扩缩容规则 父主题： 插件版本发布记录

CCE集群弹性引擎版本发布记录 表1 v1.30集群配套插件版本记录 插件版本 支持的集群版本 更新特性 社区版本 1.30.15 v1.30 支持v1.30集群 事件增加节点池名称 1.30.1 表2 v1.29集群配套插件版本记录 插件版本 支持的集群版本 更新特性 社区版本 1.29.50 v1.29 事件增加节点池名称 1.29.1 1.29.17 v1.29 事件优化 1.29.1 1.29.13 v1.29 支持v1.29集群 1.29.1 表3 v1.28集群配套插件版本记录 插件版本 支持的集群版本 更新特性 社区版本 1.28.88 v1.28 事件增加节点池名称 1.28.1 1.28.55 v1.28 事件优化 1.28.1 1.28.51 v1.28 优化节点池资源售罄告警逻辑 1.28.1 1.28.22 v1.28 修复部分问题 1.28.1 1.28.20 v1.28 修复部分问题 1.28.1 1.28.17 v1.28 解决存在自定义控制器类型的Pod时无法缩容的问题 1.28.1 表4 v1.27集群配套插件版本记录 插件版本 支持的集群版本 更新特性 社区版本 1.27.119 v1.27 事件增加节点池名称 1.27.1 1.27.88 v1.27 事件优化 1.27.1 1.27.84 v1.27 优化节点池资源售罄告警逻辑 1.27.1 1.27.55 v1.27 修复部分问题 1.27.1 1.27.53 v1.27 修复部分问题 1.27.1 1.27.51 v1.27 修复部分问题 1.27.1 1.27.18 v1.27 修复部分问题 1.27.1 1.27.16 v1.27 伸缩组支持配置节点上下限 1.27.1 1.27.14 v1.27 修复多规格情况下无法缩容和非预期PreferNoSchedule污点问题 1.27.1 1.27.11 v1.27 - 1.27.1 1.27.7 v1.27 适配CCE v1.27集群 优化异构设备(GPU/NPU)识别方法 1.27.1 表5 v1.25集群配套插件版本记录 插件版本 支持的集群版本 更新特性 社区版本 1.25.152 v1.25 事件增加节点池名称 1.25.0 1.25.120 v1.25 事件优化 1.25.0 1.25.116 v1.25 优化节点池资源售罄告警逻辑 1.25.0 1.25.88 v1.25 修复部分问题 1.25.0 1.25.86 v1.25 修复部分问题 1.25.0 1.25.84 v1.25 修复部分问题 1.25.0 1.25.50 v1.25 修复部分问题 1.25.0 1.25.48 v1.25 伸缩组支持配置节点上下限 1.25.0 1.25.46 v1.25 修复多规格情况下无法缩容和非预期PreferNoSchedule污点问题 1.25.0 1.25.43 v1.25 - 1.25.0 1.25.39 v1.25 - 1.25.0 1.25.34 v1.25 优化异构设备(GPU/NPU)识别方法 扩容节点数量超过集群规模时，使用集群支持的剩余节点数量进行扩容 1.25.0 1.25.21 v1.25 修复autoscaler伸缩策略least-waste默认未启用的问题 修复节点池扩容失败后无法切换到其他节点池扩容且插件有重启动作的问题 默认污点容忍时长修改为60s 扩容规则禁用后仍然触发扩容 1.25.0 1.25.11 v1.25 支持插件实例AZ反亲和配置 对创建临时存储卷的POD添加不可调度容忍时间 修复伸缩组资源不足时无法正常修复节点池数量问题 1.25.0 1.25.7 v1.25 适配CCE v1.25集群 修改自定义规格的内存申请与限制 当没有开启弹性伸缩的节点池时上报无法伸缩的事件 修复NPU节点在扩容过程中会再次触发扩容的问题 1.25.0 表6 v1.23集群配套插件版本记录 插件版本 支持的集群版本 更新特性 社区版本 1.23.156 v1.23 事件增加节点池名称 1.23.0 1.23.125 v1.23 事件优化 1.23.0 1.23.121 v1.23 优化节点池资源售罄告警逻辑 1.23.0 1.23.95 v1.23 修复部分问题 1.23.0 1.23.93 v1.23 修复部分问题 1.23.0 1.23.91 v1.23 修复部分问题 1.23.0 1.23.57 v1.23 修复部分问题 1.23.0 1.23.56 v1.23 伸缩组支持配置节点上下限 修复配置节点AZ拓扑约束时，节点池弹性扩容后不符合预期问题 1.23.0 1.23.54 v1.23 修复多规格情况下无法缩容和非预期PreferNoSchedule污点问题 1.23.0 1.23.51 v1.23 - 1.23.0 1.23.47 v1.23 优化异构设备(GPU/NPU)识别方法 扩容节点数量超过集群规模时，使用集群支持的剩余节点数量进行扩容 1.23.0 1.23.44 v1.23 优化异构设备(GPU/NPU)识别方法 扩容节点数量超过集群规模时，使用集群支持的剩余节点数量进行扩容 1.23.0 1.23.31 v1.23 修复autoscaler伸缩策略least-waste默认未启用的问题 修复节点池扩容失败后无法切换到其他节点池扩容且插件有重启动作的问题 默认污点容忍时长修改为60s 扩容规则禁用后仍然触发扩容 1.23.0 1.23.21 v1.23 支持插件实例AZ反亲和配置 对创建临时存储卷的POD添加不可调度容忍时间 修复伸缩组资源不足时无法正常修复节点池数量问题 1.23.0 1.23.17 v1.23 适配NPU和安全容器 节点伸缩策略支持不设置步长 bug修复，自动移除已删除的节点池 设置优先调度 注册EmptyDir调度策略 修复停用节点伸缩策略时，低于缩容阈值的节点未触发缩容的问题 修改自定义规格的内存申请与限制 当没有开启弹性伸缩的节点池时上报无法伸缩的事件 修复NPU节点在扩容过程中会再次触发扩容的问题 1.23.0 1.23.10 v1.23 日志优化 支持缩容等待，等待用户在节点删除前完成数据转储等操作 1.23.0 1.23.9 v1.23 新增nodenetworkconfigs.crd.yangtse.cni资源对象权限。 1.23.0 1.23.8 v1.23 修复周期性扩容场景下，单次扩容数量超过节点池上限，扩容失败问题。 1.23.0 1.23.7 v1.23 支持CCE分布式集群 1.23.0 1.23.3 v1.23 适配CCE v1.23集群 1.23.0 表7 v1.21集群配套插件版本记录 插件版本 支持的集群版本 更新特性 社区版本 1.21.114 v1.21 优化节点池资源售罄告警逻辑 1.21.0 1.21.89 v1.21 修复部分问题 1.21.0 1.21.87 v1.21 修复部分问题 1.21.0 1.21.86 v1.21 修复配置节点AZ拓扑约束时，节点池弹性扩容后不符合预期问题 1.21.0 1.21.54 v1.21 修复部分问题 1.21.0 1.21.53 v1.21 伸缩组支持配置节点上下限 1.21.0 1.21.51 v1.21 修复多规格情况下无法缩容和非预期PreferNoSchedule污点问题 1.21.0 1.21.49 v1.21 - 1.21.0 1.21.45 v1.21 - 1.21.0 1.21.43 v1.21 优化异构设备(GPU/NPU)识别方法 扩容节点数量超过集群规模时，使用集群支持的剩余节点数量进行扩容 1.21.0 1.21.29 v1.21 支持插件实例AZ反亲和配置 对创建临时存储卷的POD添加不可调度容忍时间 修复伸缩组资源不足时无法正常修复节点池数量问题 修复节点池扩容失败后无法切换到其他节点池扩容且插件有重启动作的问题 默认污点容忍时长修改为60s 扩容规则禁用后仍然触发扩容 1.21.0 1.21.20 v1.21 支持插件实例AZ反亲和配置 对创建临时存储卷的POD添加不可调度容忍时间 修复伸缩组资源不足时无法正常修复节点池数量问题 1.21.0 1.21.16 v1.21 适配NPU和安全容器 节点伸缩策略支持不设置步长 bug修复，自动移除已删除的节点池 设置优先调度 注册EmptyDir调度策略 修复停用节点伸缩策略时，低于缩容阈值的节点未触发缩容的问题 修改自定义规格的内存申请与限制 当没有开启弹性伸缩的节点池时上报无法伸缩的事件 修复NPU节点在扩容过程中会再次触发扩容的问题 1.21.0 1.21.9 v1.21 日志优化 支持缩容等待，等待用户在节点删除前完成数据转储等操作 1.21.0 1.21.8 v1.21 新增nodenetworkconfigs.crd.yangtse.cni资源对象权限 1.21.0 1.21.6 v1.21 修复插件请求重试场景下签名错误导致鉴权失败的问题 1.21.0 1.21.4 v1.21 修复插件请求重试场景下签名错误导致鉴权失败的问题 1.21.0 1.21.2 v1.21 修复未注册节点删除失败可能阻塞弹性伸缩的问题 1.21.0 1.21.1 v1.21 修复在已有的周期弹性伸缩规则里节点池修改不生效的问题。 1.21.0 表8 v1.19集群配套插件版本记录 插件版本 支持的集群版本 更新特性 社区版本 1.19.76 v1.19 优化异构设备(GPU/NPU)识别方法 扩容节点数量超过集群规模时，使用集群支持的剩余节点数量进行扩容 1.19.0 1.19.56 v1.19 修复多规格情况下无法缩容和非预期PreferNoSchedule污点问题 1.19.0 1.19.54 v1.19 - 1.19.0 1.19.50 v1.19 - 1.19.0 1.19.48 v1.19 优化异构设备(GPU/NPU)识别方法 扩容节点数量超过集群规模时，使用集群支持的剩余节点数量进行扩容 1.19.0 1.19.35 v1.19 支持插件实例AZ反亲和配置 对创建临时存储卷的POD添加不可调度容忍时间 修复伸缩组资源不足时无法正常修复节点池数量问题 修复节点池扩容失败后无法切换到其他节点池扩容且插件有重启动作的问题 默认污点容忍时长修改为60s 扩容规则禁用后仍然触发扩容 1.19.0 1.19.27 v1.19 支持插件实例AZ反亲和配置 对创建临时存储卷的POD添加不可调度容忍时间 修复伸缩组资源不足时无法正常修复节点池数量问题 1.19.0 1.19.22 v1.19 适配NPU和安全容器 节点伸缩策略支持不设置步长 bug修复，自动移除已删除的节点池 设置优先调度 注册EmptyDir调度策略 修复停用节点伸缩策略时，低于缩容阈值的节点未触发缩容的问题 修改自定义规格的内存申请与限制 当没有开启弹性伸缩的节点池时上报无法伸缩的事件 修复NPU节点在扩容过程中会再次触发扩容的问题 1.19.0 1.19.14 v1.19 日志优化 支持缩容等待，等待用户在节点删除前完成数据转储等操作 1.19.0 1.19.13 v1.19 修复周期性扩容场景下，单次扩容数量超过节点池上限，扩容失败问题 1.19.0 1.19.12 v1.19 修复插件请求重试场景下签名错误导致鉴权失败的问题 1.19.0 1.19.11 v1.19 修复插件请求重试场景下签名错误导致鉴权失败的问题 1.19.0 1.19.9 v1.19 修复未注册节点删除失败可能阻塞弹性伸缩的问题 1.19.0 1.19.8 v1.19 修复在已有的周期弹性伸缩规则里节点池修改不生效的问题。 1.19.0 1.19.7 v1.19 插件依赖例行升级。 1.19.0 1.19.6 v1.19 修复污点异步更新场景触发的重复扩容问题。 1.19.0 1.19.3 v1.19 定时策略中能够根据节点总数，CPU，内存限制进行扩缩容。修复其它功能缺陷。 1.19.0 表9 v1.17集群配套插件版本记录 插件版本 支持的集群版本 更新特性 社区版本 1.17.27 v1.17 日志优化 bug修复，自动移除已删除的节点池 设置优先调度 修复刚扩容出的节点打污点会被覆盖的问题 修复停用节点伸缩策略时，低于缩容阈值的节点未触发缩容的问题 修改自定义规格的内存申请与限制 当没有开启弹性伸缩的节点池时上报无法伸缩的事件 1.17.0 1.17.22 v1.17 日志优化 1.17.0 1.17.21 v1.17 修复周期性扩容场景下，单次扩容数量超过节点池上限，扩容失败问题 1.17.0 1.17.19 v1.17 修复插件请求重试场景下签名错误导致鉴权失败的问题 1.17.0 1.17.17 v1.17 修复未注册节点删除失败可能阻塞弹性伸缩的问题 1.17.0 1.17.16 v1.17 修复在已有的周期弹性伸缩规则里节点池修改不生效的问题。 1.17.0 1.17.15 v1.17 资源规格配置单位统一化 1.17.0 1.17.14 v1.17 修复Taints异步更新场景触发的重复扩容问题。 1.17.0 1.17.8 v1.17 Bug修复 1.17.0 1.17.7 v1.17 添加日志内容，Bug修复 1.17.0 1.17.5 v1.17 支持v1.17版本的集群，支持页面显示伸缩事件 1.17.0 1.17.2 v1.17 支持v1.17版本的集群 1.17.0 父主题： 插件版本发布记录

资源变更与弃用 apps/v1beta1和apps/v1beta2下所有资源不再提供服务，使用apps/v1替代。 extensions/v1beta1下daemonsets、deployments、replicasets不再提供服务，使用apps/v1替代。 extensions/v1beta1下networkpolicies不再提供服务，使用networking.k8s.io/v1替代。 extensions/v1beta1下podsecuritypolicies不再提供服务，使用policy/v1beta1替代。 extensions/v1beta1 ingress v1.20版本不再提供服务，当前可使用networking.k8s.io/v1beta1。 scheduling.k8s.io/v1beta1 and scheduling.k8s.io/v1alpha1下的PriorityClass计划在1.17不再提供服务，迁移至scheduling.k8s.io/v1。 events.k8s.io/v1beta1中event series.state字段已废弃，将在1.18版本中移除。 apiextensions.k8s.io/v1beta1下CustomResourceDefinition已废弃，将再1.19不再提供服务，使用apiextensions.k8s.io/v1。 admissionregistration.k8s.io/v1beta1 MutatingWebhookConfiguration和ValidatingWebhookConfiguration已废弃，将在1.19不再提供服务，使用admissionregistration.k8s.io/v1替换。 rbac.authorization.k8s.io/v1alpha1 and rbac.authorization.k8s.io/v1beta1被废弃，使用rbac.authorization.k8s.io/v1替代，v1.20会正式停止服务。 storage.k8s.io/v1beta1 CSINode object废弃并会在未来版本中移除。

其他废弃和移除 移除OutOfDisk node condition，改为使用DiskPressure。 scheduler.alpha.kubernetes.io/critical-pod annotation已被移除，如需要改为设置priorityClassName。 beta.kubernetes.io/os和beta.kubernetes.io/arch在1.14版本中已经废弃，计划在1.18版本中移除。 禁止通过--node-labels设置kubernetes.io和k8s.io为前缀的标签，老版本中kubernetes.io/availablezone该label在1.17中移除，整改为failure-domain.beta.kubernetes.io/zone获取AZ信息。 beta.kubernetes.io/instance-type被废弃，使用node.kubernetes.io/instance-type替代。 移除{kubelet_root_dir}/plugins路径。 移除内置集群角色system:csi-external-provisioner和system:csi-external-attacher。

v1.19版本 表8 v1.19补丁版本发布说明 CCE集群补丁版本号 Kubernetes社区版本 特性更新 优化增强 安全漏洞修复 v1.19.16-r84 v1.19.16 - - 修复CVE-2024-21626安全漏洞。 v1.19.16-r82 v1.19.16 - 修复Ingress配置SNI证书并同时开启HTTP/2的场景下偶现配置冲突的问题。 - v1.19.16-r80 v1.19.16 - 修复BMS节点重启后显示节点不可用的问题。 优化VIP路由清理逻辑，先清理残留VIP路由，避免出现NetworkManager重启后重新添加路由的问题。 修复 CCE Turbo 集群使用独享型ELB场景，Pod滚动升级复用IP可能导致ELB后端服务器无法添加的问题。 修复创建负载均衡类型Service时加入healthcheck队列后，如果Service被删除，会导致缓存残留的问题。 修复Master节点所在的物理机或者交换机网络设备掉线之后，内存持续上涨，docker占用内存持续上涨的问题。 修复部分安全问题。 v1.19.16-r72 v1.19.16 - 修复部分场景下非预期的Master节点主备切换。 优化路由删除匹配机制，修复偶发性删除路由命令失败的问题。 修复部分安全问题。 v1.19.16-r70 v1.19.16 - 修复有状态负载Pod可能出现后端添加失败或未更改问题。 增强Master节点核心组件故障隔离能力。 修复达到预热参数回收空闲网卡条件后，可能并没有回收网卡的问题。 修复部分安全问题。 v1.19.16-r60 v1.19.16 Volcano支持节点池亲和调度。详情请参见节点池亲和性调度。 Volcano支持负载重调度能力。详情请参见重调度（Descheduler）。 - 修复部分安全问题。 v1.19.16-r50 v1.19.16 - 优化节点池伸缩时的事件信息。 修复部分安全问题。 v1.19.16-r40 v1.19.16 节点池配置管理支持软驱逐和硬驱逐的设置。 支持为自动创建的EVS块存储添加TMS资源标签，以便于成本管理。 - 修复部分安全问题。 v1.19.16-r30 v1.19.16 CCE集群支持对接使用弹性规格的独享型ELB。 负载均衡支持设置超时时间。详情请参见负载均衡类型的服务设置超时时间和ELB Ingress设置超时时间。 kube-apiserver高频参数支持配置。 修复部分安全问题。 v1.19.16-r20 v1.19.16 Service和Ingress支持关联G-EIP的独享型ELB。 CCE Turbo容器网卡支持固定IP。详情请参见为Pod配置固定IP。 CCE Turbo容器网卡支持自动创建和自动绑定EIP。详情请参见为Pod配置固定EIP。 云原生2.0网络支持命名空间指定子网。 增强节点重启后，docker运行时拉取镜像的稳定性。 优化CCE Turbo集群在非全预热场景分配网卡的性能。 修复部分安全问题。 v1.19.16-r10 v1.19.16 - 提升Service/Ingress对接ELB特性稳定性。 修复部分安全问题。 v1.19.16-r7 v1.19.16 - 增强Docker版本升级时的可靠性。 优化集群节点时间同步能力。 增强CCE Turbo集群预热场景可靠性。 修复部分安全问题。 v1.19.16-r6 v1.19.16 Service和Ingress支持关联G-EIP的独享型ELB。 增强配置了QoS的containerd容器运行的稳定性。 Ingress支持对url重写策略配置和修改。 优化kube-controller-manager在频繁更新CRD场景下的内存使用。 修复部分安全问题。 v1.19.16-r5 v1.19.16 支持LB类型的Service同时配置TCP/UDP端口，详情请参见指定多个端口配置健康检查。 支持Pod readiness gate，详情请参见通过ELB健康检查设置Pod就绪状态。 增强底层网络异常时的流表可靠性。 增强高版本内核的OS异常掉电等重启场景的稳定性。 修复部分安全问题。 v1.19.16-r4 v1.19.16 容器存储支持对接SFS 3.0文件存储服务。 支持GPU节点的设备故障检测和隔离能力。 支持配置集群维度的自定义安全组。 CCE Turbo集群支持节点级别的网卡预热参数配置。 优化节点污点场景下负载调度的性能。 增强Containerd运行时绑核场景下长时间运行的稳定性。 优化ELB Service/Ingress在大量连接场景下的稳定性。 优化kube-apiserver在频繁更新crd场景下的内存使用。 修复部分安全问题及以下CVE漏洞： CVE-2022-3294 CVE-2022-3162 CVE-2022-3172 v1.19.16-r3 v1.19.16 - 支持image-pull-progress-deadline启动参数升级保留。 CCE Turbo支持节点自定义网卡动态预热配置。 BMS节点EulerOS 2.3重启后udp链接稳定性优化。 解决隧道网络在master节点间网络闪断场景下导致的网络分配不一致问题。 优化容器隧道网络模式集群在控制面节点网络闪断场景下的稳定性。 修复部分安全问题。 v1.19.16-r2 v1.19.16 - 增强集群控制面节点掉电时链接释放的稳定性。 增强节点上Pod并发挂载存储卷的稳定性。 修复部分安全问题。 v1.19.16-r1 v1.19.16 - 增强EulerOS 2.9操作系统NetworkManager的稳定性。 修复部分安全问题。 v1.19.16-r0 v1.19.16 - 增强工作负载升级且节点伸缩状态下，负载均衡服务更新的稳定性。 修复部分安全问题及以下CVE漏洞： CVE-2021-25741 CVE-2021-25737 v1.19.10-r0 v1.19.10 首次发布CCE v1.19集群，有关更多信息请参见Kubernetes 1.19版本说明。 - -

v1.21版本 表7 v1.21补丁版本发布说明 CCE集群补丁版本号 Kubernetes社区版本 特性更新 优化增强 安全漏洞修复 v1.21.15-r0 v1.21.14 支持使用通用型SSD v2、极速SSD v2类型的云硬盘。 ELB Ingress支持配置灰度发布。 ELB Ingress支持配置URL重定向、Rewrite重写、HTTP重定向到HTTPS能力。 开放高频使用的集群参数、节点池参数配置。 修复部分安全问题。 v1.21.14-r0 v1.21.14 支持使用PVC动态创建SFS Turbo子目录并挂载。 - 修复部分安全问题。 v1.21.13-r0 v1.21.14 创建Service或Ingress支持设置ELB黑/白名单访问控制。 CCE的节点镜像支持安全加固（满足等保三级基线要求）。 - 修复部分安全问题。 v1.21.12-r4 v1.21.14 - - 修复CVE-2024-21626安全漏洞。 v1.21.12-r2 v1.21.14 - 修复Ingress配置SNI证书并同时开启HTTP/2的场景下偶现配置冲突的问题。 - v1.21.12-r0 v1.21.14 节点池支持节点的自定义前缀和后缀命名 优化健康检查配置，避免出现keepalived反复重启的问题。 优化securityPolicy缓存及Ingress重试风暴。 修复cloud-controller-manager组件主进程所在Master节点出现卡IO，组件切主失败的问题。 修复Service设置权重后，会错误计算terminating状态的Pod数，导致Pod权重不准确的问题。 修复部分安全问题。 v1.21.11-r40 v1.21.14 - 优化接口调用逻辑，避免业务大规模调用场景下出现接口流控。 修复部分安全问题。 v1.21.11-r30 v1.21.14 - 修复CCE Turbo集群使用独享型ELB场景，Pod滚动升级复用IP可能导致ELB后端服务器无法添加的问题。 修复节点删除过程中，节点状态为不可用但没有及时出现告警的问题。 修复磁盘挂载到ECS后，系统中可能出现找不到软链文件的问题。 修复部分安全问题。 v1.21.11-r20 v1.21.14 Volcano支持节点池亲和调度。详情请参见节点池亲和性调度。 Volcano支持负载重调度能力。详情请参见重调度（Descheduler）。 - 修复部分安全问题。 v1.21.11-r10 v1.21.14 - 优化节点池伸缩时的事件信息。 修复部分安全问题。 v1.21.11-r0 v1.21.14 节点池配置管理支持软驱逐和硬驱逐的设置。 支持为自动创建的EVS块存储添加TMS资源标签，以便于成本管理。 - 修复部分安全问题。 v1.21.10-r10 v1.21.14 CCE集群支持对接使用弹性规格的独享型ELB。 负载均衡支持设置超时时间。详情请参见负载均衡类型的服务设置超时时间和ELB Ingress设置超时时间。 kube-apiserver高频参数支持配置。 修复部分安全问题。 v1.21.10-r0 v1.21.14 Service和Ingress支持关联G-EIP的独享型ELB。 CCE Turbo容器网卡支持固定IP。详情请参见为Pod配置固定IP。 CCE Turbo容器网卡支持自动创建和自动绑定EIP。详情请参见为Pod配置固定EIP。 增强docker版本升级时的可靠性。 优化集群节点时间同步能力。 优化节点重启后，docker运行时拉取镜像的稳定性。 修复部分安全问题。 v1.21.9-r0 v1.21.14 Service和Ingress支持关联G-EIP的独享型ELB。 优化CCE Turbo集群在规格变更场景时网络的稳定性。 修复部分安全问题。 v1.21.8-r0 v1.21.14 支持LB类型的Service同时配置TCP/UDP端口，详情请参见指定多个端口配置健康检查。 支持Pod readiness gate，详情请参见通过ELB健康检查设置Pod就绪状态。 增强底层网络异常时的流表可靠性。 增强高版本内核的OS异常掉电等重启场景的稳定性。 cadvisor GPU/NPU相关指标优化。 修复部分安全问题。 v1.21.7-r0 v1.21.14 容器存储支持对接SFS 3.0文件存储服务。 支持GPU节点的设备故障检测和隔离能力。 支持配置集群维度的自定义安全组。 CCE Turbo集群支持节点级别的网卡预热参数配置。 支持集群控制面组件的日志信息开放。 优化ELB Service/Ingress在大量连接场景下的稳定性。 修复部分安全问题及以下CVE漏洞： CVE-2022-3294 CVE-2022-3162 CVE-2022-3172 v1.21.6-r0 v1.21.7 支持ARM节点创建。 - 修复部分安全问题。 v1.21.5-r10 v1.21.7 - 增强EulerOS 2.3的裸金属节点在重启后的UDP链接稳定性。 优化隧道网络在控制面节点间网络闪断场景下导网络分配的稳定性。 ovs漏洞加固。 修复部分安全问题。 v1.21.5-r0 v1.21.7 - 增强集群升级下容器隧道网络模式的稳定性。 增强pod拓扑分布约束能力。 增强集群控制面节点掉电时链接释放的稳定性。 增强节点上pod并发挂载存储卷的稳定性。 修复部分安全问题。 v1.21.4-r10 v1.21.7 - 增强EulerOS 2.9操作系统NetworkManager的稳定性。 修复部分安全问题。 v1.21.4-r0 v1.21.7 - 增强安全容器场景下容器网卡驱动切换的稳定性。 增强升级工作负载且处于节点伸缩时，访问负载均衡服务的稳定性。 修复部分安全问题。 v1.21.3-r10 v1.21.7 - 增强安全容器场景下容器网卡驱动切换的稳定性。 修复部分安全问题。 v1.21.3-r0 v1.21.7 - CCE Turbo集群容器内的SNAT网段支持可配置。 修复部分安全问题。 v1.21.2-r10 v1.21.7 - 增强Service对接负载均衡场景的稳定性。 修复部分安全问题。 v1.21.2-r0 v1.21.7 优化节点的资源预留参数，支持资源耗尽检测，提升节点的稳定性。 提升集群升级能力，增强升级可靠性。 优化容器本地存储功能，提升稳定性。 修复部分安全问题。 v1.21.1-r2 v1.21.7 容器存储支持本地持久卷。 支持管理EulerOS 2.9鲲鹏计算实例。 容器隧道网络模式和VPC网络模式支持OS内核版本宽匹配。 优化节点安装流程，增强节点创建的可靠性。 优化CentOS和EulerOS 2.5的内核参数，提升OS性能。 修复部分安全问题。 v1.21.1-r1 v1.21.7 - 容器网络支持内核宽匹配。 修复部分安全问题。 v1.21.1-r0 v1.21.7 首次发布CCE v1.21集群，有关更多信息请参见Kubernetes 1.21版本说明。 - -