华为云用户手册

入门指引 企业交换机基于VPN或者云专线网络，在云下IDC和云上VPC之间建立二层网络。企业交换机的配置流程如图1所示。 图1 企业交换机配置流程图 表1 构建同区域VPC互通组网流程说明 序号 步骤 说明 1 步骤一：使用云专线或VPN连通三层网络 企业交换机建立二层通信网络时，依赖云下IDC和云上VPC之间的三层网络。本章节指导用户使用云专线或者VPN，建立本端隧道子网和远端隧道子网之间的三层网络通信。 2 步骤二：购买企业交换机 本章节指导用户购买企业交换机，企业交换机可以基于VPN或者云专线网络，在云下IDC和云上VPC之间建立二层网络通信。 3 步骤三：创建二层连接 企业交换机购买完成后，您还需要创建二层连接，建立本端二层连接子网和远端VXLAN交换机之间的二层网络通信。本章节指导用户创建二层连接。 4 步骤四：配置远端隧道网关 本指导用户在云下IDC侧的VXLAN隧道交换机上配置隧道网关，建立远端二层连接子网在IDC侧的VXLAN隧道。

操作步骤（锐捷RG-S6250交换机） 远端隧道网关的配置方法：在VXLAN交换机和企业交换机之间建立VXLAN隧道，以便将云下主机发送的二层报文封装为IP报文后发到企业交换机。VXLAN交换机的下行二层子接口配置VXLAN与VLAN封装规则，用来识别用户网络中的报文所属的VXLAN。 配置前进入全局配置模式。 配置示例： Ruijie#configure 创建VXLAN。 配置示 Ruijie(config)#vxlan 5010 本步骤VXLAN ID 5010，必须和表1创建二层连接时，远端接入信息的隧道号保持一致。 进入loopback接口视图，配置隧道IP。 配置示例： Ruijie(config)#interface loopback 0 Ruijie(config-if-Loopback 0)#ip address 2.2.2.2 255.255.255.255 Ruijie(config-if-Loopback 0)# exi 对于新规划的远端地址，即VXLAN交换机的接口IP地址（包括Loopback接口IP地址），要确认下其到企业交换机隧道子网路由是否可达，如果不通，需要在VXLAN交换机上配置路由。此处VXLAN交换机可以是汇聚交换机或者核心交换机，请根据网络实际规划选择。 创建VXLAN隧道。 创建OverlayTunnel1接口，该接口用于静态创建Overlay隧道。 配置示例： Ruijie(config)#interface overlayTunnel 1 指定Overlay隧道的源IP，即为用于建隧道的loopback口IP地址。 配置示例： Ruijie(config-if-OverlayTunnel 1)#tunnel source 2.2.2.2 指定Overlay隧道的目的IP，即为企业交换机隧道子网IP。 配置示例： Ruijie(config-if-OverlayTunnel 1)#tunnel destination 10.0.6.3 Ruijie(config-if-OverlayTunnel 1)#exit 配置VXLAN实例关联OverlayTunnel接口。 配置示例： Ruijie(config)#vxlan 5010 Ruijie(config-vxlan)#tunnel-interface OverlayTunnel 1 Ruijie(config-vxlan)#exit 同一企业交换机上创建多个(最多6个)二层连接场景，需和此企业交换机建多条VXLAN，可以创建多个VXLAN实例和同一个OverlayTunnel接口关联。如：OverlayTunnel1。 同一VXLAN交换机和多个企业交换机连接场景，此场景比较少用，可以创建多个OverlayTunnel接口与同一个VXLAN关联。如：OverlayTunnel1、OverlayTunnel2。 由于芯片限制，S6250产品VXLAN不支持多条隧道出口为同一个物理出口，并且还需要封装出不同的DMAC+VID信息。详情可咨询锐捷交换机技术支持。 创建二层子接口配置VXLAN与vlan封装规则。 在链路聚合口AggregatePort1创建AggregatePort 1.100子接口，接收vlan为100的数据报文，并封装为VXLAN 5010通过隧道转发。 配置示例： Ruijie(config)#interface AggregatePort 1.100 Ruijie(config-subif-AggregatePort 1.100)#encapsulation dot1q s-vid 100 Ruijie(config-subif-AggregatePort 1.100)#encapsulation vxlan 5010 Ruijie(config-subif-AggregatePort 1.100)#exit 在交换机物理以太接口上创建以太网服务实例，方法类似。 在系统视图下，执行如下命令查看VXLAN的配置状态。 show vxlan 5010 VXLAN配置状态 VXLAN 5010 Symmetric property : FALSE Router Interface : - Extend VLAN : - VTEP Adjacency Count: 1 VTEP Adjacency List : Interface Source IP Destination IP Type ---------------------- --------------- --------------- ------- OverlayTunnel 1 2.2.2.2 10.0.6.3 static

操作步骤（华为CE6850交换机） 远端隧道网关的配置方法：配置IDC隧道交换机，将二层子网VLAN的流量引流到隧道。 目前大部分CE交换机不支持三层子接口转发已经封装的VXLAN报文，因此VXLAN上行（对接线上企业交换机）不能使用三层子接口，可使用VLANIF接口替代。 登录隧道交换机，执行命令system-view，进入系统视图。 进入loopback 0接口视图，配置隧道IP。 配置示例： interface loopback 0 ip address 2.2.2.2 255.255.255.255 执行命令quit，退出接口视图，返回到系统视图。 执行命令bridge-domain，进入BD视图，配置BD所对应VXLAN的VNI。 配置示例： bridge-domain 10 vxlan vni 5010 执行命令quit，退出BD视图，返回到系统视图。 创建二层子接口，通过子接口将二层网络指定的VLAN引流到隧道。 配置示例： interface 10ge 1/0/2.1 mode l2 encapsulation dot1q vid 100 bridge-domain 10 执行命令interface nve，创建NVE接口，并进入NVE接口视图，配置VXLAN隧道源端VTEP的IP地址：2.2.2.2。 配置示例： interface nve1 source 2.2.2.2 在NVE接口视图下，执行命令vni，配置VNI的头端复制列表。 配置示例： vni 5010 head-end peer-list 10.0.6.3 在系统视图下，执行如下命令查看VXLAN的配置状态。 display vxlan vni 5010 verbose 图2 VXLAN配置状态 up表示隧道状态正常。

约束与限制 如果您的IDC需要与华为云企业交换机对接来建立云下和云上二层网络通信，那么IDC侧的交换机需要支持VXLAN功能，建议您新购VXLAN交换机与ESW对接。如果有高可靠性要求，建议VXLAN交换机组进行容灾部署。 以下为您列举部分支持VXLAN功能的交换机，仅供参考。 华为交换机：Huawei CE58、CE68、CE78、CE88系列支持VXLAN，例如CE6870、CE6875、CE6881、CE6863、CE12800。 其他厂商交换机：例如Cisco Nexus 9300、 锐捷RG-S6250、 H3C S6520。

操作场景 本指导用户在云下IDC侧的VXLAN隧道交换机上配置隧道网关，建立远端二层连接子网在IDC侧的VXLAN隧道。 本文针对用户IDC的常见组网场景提供配置参考，以华为CE6850交换机、锐捷RG-S6250交换机、H3C S6520交换机为例，如需更多配置排查，相关命令可参考实际交换机型号的产品文档。 操作步骤（华为CE6850交换机） 操作步骤（锐捷RG-S6250交换机） 操作步骤（H3C S6520交换机）

操作步骤 进入购买企业交换机页面。 根据界面提示，配置企业交换机的基本信息，配置参数请参见表1。 表1 参数说明 参数 参数说明 取值样例 计费模式 必选参数 支持包年/包月、按需付费两种计费方式。 购买包年/包月企业交换机时，需要一次性支付选定周期内企业交换机实例的费用。 按需计费，属于后付费。按秒计费，按小时结算，不足一小时以实际使用时长为准。 按需计费 区域 必选参数。 不同区域的云服务产品之间内网互不相通，请就近选择靠近您业务的区域，可减少网络时延，提高访问速度。 华北-北京四 主可用区 必选参数。 企业交换机实例部署采用主备模式，此处选择主节点所在的可用区。 主可用区是当前承载流量的可用区，推荐与需要通信的云服务器部署在同一个可用区，从而实现更优访问性能。 可用区1 备可用区 必选参数。 企业交换机实例部署采用主备模式，此处选择备节点所在的可用区。 备可用区用于容灾备份，建议与主可用区不同。 可用区2 规格 必选参数。 当前支持的企业交换机规格如下： 基础型 最大带宽：3 Gbit/s 最大发包数：500000 pps 连接子网数：1 标准型 最大带宽：5 Gbit/s 最大发包数：1000000 pps 连接子网数：3 增强型 最大带宽：10 Gbit/s 最大发包数：2000000 pps 连接子网数：6 企业交换机创建完成后，不支持修改规格。 增强型 虚拟私有云 必选参数。 企业交换机所属VPC。 当“隧道连接方式”选择“云专线”或者“VPN”时，此处默认选择云专线虚拟网关或VPN网关所在的VPC。 vpc-01 隧道子网 必选参数。 企业交换机所属VPC的子网，为本端隧道子网，该子网需要与远端隧道子网建立三层网络通信。 隧道子网基于云专线或者VPN实现三层网络通信，包括本端隧道子网和远端隧道子网。企业交换机需要基于隧道子网之间的三层网络，为需要互通的云上和云下子网提供二层连接通道。 subnet-01 本端隧道IP 必选参数。 此处为本端隧道IP，即云上VPC侧的隧道IP，当前支持自动分配或手动分配IP地址。 企业交换机需要和云下IDC建立VXLAN隧道实现二层网络通信，VXLAN隧道两端各需要一个隧道IP，包括本端隧道IP和远端隧道IP，两个IP地址不能冲突。 自动分配 名称 必选参数。 输入企业交换机的名称。要求如下： 长度范围为1~64位。 名称由中文、英文字母、数字、下划线（_）、中划线（-）、点（.）组成。 esw-01 描述 可选参数。 你可以根据需要在文本框中输入对该企业交换机的描述信息。 - 购买时长 包年包月场景需要选择，购买企业交换机的时长。 2个月 自动续费 选择包年包月计费模式时，可以选择开启自动续费。自动续费周期根据用户指定的购买时长确定。 按月购买：自动续费周期为一个月。 按年购买：自动续费周期为一年。 - 单击“下一步”。 在产品配置信息确认页面，再次核对企业交换机信息，确认无误后，单击“提交”，开始创建企业交换机。 企业交换机的创建过程一般需要3~6分钟，当企业交换机的状态为“运行中”时，表示创建成功。

参考链接 社区v1.11与v1.13版本之间的CHANGE LOG v1.12到v1.13的变化： https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG/CHANGELOG-1.13.md v1.11到v1.12的变化： https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG/CHANGELOG-1.12.md

（停止维护）Kubernetes 1.9及之前版本说明 云容器引擎（CCE）严格遵循社区一致性认证。本文介绍CCE发布Kubernetes 1.9及之前版本所做的变更说明。 表1 v1.9及之前版本集群说明 Kubernetes版本（CCE增强版） 版本说明 v1.9.10-r2 主要特性： ELB负载均衡 支持源IP跟后端服务会话保持 v1.9.10-r1 主要特性： 支持对接SFS存储 支持Service自动创建二代ELB 支持公网二代ELB透传源IP 支持设置节点最大实例数maxPods v1.9.10-r0 主要特性： kubernetes对接ELB/Ingress，新增流控机制 Kubernetes同步社区1.9.10版本 支持Kubernetes RBAC能力授权 问题修复： 修复操作系统cgroup内核BUG导致概率出现的节点内存泄漏问题 v1.9.7-r1 主要特性： 增强PVC和PV事件的上报机制，PVC详情页支持查看事件 支持对接第三方认证系统 集群支持纳管EulerOS2.3的物理机 数据盘支持用户自定义分配比例 裸金属场景支持对接EVS云硬盘存储 裸金属场景下支持IB网卡 裸金属场景支持通过CM-v3接口创建节点 v1.9.7-r0 主要特性： 新建集群的Docker版本升级到1706 支持DNS级联 支持插件化管理 Kubernetes同步社区1.9.7版本 支持7层ingress的https功能 有状态工作负载支持迁移调度更新升级 v1.9.2-r3 主要特性： 集群支持创建/纳管CentOS7.4操作系统的节点 kubernetes的Service支持对接DNAT网关服务 NetworkPolicy能力开放 增强型ELB支持Service配置多个端口 问题修复： 修复kubernetes资源回收过程中连不上kube-apiserver导致pod残留的问题 修复节点弹性扩容数据不准确的问题 v1.9.2-r2 主要特性： 经典型ELB支持自定义健康检查端口 经典型ELB性能优化 ELB四层负载均衡支持修改Service的端口 问题修复： 修复网络插件防止健康检查概率死锁问题 修复高可用集群haproxy连接数限制问题 v1.9.2-r1 主要特性： Kubernetes同步社区1.9.2版本 集群节点支持CentOS 7.1操作系统 支持GPU节点，支持GPU资源限制 支持web-terminal插件 v1.7.3-r13 主要特性： 新建集群的Docker版本升级到1706 支持DNS级联 支持插件化管理 增强PVC和PV事件的上报机制 裸金属场景支持对接OBS对象存储 v1.7.3-r12 主要特性： 集群支持创建/纳管CentOS7.4操作系统的节点 kubernetes的Service支持对接DNAT网关服务 NetworkPolicy能力开放 增强型ELB支持Service配置多个端口 问题修复： 修复kubernetes资源回收过程中连不上kube-apiserver导致pod残留的问题 修复节点弹性扩容数据不准确的问题 事件老化周期提示修正：集群老化周期为1小时 v1.7.3-r11 主要特性： 经典型ELB支持自定义健康检查端口 经典型ELB性能优化 ELB四层负载均衡支持修改Service的端口 支持删除命名空间 支持EVS云硬盘存储解绑 支持配置迁移策略 问题修复： 修复网络插件防止健康检查概率死锁问题 修复高可用集群haproxy连接数限制问题 v1.7.3-r10 主要特性： 容器网络支持Overlay L2模式 集群节点支持GPU类型虚机 集群节点支持CentOS 7.1操作系统，支持操作系统选择 Windows集群支持对接二代ELB 支持弹性文件服务SFS导入 裸金属场景支持对接SFS文件存储、OBS对象存储 v1.7.3-r9 主要特性： 工作负载支持跨AZ部署 容器存储支持OBS 对象存储服务 支持ELB L7负载均衡 Windows集群支持EVS存储 裸金属场景支持devicemapper direct-lvm模式 v1.7.3-r8 主要特性： 集群支持节点弹性扩容 支持纳管ARM节点 v1.7.3-r7 主要特性： 容器隧道网络集群支持纳管SUSE 12sp2节点 docker支持direct-lvm模式挂载devicemapper 集群支持安装dashboard 支持创建Windows集群 v1.7.3-r6 主要特性： 集群存储对接原生EVS接口 v1.7.3-r5 主要特性： 支持创建HA高可靠集群 问题修复： 节点重启后容器网络不通 v1.7.3-r4 主要特性： 集群性能优化 裸金属场景支持对接ELB v1.7.3-r3 主要特性： 容器存储支持KVM虚拟机挂载 v1.7.3-r2 主要特性： 容器存储支持SFS文件存储 工作负载支持自定义应用日志 开放工作负载优雅缩容 问题修复： 修复容器存储AK/SK会过期的问题 v1.7.3-r1 主要特性： kube-dns支持外部 域名 解析 v1.7.3-r0 主要特性： Kubernetes同步社区1.7.3版本 支持ELB负载均衡 容器存储支持XEN虚拟机挂载 容器存储支持EVS云硬盘存储 父主题： Kubernetes版本发布记录

资源变更与弃用 apps/v1beta1和apps/v1beta2下所有资源不再提供服务，使用apps/v1替代。 extensions/v1beta1下daemonsets、deployments、replicasets不再提供服务，使用apps/v1替代。 extensions/v1beta1下networkpolicies不再提供服务，使用networking.k8s.io/v1替代。 extensions/v1beta1下podsecuritypolicies不再提供服务，使用policy/v1beta1替代。 extensions/v1beta1 ingress v1.20版本不再提供服务，当前可使用networking.k8s.io/v1beta1。 scheduling.k8s.io/v1beta1 and scheduling.k8s.io/v1alpha1下的PriorityClass计划在1.17不再提供服务，迁移至scheduling.k8s.io/v1。 events.k8s.io/v1beta1中event series.state字段已废弃，将在1.18版本中移除。 apiextensions.k8s.io/v1beta1下CustomResourceDefinition已废弃，将再1.19不在提供服务，使用apiextensions.k8s.io/v1。 admissionregistration.k8s.io/v1beta1 MutatingWebhookConfiguration和ValidatingWebhookConfiguration已废弃，将在1.19不在提供服务，使用admissionregistration.k8s.io/v1替换。 rbac.authorization.k8s.io/v1alpha1 and rbac.authorization.k8s.io/v1beta1被废弃，使用rbac.authorization.k8s.io/v1替代，v1.20会正式停止服务。 storage.k8s.io/v1beta1 CS INode object废弃并会在未来版本中移除。

其他废弃和移除 移除OutOfDisk node condition，改为使用DiskPressure。 scheduler.alpha.kubernetes.io/critical-pod annotation已被移除，如需要改为设置priorityClassName。 beta.kubernetes.io/os和beta.kubernetes.io/arch在1.14版本中已经废弃，计划在1.18版本中移除。 禁止通过--node-labels设置kubernetes.io和k8s.io为前缀的标签，老版本中kubernetes.io/availablezone该label在1.17中移除，整改为failure-domain.beta.kubernetes.io/zone获取AZ信息。 beta.kubernetes.io/instance-type被废弃，使用node.kubernetes.io/instance-type替代。 移除{kubelet_root_dir}/plugins路径。 移除内置集群角色system:csi-external-provisioner和system:csi-external-attacher。

资源变更与弃用 extensions/v1beta1中Ingress已弃用，1.19正式暂停使用，迁移到networking.k8s.io/v1beta1 extensions/v1beta1中NetworkPolicy 1.16正式暂停使用，迁移到networking.k8s.io/v1 extensions/v1beta1中PodSecurityPolicy 1.16正式暂停使用，迁移到policy/v1beta1 extensions/v1beta1、apps/v1beta1或apps/v1beta2的DaemonSet、Deployment、和ReplicaSet，迁移至apps/v1，1.16版本暂停使用 PriorityClass升级到scheduling.k8s.io/v1，scheduling.k8s.io/v1beta1和scheduling.k8s.io/v1alpha1 1.17正式废弃 events.k8s.io/v1beta1 Event API中series.state字段废弃，将在1.18版本中移除

参考链接 社区v1.13与v1.15版本之间的CHANGELOG v1.14到v1.15的变化： https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG/CHANGELOG-1.15.md v1.13到v1.14的变化： https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG/CHANGELOG-1.14.md

参考链接 社区v1.9与v1.11版本之间的CHANGELOG v1.10到v1.11的变化： https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG/CHANGELOG-1.11.md v1.9到v1.10的变化： https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG/CHANGELOG-1.10.md

触发条件 同时满足以下条件： 集群版本范围： 已EOS版本：v1.19及以下所有版本 1.21版本（于2024/04/30 00:00（北京时间）正式停止维护）：v1.21.1-r0 - v1.21.11-r40 1.23版本：v1.23.1-r0 - v1.23.10-r20 1.25版本：v1.25.1-r0 - v1.25.5-r20 1.27版本：v1.27.1-r0 - v1.27.2-r20 IAM 服务出现区域性故障，且故障期间集群中的IAM临时访问密钥发生过期。 集群内工作负载新建或更新等涉及Pod启动，且需要对接存储卷挂载、负载均衡等功能。

1.23版本集群停止维护公告 发布时间：2024/04/25 华为云CCE集群1.23版本即将于2024/09/30 00:00（北京时间）正式停止维护，届时针对CCE集群1.23以及之前的版本，华为云将不再支持新集群创建。若您账号下存在1.23及之前的集群版本，为了保证您的服务权益，建议尽快升级到最新的商用版本。关于如何升级集群，请参见CCE集群升级指导。关于CCE集群的版本机制，请参见Kubernetes版本策略。 父主题： 集群版本公告

API变更与弃用 在Kubernetes1.29版本中，新创建的CronJob不再支持在.spec.schedule中通过TZ或者CRON_TZ配置时区，请使用.spec.timeZone替代。已经创建的CronJob不受此影响。 在Kubernetes1.29版本中，移除了alpha API ClusterCIDR。 在Kubernetes1.29版本中，kube-apiserver新增启动参数--authentication-config，用于指定AuthenticationConfiguration文件地址，该启动参数与--oidc-*启动参数互斥。 在Kubernetes1.29版本中，移除了KubeSchedulerConfiguration的API版本kubescheduler.config.k8s.io/v1beta3，请迁移至kubescheduler.config.k8s.io/v1。 在Kubernetes1.29版本中，将CEL表达式添加到v1alpha1 AuthenticationConfiguration中。 在Kubernetes1.29版本中，新增对象ServiceCIDR，允许用户动态配置集群分配Service的ClusterIP时所使用的地址范围。 在Kubernetes1.29版本中，kube-proxy新增启动参数--conntrack-udp-timeout、--conntrack-udp-timeout-stream，可对nf_conntrack_udp_timeout和nf_conntrack_udp_timeout_stream内核参数进行设置 。 在Kubernetes1.29版本中，将CEL表达式的支持添加到v1alpha1 AuthenticationConfiguration的WebhookMatchCondition中。 在Kubernetes1.29版本中，PVC.spec.Resource的类型由原先的ResourceRequirements替换为VolumeResourceRequirements。 在Kubernetes1.29版本中，将PodFailurePolicyRule中的OnPodConditions转变为可选字段。 在Kubernetes1.29版本中，FlowSchema与PriorityLevelConfiguration的API版本flowcontrol.apiserver.k8s.io/v1beta3已升级至flowcontrol.apiserver.k8s.io/v1，并进行了以下更改 PriorityLevelConfiguration：.spec.limited.nominalConcurrencyShares字段在省略时自动设为默认值30，并且为了确保与1.28兼容，在1.29中v1版本该字段不允许显示指定为0。在1.30中，将允许v1版本该字段显示指定为0。flowcontrol.apiserver.k8s.io/v1beta3已废弃，并在1.32中不再支持。 在Kubernetes1.29版本中， 优化了kube-proxy的命令行文档，kube-proxy实际上不会将任何socket绑定到由--bind-address启动参数指定的IP。 在Kubernetes1.29版本中，移除了selectorSpread调度器插件，使用podTopologySpread替代。 在Kubernetes1.29版本中，当CSI-Node-Driver没有在运行时，NodeStageVolume操作会重试。 在Kubernetes1.29版本中，ValidatingAdmissionPolicy支持对CRD资源进行校验。使用该特性需开启特性门控ValidatingAdmissionPolicy。 在Kubernetes1.29版本中，kube-proxy新增启动参数--nf-conntrack-tcp-be-liberal，可对内核参数nf_conntrack_tcp_be_liberal进行配置。 在Kubernetes1.29版本中，kube-proxy新增启动参数--init-only，设置后使kube-proxy的init容器在特权模式下运行，进行一些初始化配置，然后退出。 在Kubernetes1.29版本中，CRI的返回体中新增容器的fileSystem字段，表示容器的fileSystem使用信息，而原先只包含镜像的fileSystem。 在Kubernetes1.29版本中，所有内置的CloudProvider全部默认设置为关闭，如果仍需使用，可通过配置DisableCloudProviders和DisableKubeletCloudCredentialProvider特性门控来选择性关闭或者打开。 在Kubernetes1.29版本中，kubelet可通过--node-ips来设置双栈IP（kubelet设置--cloud-provider=external，此时可以使用--node-ips参数来设置节点地址(IPv4/IPv6)），使用该特性需开启特性门控CloudDualStackNodeIPs。

新增特性及特性增强 Service的负载均衡IP模式（Alpha） 在Kubernetes1.29版本，Service的负载均衡IP模式以Alpha版本正式发布。其在Service的status中新增字段ipMode，用于配置集群内Service到Pod的流量转发模式。当设置为VIP时，目的地址为负载均衡IP和端口的流量将由kube-proxy重定向到目标节点，当设置为Proxy时，流量将被发送到负载均衡器，然后由负载均衡器转发到目标节点。这项特性将有助于解决流量绕过负载均衡器缩导致的负载均衡器功能缺失问题。更多使用细节请参考Service的负载均衡IP模式。 NFTables代理模式（Alpha） 在Kubernetes1.29版本，NFTables代理模式以Alpha版本正式发布。该特性允许kube-proxy运行在NFTables模式，在该模式下，kube-proxy使用内核netfilters子系统的nftables API来配置数据包转发规则。更多使用细节请参考NFTables代理模式。 未使用容器镜像的垃圾收集（Alpha） 在Kubernetes1.29版本，未使用容器镜像的垃圾收集以Alpha版本正式发布。该特性允许用户为每个节点配置本地镜像未被使用的最长时间，超过这个时间镜像将被垃圾回收。配置方法为使用kubelet配置文件中的ImageMaximumGCAge字段。更多使用细节请参考未使用容器镜像的垃圾收集。 PodLifecycleSleepAction（Alpha） 在Kubernetes1.29版本，PodLifecycleSleepAction以Alpha版本正式发布。该特性在容器生命周期回调中引入了Sleep回调程序，可以配置让容器在启动后和停止前暂停一段指定的时间。更多使用细节请参考PodLifecycleSleepAction。 KubeletSeparateDiskGC（Alpha） 在Kubernetes1.29版本，KubeletSeparateDiskGC以Alpha版本正式发布。该特性启用后，即使在容器镜像和容器位于独立文件系统的情况下，也能进行垃圾回收。 matchLabelKeys/mismatchLabelKeys（Alpha） 在Kubernetes1.29版本，matchLabelKeys/mismatchLabelKeys以Alpha版本正式发布。该特性启用后，在Pod的亲和/反亲和配置中新增了matchLabelKeys/mismatchLabelKeys字段，可配置更丰富的Pod间亲和/反亲和策略。更多使用细节请参考matchLabelKeys/mismatchLabelKeys。 clusterTrustBundle投射卷（Alpha） 在Kubernetes1.29版本，clusterTrustBundle投射卷以Alpha版本正式发布。该特性启用后，支持将ClusterTrustBundle对象以自动更新的文件的形式注入卷。更多使用细节请参考clusterTrustBundle投射卷。 基于运行时类的镜像拉取（Alpha） 在Kubernetes1.29版本中，基于运行时类的镜像拉取以Alpha版本正式发布。该特性启用后， kubelet 会通过一个元组（镜像名称，运行时处理程序）而不仅仅是镜像名称或镜像摘要来引用容器镜像。 您的容器运行时可能会根据选定的运行时处理程序调整其行为。基于运行时类来拉取镜像对于基于VM的容器会有帮助。更多使用细节请参考基于运行时类的镜像拉取。 PodReadyToStartContainers状况达到Beta 在Kubernetes1.29版本，PodReadyToStartContainers状况特性达到Beta版本。其在Pod的status中新增了一个名为PodReadyToStartContainers的Condition，该Condition为true表示Pod的沙箱已就绪，可以开始创建业务容器。该特性使得集群管理员可以更清晰和全面地查看 Pod 沙箱的创建完成和容器的就绪状态，增强了指标监控和故障排查能力。更多使用细节请参考PodReadyToStartContainersCondition。 Job相关特性 Pod更换策略达到Beta 在Kubernetes1.29版本，Pod更换策略特性达到Beta版本。该特性确保只有Pod达到Failed阶段（status.phase: Failed）才会被替换，而不是当删除时间戳不为空时，Pod仍处于删除过程中就重建Pod，以此避免出现2个Pod同时占用索引和节点资源。 逐索引的回退限制达到Beta 在Kubernetes1.29版本，逐索引的回退限制特性达到Beta版本。默认情况下，带索引的 Job（Indexed Job）的 Pod 失败情况会被统计下来，受 .spec.backoffLimit 字段所设置的全局重试次数限制。这意味着，如果存在某个索引值的 Pod 一直持续失败，则会 Pod 会被重新启动，直到重试次数达到限制值。 一旦达到限制值，整个 Job 将被标记为失败，并且对应某些索引的 Pod 甚至可能从不曾被启动。该特性可以在某些索引值的 Pod 失败的情况下，仍完成执行所有索引值的 Pod，并且通过避免对持续失败的、特定索引值的Pod进行不必要的重试，更好的利用计算资源。 原生边车容器达到Beta 在Kubernetes1.29版本，原生边车容器特性达到Beta版本。其在initContainers中新增了restartPolicy字段，当配置为Always时表示启用边车容器。边车容器和业务容器部署在同一个Pod中，但并不会延长Pod的生命周期。边车容器常用于网络代理、日志收集等场景。更多使用细节请参考边车容器。 传统ServiceAccount令牌清理器达到Beta 在Kubernetes1.29版本，传统ServiceAccount令牌清理器特性达到Beta版本。其作为kube-controller-manager的一部分运行，每24小时检查一次，查看是否有任何自动生成的传统ServiceAccount令牌在特定时间段内（默认为一年，通过--legacy-service-account-token-clean-up-period指定）未被使用。如果有的话，清理器会将这些令牌标记为无效，并添加kubernetes.io/legacy-token-invalid-since标签，其值为当前日期。如果一个无效的令牌在特定时间段（默认为1年，通过--legacy-service-account-token-clean-up-period指定）内未被使用，清理器将会删除它。更多使用细节请参考传统ServiceAccount令牌清理器。 DevicePluginCDIDevices达到Beta 在Kubernetes1.29版本，DevicePluginCDIDevices特性达到Beta版本。该特性在DeviceRunContainerOptions增加CDIDevices字段，使得设备插件开发者可以直接将CDI设备名称传递给支持CDI的容器运行时。 PodHostIPs达到Beta 在Kubernetes1.29版本中，PodHostIPs特性达到Beta版本。该特性在Pod和downward API的Status中增加hostIPs字段，用于将节点IP地址暴露给工作负载。该字段是hostIP的双栈协议版本，第一个IP始终与hostIP相同。 API优先级和公平性达到GA 在Kubernetes1.29版本，API优先级和公平性（APF）特性达到GA版本。APF以更细粒度的方式对请求进行分类和隔离，提升最大并发限制，并且它还引入了空间有限的排队机制，因此在非常短暂的突发情况下，API 服务器不会拒绝任何请求。 通过使用公平排队技术从队列中分发请求，这样，一个行为不佳的控制器就不会导致其他控制器异常 （即使优先级相同）。更多使用细节请参考API优先级和公平性。 APIListChunking达到GA 在Kubernetes1.29版本，APIListChunking特性达到GA版本。该特性允许客户端在List请求中进行分页，避免一次性返回过多数据而导致的性能问题。 ServiceNodePortStaticSubrange达到GA 在Kubernetes1.29版本，ServiceNodePortStaticSubrange特性达到GA版本。该特性kubelet会根据Nodeport范围计算出预留地址大小，并将Nodeport划分为静态段和动态段。在Nodeport自动分配时，优先分配在动态段，这有助于减小指定静态段分配时的端口冲突。更多使用细节请参考ServiceNodePortStaticSubrange PersistentVolume的阶段转换时间戳达到Beta 在Kubernetes1.29版本，PersistentVolume的阶段转换时间戳特性达到Beta版本。该特性在PV的status中添加了一个lastPhaseTransitionTime字段，表示PV上一次phase变化的时间。通过该字段，集群管理员可以跟踪PV上次转换到不同阶段的时间，从而实现更高效、更明智的资源管理。更多使用细节请参考PersistentVolume的阶段转换时间戳。 ReadWriteOncePod达到GA 在Kubernetes1.29版本中，ReadWriteOncePod特性达到GA版本。该特性允许用户在PVC中配置访问模式为ReadWriteOncePod，确保同时只有一个 Pod能够修改存储中的数据，以防止数据冲突或损坏。更多使用细节请参考ReadWriteOncePod。 CSINodeExpandSecret达到GA 在Kubernetes1.29版本中，CSINodeExpandSecret特性达到GA版本。该特性允许在添加节点时将Secret身份验证数据传递到CSI驱动以供后者使用。 CRD验证表达式语言达到GA 在Kubernetes1.29版本中，CRD验证表达式语言特性达到GA版本。该特性允许用户在CRD中使用通用表达式语言（CEL）定义校验规则，相比webhook更加高效。更多使用细节请参考CRD校验规则。

关于CCE集群Docker支持策略公告 发布时间：2024/02/19 Kubernetes社区已在v1.24版本移除dockershim，默认不再支持Docker运行时。考虑到当前仍然有部分用户使用Docker，CCE将继续支持创建Docker节点。 建议您在新建节点时选择更加轻量、安全的Containerd运行时，同时将存量节点的容器运行时逐步迁移至Containerd，具体操作请参见将节点容器引擎从Docker迁移到Containerd。 Containerd和Docker的对比请参见容器引擎Containerd和Docker。 父主题： 产品变更公告

1.21版本集群停止维护公告 发布时间：2024/01/22 华为云CCE集群1.21版本即将于2024/04/30 00:00（北京时间）正式停止维护，届时针对CCE集群1.21以及之前的版本，华为云将不再支持新集群创建。若您账号下存在1.21及之前的集群版本，为了保证您的服务权益，建议尽快升级到最新的商用版本。关于如何升级集群，请参见CCE集群升级指导。关于CCE集群的版本机制，请参见Kubernetes版本策略。 父主题： 集群版本公告

Kubernetes 1.9的集群版本升级公告 发布时间：2020/12/07 根据CCE发布的Kubernetes版本策略中的版本策略，CCE将在近期停止Kubernetes 1.9的集群版本的维护，为了能够更好地方便您使用云容器引擎服务，确保您使用稳定又可靠的Kubernetes版本，如果您仍在使用1.9.7或1.9.10版本集群，请尽快升级到较新版本集群，CCE预计将在2021年4月30日后关闭对应升级通道，请您务必在此之前升级您的Kubernetes集群。 升级方法请参见集群版本升级说明。 父主题： 集群版本公告

1.17版本集群停止维护公告 发布时间：2022/11/29 根据CCE发布的Kubernetes版本策略中的版本策略，计划从2023年1月31日起，CCE将对1.17版本集群停止维护。在此之后，您仍可以使用您的1.17版本集群，但CCE将不再提供对该版本的技术支持，包含支持新的功能、社区bugfix回合、漏洞修复、升级等。建议您在版本停止维护前及时将集群升级到最新版本，升级操作请参见集群升级。 父主题： 集群版本公告

1.19版本集群停止维护公告 发布时间：2023/07/07 华为云CCE集群1.19版本即将于2023/09/30 00:00（北京时间）正式停止维护，届时针对CCE集群1.19以及之前的版本，华为云将不再支持新集群创建。若您账号下存在1.19及之前的集群版本，为了保证您的服务权益，建议尽快升级到最新的商用版本。关于如何升级集群，请参见CCE集群升级指导。关于CCE集群的版本机制，请参见Kubernetes版本策略。 父主题： 集群版本公告

Helm V2 升级Helm V3 公告 发布时间：2022/08/30 因控制台“模板管理”功能所依赖的开源软件Helm已从 V2 演进至 V3 版本，即日起平台会自动将集群中 Helm V2 格式实例转换为 Helm V3 格式。部分 Helm V2 功能在 Helm V3 上有了更好的解决方案，但可能存在与原有方式不兼容的情况，需要您根据Helm V3 与 Helm V2 的差异及适配方案进行排查并做相应的适配验证。 如您短期内切换到 Helm V3 存在困难，可通过后台 Helm 客户端方式继续管理并部署 Helm V2 实例，操作方法请参见通过 Helm V2 客户端部署应用。为了更好地维护您的权益以及更好地获取运维支撑，请您在2022年12月30日前彻底切换至 Helm V3 管理方式。 父主题： 产品变更公告

ServiceAccount Token安全性提升说明 发布时间：2022/11/24 Kubernetes 1.21及以上版本的集群中，Pod将不再自动挂载永久Token，默认使用TokenRequest API获得Token，并使用投射卷（Projected Volume）挂载到Pod中。 使用这种方法获得的Token具有固定的生命周期（默认有效期为1小时），在到达有效期之前，Kubelet会刷新该Token，保证Pod始终拥有有效的Token，Kubernetes 1.21及以上版本的集群中会默认开启该特性。如果用户使用版本过低的K8s客户端（Client），由于低版本Client并不具备证书轮转能力，会存在证书轮转失效的风险。 详情请参见ServiceAccount Token安全性提升说明。 父主题： 产品变更公告

Grafana插件版本发布记录 表1 Grafana插件版本记录 插件版本 支持的集群版本 更新特性 1.2.1 v1.17 v1.19 v1.21 v1.23 v1.25 v1.27 v1.28 v1.29 支持关联LoadBalancer类型的Service 1.2.0 v1.17 v1.19 v1.21 v1.23 v1.25 v1.27 v1.28 v1.29 支持v1.29集群 1.1.0 v1.17 v1.19 v1.21 v1.23 v1.25 v1.27 v1.28 提供Grafana的开源版 父主题： 插件版本发布记录

多维诊断：丰富的诊断项，集群全方位体检 CCE集群健康诊断提炼了运维专家提供的高频故障案例，覆盖了集群/核心插件/节点/工作负载/外部依赖等多种维度的健康检查，并且所有的诊断项都给出了风险评级、影响风险、以及修复建议。 集群维度：包括集群运维能力检查，安全组配置检查，集群资源规划检查等诊断项。 图3 集群维度诊断项 核心插件维度：覆盖监控、日志、coredns、存储等核心插件的健康检查。 图4 核心插件维度诊断项 节点维度：包括节点资源负载情况和节点状态诊断。 图5 节点维度诊断项 工作负载维度：包括工作负载配置检查，Pod资源负载检查，Pod状态诊断等。 图6 工作负载维度诊断项 外部依赖维度：主要包括ECS和云硬盘等资源配额检查。 图7 外部依赖维度诊断项

智能分析：智能健康评级，专业修复建议 CCE集群健康诊断会针对故障和潜在风险，给出风险等级并提供修复建议。风险等级按照紧急程度分为高风险和低风险两种： 高风险：说明该诊断项会危及到集群或应用稳定性，可能造成业务损失，需要尽快修复。 低风险：说明该诊断项不符合云原生最佳实践，存在潜在的风险，但是不会马上对业务造成重大影响，建议修复。 在每一次健康诊断完成之后，所有的诊断结果会被汇总分析，并给出最终的集群健康评分，该评分反映了集群的整体健康状况。健康评分较低的集群往往存在较大的故障风险，需要引起集群管理员的高度重视。 图8 健康风险等级评估

案例分析：一次安全组误操作导致的业务故障 CCE作为通用的容器平台，安全组规则的设置适用于通用场景。集群在创建时将会自动为Master节点和Node节点分别创建一个安全组。如果用户不小心误操作了默认安全组中的规则，可能会导致节点网络不通等问题，而且这种问题往往比较难以排除，需要花费较多的时间才能定位到安全组的原因，影响业务恢复速度。这种情况我们可以通过健康中心的巡检功能来进行故障诊断。 例如修改一个集群的默认安全组规则，将Master与Node通信规则，从允许改为拒绝。 图9 修改安全组规则 以上操作会导致集群部分功能异常，如网络不通出现无法执行kubectl命令的问题。 这种问题往往难以排查，会消耗用户大量的时间来寻找根因。此时如果用户在CCE健康中心执行一次健康巡检，会发现安全组高风险巡检项提示： 图10 安全组异常提示 通过诊断详情可以直接定位异常安全组，便于进行针对性修复： 图11 定位异常安全组 整个故障诊断流程方便快捷，可以大幅减低故障排查时间，帮助客户业务更稳定的运行在CCE集群上。

一站式告警配置 为了让用户在极短时间内完成系统的基本告警配置，CCE服务联合 AOM 服务推出云原生专属告警模板，一键即可配置云原生系统的告警规则。此告警模板基于华为云日常运维经验总结提炼，内容涵盖了集群故障事件以及集群、节点、负载资源监控阈值等多方面的常见故障场景。用户只需要在CCE开启告警中心，绑定故障通知人员的邮箱或手机即可。 图2 一键开启 另外，告警中心还具备告警通知组配置、告警规则配置、告警查看回溯等能力，让运维人员能够一站式完成告警的配置和处理流程，完成闭环。 告警中心基于华为云 SMN 服务提供告警通知组能力。通过配置告警通知组，能够在故障产生时根据问题触发系统的种类和级别及时通知相应的运维人员介入处理。 图3 配置告警通知组 告警规则可通过告警模板一键下发，涵盖集群常用的指标告警和事件告警。当然，用户也可以自由选配这些告警规则。 图4 配置告警规则 当告警产生时，告警通知人会及时收到告警通知，并可以通过告警中心提供的可视化界面查看和消除告警。为方便用户对已发生故障进行回溯，告警中心也同样支持查看历史已经消除的告警。 图5 告警列表

云原生日志视图 为了契合云原生业务特征，方便运维人员快速查询日志并准确定位故障，华为云CCE服务推出日志中心功能，提供云原生视角的专属页面版式。 图6 日志中心 日志中心支持根据K8s资源对象，如工作负载、Pod等进行过滤筛选。同时支持K8s管理日志、审计日志、业务日志等分类展示，整体页面更加简洁，日志主体内容及关联的K8s资源等重点信息更加突出，能够让运维人员聚焦故障点日志，排除干扰。 图7 多维度过滤筛选 日志中心还提供了日志采集策略的配置管理能力，支持自由配置采集的K8s资源对象。另外，为了进一步降低日志的使用门槛，日志中心提供了控制面日志、审计日志和容器标准输出日志的采集配置模板，支持一键开启或关闭。 图8 采集模板 本期我们针对告警中心和日志中心的能力给大家进行了简单的介绍。我们非常期待这些能力能够有效地提升您的运维体验。我们将会进行持续优化。期待您的使用以及宝贵的改进意见。