通过MCI访问服务 MCI对象创建成功后，您可以通过 http://IP:port/path 访问后端工作负载，其中IP:port为MCI关联ELB的IP和端口，path为MCI对象中定义的路径。 MCI对象中还可以设置外部 域名 ，这样您就可以通过域名来访问到ELB，进而访问到后端服务。 spec: rules: - host: www.example.com # 域名 http: paths: - path: / backend: serviceName: nginx # 准备一个名为nginx的联邦service servicePort: 80 # 端口号为80 域名访问依赖于域名解析，需要您将域名解析指向ELB实例的IP地址，例如您可以使用云解析服务 DNS来实现域名解析。

创建MCI对象 使用kubectl连接集群联邦，详细操作请参见使用kubectl连接集群联邦。 创建并编辑 mci.yaml 文件，文件内容定义如下所示，参数定义请参见表1。 vi mci.yaml apiVersion: networking.karmada.io/v1alpha1 kind: MultiClusterIngress metadata: name: nginx-ingress namespace: default annotations: karmada.io/elb.conditions.nginx-svc: '[{ "type": "header", "headerConfig": { "key":"x-header", "values": [ "green" ] } }]' karmada.io/elb.id: 90f9f782-1243-41cc-a57d-6157f6cb85bf karmada.io/elb.projectid: 65382450e8f64ac0870cd180d14e684b karmada.io/elb.health-check-flag: "on" karmada.io/elb.health-check-option.nginx-svc: '{"protocol":"TCP"}' spec: ingressClassName: public-elb rules: - host: demo.localdev.me http: paths: - backend: service: name: nginx-svc # 准备一个名为nginx-svc的联邦service port: number: 8080 # 端口号为8080 path: /web pathType: Prefix MCI对象的结构体定义与networking.kubernetes.io/v1版本Ingress一致，不同之处在于后端服务需要填写为联邦Service，即在U CS 控制台创建的Service，具体请参见集群内访问（ClusterIP）。 在配置MCI文件内容的过程中需要遵守的约束条件如下： apiVersion，kind，name必须指定。 spec下不允许填写TLS和DefaultBackend字段。 rules、paths不能为空。 host必须是DNS名称，不可以是IP地址。 service中所指定的后端服务必须是存在的、且输入的相关信息（如端口）是正确的，否则会导致访问服务失败。若您已经创建了参数信息错误的MCI对象，请参考4中的命令更新该MCI对象。 paths中，配置的高级转发策略（karmada.io/elb.conditions.{service name}）越多的后端（backend）在paths中的位置应该越靠前。因为backend在paths中配置的位置越靠前，其转发优先级越高。 示例：如果为后端X配置两条转发策略a和b，为后端Y配置一条转发规则a，则此时paths中X的配置顺序应在Y之前，否则，同时符合a、b两条转发规则的流量将按照优先级顺序全部转发至Y中。 backend下不允许填写resource字段。 path值需要是绝对路径；不合法的path值：invalidPathSequences = []string{"//", "/./", "/../", "%2f","%2F"}，invalidPathSuffixes = []string{"/..", "/."}。 pathType合法值：Exact、Prefix、ImplementationSpecific。 表1 关键参数说明 参数 是否必填 参数类型 描述 karmada.io/elb.id 是 String MCI关联的elb的id，不允许为空。长度为1-32个字符。 karmada.io/elb.projectid 是 String MCI关联的elb所属的项目ID，获取方法请参见获取项目ID。长度为1-32个字符。 karmada.io/elb.port 否 String MCI关联的elb的端口，不填默认为80。支持值为1-65535。 karmada.io/elb.health-check-flag 否 String 是否启用健康检查，可选值为： on：开启 off：不开启 不填写时默认为off。 karmada.io/elb.health-check-option 否 HealthCheck Object 健康检查参数，详情请参见HealthCheck。 说明： 健康检查参数配置示例： karmada.io/elb.health-check-option.nginx-svc: '{"protocol":"TCP","delay":"5","connect_port":"80","timeout":"1","max_retries":"1","path":"/wd"}' karmada.io/elb.conditions.{service name} 否 Array of Condition Object 高级转发策略，详情请参见Condition。{service name}请修改为联邦Service的名称。 karmada.io/elb.lb-algorithm.{service name} 否 String 转发算法： ROUND_ROBIN：加权轮询算法。 LEAST_CONNECTIONS：加权最少连接算法。 SOURCE_IP：源IP算法。 不填写时默认为ROUND_ROBIN。 {service name}请修改为联邦Service的名称。 ingressClassName 是 String ingressClass名称。取值必须为public-elb。 host 否 String 为服务访问域名配置，默认为""，表示域名全匹配。请确保所填写的域名已注册并备案，一旦配置了域名规则后，必须使用域名访问。 backend 否 Backend Object 后端，是Service 和端口名称的组合， 。 对于发往MCI的 HTTP（和 HTTPS）请求，如果与规则中的主机和路径匹配， 则会被发送到所列出的后端。 注意： 后端在paths中的配置顺序决定了策略的转发优先级。 示例：如果为后端X配置两条转发策略a和b，为后端Y配置一条转发规则a，则此时paths中X的配置顺序应在Y之前，否则，同时符合a、b两条转发规则的流量将按照优先级顺序全部转发至Y中。 path 是 String 为路由路径，用户自定义设置。所有外部访问请求需要匹配host和path。 说明： 此处添加的访问路径要求后端应用内存在相同的路径，否则转发无法生效。 例如，Nginx应用默认的Web访问路径为“/usr/share/nginx/html”，在为Ingress转发策略添加“/test”路径时，需要应用的Web访问路径下也包含相同路径，即“/usr/share/nginx/html/test”，否则将返回404。 pathType 是 String 路径类型。 ImplementationSpecific: 匹配方法取决于具体Ingress Controller的实现。在CCE中会使用ingress.beta.kubernetes.io/url-match-mode指定的匹配方式。 Exact：精确匹配 URL 路径，且区分大小写。 Prefix：前缀匹配，且区分大小写。该方式是将URL路径通过“/”分隔成多个元素 ，并且对元素进行逐个匹配。 如果URL中的每个元素均和路径匹配，则说明该URL的子路径均可以正常路由。 说明： Prefix匹配时每个元素均需精确匹配，如果URL的最后一个元素是请求路径中最后一个元素的子字符串，则不会匹配 。例如：/foo/bar匹配/foo/bar/baz，但不匹配/foo/barbaz。 通过“/”分隔元素时，若URL或请求路径以“/”结尾，将会忽略结尾的“/”。例如：/foo/bar会匹配/foo/bar/。 关于Ingress路径匹配示例，请参见示例。 表2 HealthCheck参数说明 参数 是否必填 参数类型 描述 protocol 否 String 健康检查使用的协议，支持TCP/HTTP。 connect_port 否 Int 健康检查使用的端口。支持值为1-65535。 delay 否 Int 健康检查的延迟时间，以秒为单位，1-50。 timeout 否 Int 健康检查的超时时间，以秒为单位，1-50。 path 否 String 健康检查的请求URL，当type为HTTP/HTTPS时生效。 以"/"开头，默认为"/"。支持使用字母、数字和短划线（-）、正斜线（/）、半角句号（.）、百分号（%）、半角问号（?）、井号（#）和and（&）以及扩展字符集。长度为1-80个字符。 max_retries 否 Int 最大重试次数，取值范围1-10。 表3 Condition参数说明 参数 是否必填 参数类型 描述 type 是 String 高级转发策略类型，当前仅支持header。 headerConfig 是 headerConfig Object 高级转发策略对象，详情请参见headerConfig。 表4 headerConfig参数说明 参数 是否必填 参数类型 描述 key 是 String 转发Header头。 长度限制1-40字符，只允许包含字母、数字、短划线和下划线。 values 是 String数组 转发Header头对应的值。 长度限制1-128字符，不支持空格， 双引号，支持以下通配符：*（匹配0个或更多字符）和？（正好匹配1个字符）。 执行如下命令创建MCI对象。 kubectl apply -f mci.yaml 回显如下。 multiClusterIngress.networking.karmada.io/nginx-ingress created 创建完成后，可以执行如下命令操作MCI对象。其中nginx-ingress为MCI对象的名称。 获取MCI对象：kubectl get mci nginx-ingress 更新MCI对象：kubectl edit mci nginx-ingress 删除MCI对象：kubectl delete mci nginx-ingress

准备工作 如您在同一VPC下没有可用的ELB，需要先创建ELB实例，具体请参考创建独享型负载均衡器。该ELB实例需要满足以下条件： ELB为独享型。 ELB必须支持应用型（HTTP/HTTPS）。 ELB网络类型必须支持私网（有私有IP地址）。 MCI为跨集群后端工作负载提供统一入口和七层网络访问，因此需要在联邦中提前部署可用的工作负载（Deployment）和服务（Service）。若您无可用工作负载和服务，请参考无状态负载和集群内访问（ClusterIP）创建。

集群备份 本地备份 创建备份文件压缩包存放的目录。 执行备份命令： ./ucs-ctl backup 集群名 --path 备份路径 --type local 示例如下： ./ucs-ctl backup gpu-test --path /home/ggz/gpu-test --type local 执行成功后，会在指定的备份路径下产生名为：集群名-backup-时间戳.tar.gz这样一个备份压缩文件。 备份压缩文件存在ha.yaml、etcd-snapshot目录、crt目录，etcd-snapshot包含etcd备份数据，crt包含证书与加解密材料。 远端备份

v1.19版本 表7 v1.19补丁版本发布说明 CCE集群补丁版本号 Kubernetes社区版本 特性更新 优化增强 安全漏洞修复 v1.19.16-r84 v1.19.16 - - 修复CVE-2024-21626安全漏洞。 v1.19.16-r82 v1.19.16 - 修复Ingress配置SNI证书并同时开启HTTP/2的场景下偶现配置冲突的问题。 - v1.19.16-r80 v1.19.16 节点池支持节点的自定义前缀和后缀命名 CCE Turbo 集群中，支持创建工作负载类型的容器网络配置，可指定Pod子网，详情请参见容器网络配置（NetworkAttachmentDefinition）。 ELB Ingress支持GRPC协议，详情请参见ELB Ingress对接GRPC协议的后端服务。 负载均衡类型的服务在通过YAML创建时支持指定ELB私有IP，详情请参见通过kubectl命令行创建-自动创建ELB。 修复BMS节点重启后显示节点不可用的问题。 优化VIP路由清理逻辑，先清理残留VIP路由，避免出现NetworkManager重启后重新添加路由的问题。 修复CCE Turbo集群使用独享型ELB场景，Pod滚动升级复用IP可能导致ELB后端服务器无法添加的问题。 修复创建负载均衡类型Service时加入healthcheck队列后，如果Service被删除，会导致缓存残留的问题。 修复Master节点所在的物理机或者交换机网络设备掉线之后，内存持续上涨，docker占用内存持续上涨的问题。 修复部分安全问题。 v1.19.16-r72 v1.19.16 - 修复部分场景下非预期的Master节点主备切换。 优化路由删除匹配机制，修复偶发性删除路由命令失败的问题。 修复部分安全问题。 v1.19.16-r70 v1.19.16 - 修复有状态负载Pod可能出现后端添加失败或未更改问题。 增强Master节点核心组件故障隔离能力。 修复达到预热参数回收空闲网卡条件后，可能并没有回收网卡的问题。 修复部分安全问题。 v1.19.16-r60 v1.19.16 Volcano支持节点池亲和调度。详情请参见节点池亲和性调度。 Volcano支持负载重调度能力。详情请参见重调度（Descheduler）。 - 修复部分安全问题。 v1.19.16-r50 v1.19.16 - 优化节点池伸缩时的事件信息。 修复部分安全问题。 v1.19.16-r40 v1.19.16 节点池配置管理支持软驱逐和硬驱逐的设置。 支持为自动创建的EVS块存储添加TMS资源标签，以便于成本管理。 - 修复部分安全问题。 v1.19.16-r30 v1.19.16 CCE集群支持对接使用弹性规格的独享型ELB。 负载均衡支持设置超时时间。详情请参见负载均衡类型的服务设置超时时间和ELB Ingress设置超时时间。 kube-apiserver高频参数支持配置。 修复部分安全问题。 v1.19.16-r20 v1.19.16 Service和Ingress支持关联G-EIP的独享型ELB。 CCE Turbo容器网卡支持固定IP。详情请参见为Pod配置固定IP。 CCE Turbo容器网卡支持自动创建和自动绑定EIP。详情请参见为Pod配置固定EIP。 云原生2.0网络支持命名空间指定子网。 增强节点重启后，docker运行时拉取镜像的稳定性。 优化CCE Turbo集群在非全预热场景分配网卡的性能。 修复部分安全问题。 v1.19.16-r10 v1.19.16 - 提升Service/Ingress对接ELB特性稳定性。 修复部分安全问题。 v1.19.16-r7 v1.19.16 - 增强Docker版本升级时的可靠性。 优化集群节点时间同步能力。 增强CCE Turbo集群预热场景可靠性。 修复部分安全问题。 v1.19.16-r6 v1.19.16 Service和Ingress支持关联G-EIP的独享型ELB。 增强配置了QoS的containerd容器运行的稳定性。 Ingress支持对url重写策略配置和修改。 优化kube-controller-manager在频繁更新CRD场景下的内存使用。 修复部分安全问题。 v1.19.16-r5 v1.19.16 支持LB类型的Service同时配置TCP/UDP端口，详情请参见指定多个端口配置健康检查。 支持Pod readiness gate，详情请参见通过ELB健康检查设置Pod就绪状态。 增强底层网络异常时的流表可靠性。 增强高版本内核的OS异常掉电等重启场景的稳定性。 修复部分安全问题。 v1.19.16-r4 v1.19.16 容器存储支持对接SFS 3.0文件存储服务。 支持GPU节点的设备故障检测和隔离能力。 支持配置集群维度的自定义安全组。 CCE Turbo集群支持节点级别的网卡预热参数配置。 优化节点污点场景下负载调度的性能。 增强Containerd运行时绑核场景下长时间运行的稳定性。 优化ELB Service/Ingress在大量连接场景下的稳定性。 优化kube-apiserver在频繁更新crd场景下的内存使用。 修复部分安全问题及以下CVE漏洞： CVE-2022-3294 CVE-2022-3162 CVE-2022-3172 v1.19.16-r3 v1.19.16 - 支持image-pull-progress-deadline启动参数升级保留。 CCE Turbo支持节点自定义网卡动态预热配置。 BMS节点EulerOS 2.3重启后udp链接稳定性优化。 解决隧道网络在master节点间网络闪断场景下导致的网络分配不一致问题。 优化容器隧道网络模式集群在控制面节点网络闪断场景下的稳定性。 修复部分安全问题。 v1.19.16-r2 v1.19.16 - 增强集群控制面节点掉电时链接释放的稳定性。 增强节点上Pod并发挂载存储卷的稳定性。 修复部分安全问题。 v1.19.16-r1 v1.19.16 - 增强EulerOS 2.9操作系统NetworkManager的稳定性。 修复部分安全问题。 v1.19.16-r0 v1.19.16 - 增强工作负载升级且节点伸缩状态下，负载均衡服务更新的稳定性。 修复部分安全问题及以下CVE漏洞： CVE-2021-25741 CVE-2021-25737 v1.19.10-r0 v1.19.10 首次发布CCE v1.19集群，有关更多信息请参见Kubernetes 1.19版本说明。 - -

v1.21版本 表6 v1.21补丁版本发布说明 CCE集群补丁版本号 Kubernetes社区版本 特性更新 优化增强 安全漏洞修复 v1.21.15-r0 v1.21.14 支持使用通用型SSD v2、极速SSD v2类型的云硬盘。 ELB Ingress支持配置灰度发布。 ELB Ingress支持配置URL重定向、Rewrite重写、HTTP重定向到HTTPS能力。 开放高频使用的集群参数、节点池参数配置。 修复部分安全问题。 v1.21.14-r0 v1.21.14 支持使用PVC动态创建SFS Turbo子目录并挂载。 - 修复部分安全问题。 v1.21.13-r0 v1.21.14 创建Service或Ingress支持设置ELB黑/白名单访问控制。 CCE的节点镜像支持安全加固（满足等保三级基线要求）。 - 修复部分安全问题。 v1.21.12-r4 v1.21.14 - - 修复CVE-2024-21626安全漏洞。 v1.21.12-r2 v1.21.14 - 修复Ingress配置SNI证书并同时开启HTTP/2的场景下偶现配置冲突的问题。 - v1.21.12-r0 v1.21.14 节点池支持节点的自定义前缀和后缀命名 CCE Turbo集群中，支持创建工作负载类型的容器网络配置，可指定Pod子网，详情请参见容器网络配置（NetworkAttachmentDefinition）。 ELB Ingress支持GRPC协议，详情请参见ELB Ingress对接GRPC协议的后端服务。 负载均衡类型的服务在通过YAML创建时支持指定ELB私有IP，详情请参见通过kubectl命令行创建-自动创建ELB。 优化健康检查配置，避免出现keepalived反复重启的问题。 优化securityPolicy缓存及Ingress重试风暴。 修复cloud-controller-manager组件主进程所在Master节点出现卡IO，组件切主失败的问题。 修复Service设置权重后，会错误计算terminating状态的Pod数，导致Pod权重不准确的问题。 修复部分安全问题。 v1.21.11-r40 v1.21.14 - 优化接口调用逻辑，避免业务大规模调用场景下出现接口流控。 修复部分安全问题。 v1.21.11-r30 v1.21.14 - 修复CCE Turbo集群使用独享型ELB场景，Pod滚动升级复用IP可能导致ELB后端服务器无法添加的问题。 修复节点删除过程中，节点状态为不可用但没有及时出现告警的问题。 修复磁盘挂载到ECS后，系统中可能出现找不到软链文件的问题。 修复部分安全问题。 v1.21.11-r20 v1.21.14 Volcano支持节点池亲和调度。详情请参见节点池亲和性调度。 Volcano支持负载重调度能力。详情请参见重调度（Descheduler）。 - 修复部分安全问题。 v1.21.11-r10 v1.21.14 - 优化节点池伸缩时的事件信息。 修复部分安全问题。 v1.21.11-r0 v1.21.14 节点池配置管理支持软驱逐和硬驱逐的设置。 支持为自动创建的EVS块存储添加TMS资源标签，以便于成本管理。 - 修复部分安全问题。 v1.21.10-r10 v1.21.14 CCE集群支持对接使用弹性规格的独享型ELB。 负载均衡支持设置超时时间。详情请参见负载均衡类型的服务设置超时时间和ELB Ingress设置超时时间。 kube-apiserver高频参数支持配置。 修复部分安全问题。 v1.21.10-r0 v1.21.14 Service和Ingress支持关联G-EIP的独享型ELB。 CCE Turbo容器网卡支持固定IP。详情请参见为Pod配置固定IP。 CCE Turbo容器网卡支持自动创建和自动绑定EIP。详情请参见为Pod配置固定EIP。 增强docker版本升级时的可靠性。 优化集群节点时间同步能力。 优化节点重启后，docker运行时拉取镜像的稳定性。 修复部分安全问题。 v1.21.9-r0 v1.21.14 Service和Ingress支持关联G-EIP的独享型ELB。 优化CCE Turbo集群在规格变更场景时网络的稳定性。 修复部分安全问题。 v1.21.8-r0 v1.21.14 支持LB类型的Service同时配置TCP/UDP端口，详情请参见指定多个端口配置健康检查。 支持Pod readiness gate，详情请参见通过ELB健康检查设置Pod就绪状态。 增强底层网络异常时的流表可靠性。 增强高版本内核的OS异常掉电等重启场景的稳定性。 cadvisor GPU/NPU相关指标优化。 修复部分安全问题。 v1.21.7-r0 v1.21.14 容器存储支持对接SFS 3.0文件存储服务。 支持GPU节点的设备故障检测和隔离能力。 支持配置集群维度的自定义安全组。 CCE Turbo集群支持节点级别的网卡预热参数配置。 支持集群控制面组件的日志信息开放。 优化ELB Service/Ingress在大量连接场景下的稳定性。 修复部分安全问题及以下CVE漏洞： CVE-2022-3294 CVE-2022-3162 CVE-2022-3172 v1.21.6-r0 v1.21.7 支持ARM节点创建。 - 修复部分安全问题。 v1.21.5-r10 v1.21.7 - 增强EulerOS 2.3的裸金属节点在重启后的UDP链接稳定性。 优化隧道网络在控制面节点间网络闪断场景下导网络分配的稳定性。 ovs漏洞加固。 修复部分安全问题。 v1.21.5-r0 v1.21.7 - 增强集群升级下容器隧道网络模式的稳定性。 增强pod拓扑分布约束能力。 增强集群控制面节点掉电时链接释放的稳定性。 增强节点上pod并发挂载存储卷的稳定性。 修复部分安全问题。 v1.21.4-r10 v1.21.7 - 增强EulerOS 2.9操作系统NetworkManager的稳定性。 修复部分安全问题。 v1.21.4-r0 v1.21.7 - 增强安全容器场景下容器网卡驱动切换的稳定性。 增强升级工作负载且处于节点伸缩时，访问负载均衡服务的稳定性。 修复部分安全问题。 v1.21.3-r10 v1.21.7 - 增强安全容器场景下容器网卡驱动切换的稳定性。 修复部分安全问题。 v1.21.3-r0 v1.21.7 - CCE Turbo集群容器内的SNAT网段支持可配置。 修复部分安全问题。 v1.21.2-r10 v1.21.7 - 增强Service对接负载均衡场景的稳定性。 修复部分安全问题。 v1.21.2-r0 v1.21.7 优化节点的资源预留参数，支持资源耗尽检测，提升节点的稳定性。 提升集群升级能力，增强升级可靠性。 优化容器本地存储功能，提升稳定性。 修复部分安全问题。 v1.21.1-r2 v1.21.7 容器存储支持本地持久卷。 支持管理EulerOS 2.9鲲鹏计算实例。 容器隧道网络模式和VPC网络模式支持OS内核版本宽匹配。 优化节点安装流程，增强节点创建的可靠性。 优化CentOS和EulerOS 2.5的内核参数，提升OS性能。 修复部分安全问题。 v1.21.1-r1 v1.21.7 - 容器网络支持内核宽匹配。 修复部分安全问题。 v1.21.1-r0 v1.21.7 首次发布CCE v1.21集群，有关更多信息请参见Kubernetes 1.21版本说明。 - -

v1.23版本 表5 v1.23补丁版本发布说明 CCE集群补丁版本号 Kubernetes社区版本 特性更新 优化增强 安全漏洞修复 v1.23.16-r0 v1.23.17 CCE Ingress支持基于HTTP头部自定义Header进行流量分发。 支持为第三方工作负载应用配置扩缩容优先级策略。 （仅CCE Turbo集群）支持使用annotation为Pod配置安全组。 （仅CCE Turbo集群）为Pod绑定EIP时支持使用已有EIP。 节点排水过程支持取消。 创建节点池时不再区分按需计费和包年/包月计费。 更新节点池时支持修改委托及前后缀名称。 重置节点将保留K8s标签和污点。 开放Kubernetes服务账号令牌卷投射配置和负载弹性伸缩控制器配置。 修复部分安全问题。 v1.23.15-r0 v1.23.17 CCE Ingress转发策略支持优先级排序。 StatefulSet配置volumeClaimTemplates时可以配置PV和底层存储的名称前缀（Everest版本要求为2.4.15及以上）。 包周期节点池支持选择多个节点规格。 更新节点池时支持删除默认规格。 自定义节点池支持纳管节点。 增加CoreDNS解析失败的告警规则。 节点退订前支持排水操作。 节点池更新后将展示各节点的配置差异点。 修复部分安全问题。 v1.23.14-r0 v1.23.17 支持使用通用型SSD v2、极速SSD v2类型的云硬盘。 ELB Ingress支持配置灰度发布。 ELB Ingress支持配置URL重定向、Rewrite重写、HTTP重定向到HTTPS能力。 开放高频使用的集群参数、节点池参数配置。 修复部分安全问题。 v1.23.13-r0 v1.23.17 负载均衡类型的Service和ELB Ingress能力新增： 支持配置SNI。 支持开启HTTP/2。 支持配置空闲超时时间、请求超时时间、响应超时时间。 支持从HTTP报文的请求头中获取监听器端口号、客户端请求端口号、重写X-Forwarded-Host。 - 修复部分安全问题。 v1.23.12-r0 v1.23.17 创建Service或Ingress支持设置ELB黑/白名单访问控制。 CCE的节点镜像支持安全加固（满足等保三级基线要求）。 - 修复部分安全问题。 v1.23.11-r4 v1.23.17 - - 修复CVE-2024-21626安全漏洞。 v1.23.11-r2 v1.23.17 - 修复Ingress配置SNI证书并同时开启HTTP/2的场景下偶现配置冲突的问题。 - v1.23.11-r0 v1.23.17 节点池支持节点的自定义前缀和后缀命名 CCE Turbo集群中，支持创建工作负载类型的容器网络配置，可指定Pod子网，详情请参见容器网络配置（NetworkAttachmentDefinition）。 ELB Ingress支持GRPC协议，详情请参见ELB Ingress对接GRPC协议的后端服务。 负载均衡类型的服务在通过YAML创建时支持指定ELB私有IP，详情请参见通过kubectl命令行创建-自动创建ELB。 优化CCE Turbo集群中大批量创建安全容器的启动速度。 提升CCE Turbo集群中反复创建删除安全容器时的稳定性。 修复Docker在journald异常退出场景下导致容器无法被结束的问题。 修复Everest插件卸载时，调度器未能在创建Pod时拦截自动挂载SFS3.0存储卷的问题。 修复v1.23版本集群中，EulerOS 2.9系统的containerd节点上/var/lib/contained磁盘目录使用率虚高的问题。 修复部分安全问题。 v1.23.10-r20 v1.23.11 - 修复VPC网络模型集群在短时间内创建删除大量Pod时容器网卡偶现残留的问题。 优化路由删除匹配机制，修复偶发性删除路由命令失败的问题。 修复部分安全问题。 v1.23.10-r10 v1.23.11 - 修复节点大规模重启可能导致kube-schedule组件发生重启的问题。 优化Service自动创建共享型ELB的参数校验。 修复删除NodePort类型的Service后，立刻创建同端口Service出现偶发性报错的问题。 修复部分安全问题。 v1.23.10-r0 v1.23.11 Volcano支持节点池亲和调度。详情请参见节点池亲和性调度。 Volcano支持负载重调度能力。详情请参见重调度（Descheduler）。 - 修复部分安全问题。 v1.23.9-r10 v1.23.11 - 优化节点池伸缩时的事件信息。 修复部分安全问题。 v1.23.9-r0 v1.23.11 节点池配置管理支持软驱逐和硬驱逐的设置。 支持为自动创建的EVS块存储添加TMS资源标签，以便于成本管理。 - 修复部分安全问题。 v1.23.8-r10 v1.23.11 CCE集群支持对接使用弹性规格的独享型ELB。 负载均衡支持设置超时时间。详情请参见负载均衡类型的服务设置超时时间和ELB Ingress设置超时时间。 kube-apiserver高频参数支持配置。 修复部分安全问题。 v1.23.8-r0 v1.23.11 Service和Ingress支持关联G-EIP的独享型ELB。 CCE Turbo容器网卡支持固定IP。详情请参见为Pod配置固定IP。 CCE Turbo容器网卡支持自动创建和自动绑定EIP。详情请参见为Pod配置固定EIP。 CCE Turbo集群在离线混部增强：支持Pod网络优先级限制。详情请参见出口网络带宽保障。 CCE Turbo集群支持命名空间关联容器网段。详情请参见网络配置（NetworkAttachmentDefinition）。 集群支持CPU Burst特性，避免CPU限流影响时延敏感型容器业务。详情请参见CPU Burst弹性限流。 增强docker版本升级时的可靠性。 优化集群节点时间同步能力。 修复部分安全问题。 v1.23.7-r20 v1.23.11 - 增强Service/Ingress对接ELB特性稳定性。 增强节点挂载多块数据盘场景可靠性。 修复部分安全问题。 v1.23.7-r10 v1.23.11 - 增强docker版本升级时的可靠性。 增强containerd运行时在异常断链场景下的可靠性。 内核参数调优异常场景下加固。 修复部分安全问题。 v1.23.7-r0 v1.23.11 Service和Ingress支持关联G-EIP的独享型ELB。 优化CCE Turbo集群在规格变更场景时网络的稳定性。 增强集群升级场景，nginx-ingress-controller的网络稳定性。 优化集群节点时间同步能力。 修复部分安全问题。 v1.23.6-r0 v1.23.11 支持LB类型的Service同时配置TCP/UDP端口，详情请参见指定多个端口配置健康检查。 支持Pod readiness gate，详情请参见通过ELB健康检查设置Pod就绪状态。 增强底层网络异常时的流表可靠性。 增强高版本内核的OS异常掉电等重启场景的稳定性。 cadvisor GPU/NPU相关指标优化。 修复部分安全问题。 v1.23.5-r0 v1.23.11 容器存储支持对接SFS 3.0文件存储服务。 支持GPU节点的设备故障检测和隔离能力。 支持配置集群维度的自定义安全组。 CCE Turbo集群支持节点级别的网卡预热参数配置。 支持集群控制面组件的日志信息开放。 集群支持华为云自研的Huawei Cloud EulerOS 2.0操作系统。 CCE集群支持选择Containerd容器运行时。 CCE Turbo集群在离线混部增强：支持CPU潮汐亲和性。 优化升级控制节点ETCD版本至社区版本3.5.6。 优化EulerOS 2.8节点上Service的访问性能。 优化调度均衡性，工作负载实例数缩容时仍保持跨AZ分布均衡。 优化kube-apiserver在频繁更新CRD场景下的内存使用。 修复部分安全问题及以下CVE漏洞： CVE-2022-3294 CVE-2022-3162 CVE-2022-3172 CVE-2021-25749 v1.23.4-r10 v1.23.4 - 优化kube-apiserver在频繁更新crd场景下的内存使用。 修复部分安全问题。 v1.23.4-r0 v1.23.4 支持ARM节点创建。 - 修复部分安全问题。 v1.23.3-r0 v1.23.4 CCE集群支持对租户开放master节点组件监控指标。 通过预热机制优化CCE Turbo集群SubENI网卡启动速度。 支持ELB类型service配置后端服务器权重。 CCE集群支持跨集群部署服务。 CCE Turbo集群使用虚拟机节点场景下支持在离线混部功能。 增强安全容器在反复创删场景下的可靠性。 修复部分安全问题。 v1.23.1-r1 v1.23.4 优化节点的资源预留参数，支持资源耗尽检测，提升节点的稳定性。 提升节点的安装兼容性。 修复部分安全问题。 v1.23.1-r0 v1.23.4 首次发布CCE v1.23集群，有关更多信息请参见Kubernetes 1.23版本说明。 - -

v1.25版本 除EulerOS 2.5操作系统外，CCE v1.25集群的节点均默认采用Containerd容器引擎。 表4 v1.25补丁版本发布说明 CCE集群补丁版本号 Kubernetes社区版本 特性更新 优化增强 安全漏洞修复 v1.25.11-r0 v1.25.16 CCE Ingress支持基于HTTP头部自定义Header进行流量分发。 支持为第三方工作负载应用配置扩缩容优先级策略。 （仅CCE Turbo集群）支持使用annotation为Pod配置安全组。 （仅CCE Turbo集群）为Pod绑定EIP时支持使用已有EIP。 节点排水过程支持取消。 创建节点池时不再区分按需计费和包年/包月计费。 更新节点池时支持修改委托及前后缀名称。 重置节点将保留K8s标签和污点。 开放Kubernetes服务账号令牌卷投射配置和负载弹性伸缩控制器配置。 修复部分安全问题。 v1.25.10-r0 v1.25.16 CCE Ingress转发策略支持优先级排序。 StatefulSet配置volumeClaimTemplates时可以配置PV和底层存储的名称前缀（Everest版本要求为2.4.15及以上）。 包周期节点池支持选择多个节点规格。 更新节点池时支持删除默认规格。 自定义节点池支持纳管节点。 增加CoreDNS解析失败的告警规则。 节点退订前支持排水操作。 节点池更新后将展示各节点的配置差异点。 修复部分安全问题。 v1.25.9-r0 v1.25.16 支持使用通用型SSD v2、极速SSD v2类型的云硬盘。 ELB Ingress支持配置灰度发布。 ELB Ingress支持配置URL重定向、Rewrite重写、HTTP重定向到HTTPS能力。 开放高频使用的集群参数、节点池参数配置。 修复部分安全问题。 v1.25.8-r0 v1.25.10 负载均衡类型的Service和ELB Ingress能力新增： 支持配置SNI。 支持开启HTTP/2。 支持配置空闲超时时间、请求超时时间、响应超时时间。 支持从HTTP报文的请求头中获取监听器端口号、客户端请求端口号、重写X-Forwarded-Host。 - 修复部分安全问题。 v1.25.7-r0 v1.25.10 创建Service或Ingress支持设置ELB黑/白名单访问控制。 CCE的节点镜像支持安全加固（满足等保三级基线要求）。 - 修复部分安全问题。 v1.25.6-r4 v1.25.10 - - 修复CVE-2024-21626安全漏洞。 v1.25.6-r2 v1.25.10 - 修复Ingress配置SNI证书并同时开启HTTP/2的场景下偶现配置冲突的问题。 - v1.25.6-r0 v1.25.10 节点池支持节点的自定义前缀和后缀命名 CCE Turbo集群中，支持创建工作负载类型的容器网络配置，可指定Pod子网，详情请参见容器网络配置（NetworkAttachmentDefinition）。 ELB Ingress支持GRPC协议，详情请参见ELB Ingress对接GRPC协议的后端服务。 负载均衡类型的服务在通过YAML创建时支持指定ELB私有IP，详情请参见通过kubectl命令行创建-自动创建ELB。 优化CCE Turbo集群中大批量创建安全容器的启动速度。 提升CCE Turbo集群中反复创建删除安全容器时的稳定性。 修复kubelet在特定场景下偶现启动卡死的问题。 优化autoscaler扩容节点池时的事件上报逻辑，去除规格售罄的重复事件。 修复特定场景下kubelet重启，出现Succeed状态的Pod变为Failed的问题。 修复部分安全问题。 v1.25.5-r20 v1.25.5 - 优化接口调用逻辑，避免业务大规模调用场景下出现接口流控。 启用chrony配置清理修正，避免数据堆积。 修复部分安全问题。 v1.25.5-r10 v1.25.5 - 优化节点删除时的事件信息。 修复部分安全问题。 v1.25.5-r0 v1.25.5 Volcano支持节点池亲和调度。详情请参见节点池亲和性调度。 Volcano支持负载重调度能力。详情请参见重调度（Descheduler）。 - 修复部分安全问题。 v1.25.4-r10 v1.25.5 - 优化节点池伸缩时的事件信息。 修复部分安全问题。 v1.25.4-r0 v1.25.5 节点池配置管理支持软驱逐和硬驱逐的设置。 支持为自动创建的EVS块存储添加TMS资源标签，以便于成本管理。 - 修复部分安全问题。 v1.25.3-r10 v1.25.5 CCE集群支持对接使用弹性规格的独享型ELB。 负载均衡支持设置超时时间。详情请参见负载均衡类型的服务设置超时时间和ELB Ingress设置超时时间。 kube-apiserver高频参数支持配置。 修复部分安全问题。 v1.25.3-r0 v1.25.5 Service和Ingress支持关联G-EIP的独享型ELB。 CCE Turbo容器网卡支持固定IP。详情请参见为Pod配置固定IP。 CCE Turbo容器网卡支持自动创建和自动绑定EIP。详情请参见为Pod配置固定EIP。 CCE Turbo集群在离线混部增强：支持Pod网络优先级限制。详情请参见出口网络带宽保障。 CCE Turbo集群支持命名空间关联容器网段。详情请参见网络配置（NetworkAttachmentDefinition）。 集群支持CPU Burst特性，避免CPU限流影响时延敏感型容器业务。详情请参见CPU Burst弹性限流。 增强CCE Turbo集群在规格变更场景时网络的稳定性。 修复部分安全问题。 v1.25.1-r0 v1.25.5 首次发布CCE v1.25集群，有关更多信息请参见Kubernetes 1.25版本说明。 - -

v1.27版本 Kubernetes在1.24版本中移除了Dockershim，并从此不再默认支持Docker容器引擎，建议您使用Containerd容器引擎。如果您需要将Docker节点迁移至Containerd节点，详情请参见将节点容器引擎从Docker迁移到Containerd。 表3 v1.27补丁版本发布说明 CCE集群补丁版本号 Kubernetes社区版本 特性更新 优化增强 安全漏洞修复 v1.27.8-r0 v1.27.9 CCE Ingress支持基于HTTP头部自定义Header进行流量分发。 支持为第三方工作负载应用配置扩缩容优先级策略。 （仅CCE Turbo集群）支持使用annotation为Pod配置安全组。 （仅CCE Turbo集群）为Pod绑定EIP时支持使用已有EIP。 节点排水过程支持取消。 创建节点池时不再区分按需计费和包年/包月计费。 更新节点池时支持修改委托及前后缀名称。 重置节点将保留K8s标签和污点。 开放Kubernetes服务账号令牌卷投射配置和负载弹性伸缩控制器配置。 修复部分安全问题。 v1.27.7-r0 v1.27.9 CCE Ingress转发策略支持优先级排序。 StatefulSet配置volumeClaimTemplates时可以配置PV和底层存储的名称前缀（Everest版本要求为2.4.15及以上）。 包周期节点池支持选择多个节点规格。 更新节点池时支持删除默认规格。 自定义节点池支持纳管节点。 增加CoreDNS解析失败的告警规则。 节点退订前支持排水操作。 节点池更新后将展示各节点的配置差异点。 修复部分安全问题。 v1.27.6-r0 v1.27.9 创建节点支持选择Docker容器引擎。 支持使用通用型SSD v2、极速SSD v2类型的云硬盘。 ELB Ingress支持配置灰度发布。 ELB Ingress支持配置URL重定向、Rewrite重写、HTTP重定向到HTTPS能力。 开放高频使用的集群参数、节点池参数配置。 修复部分安全问题。 v1.27.5-r0 v1.27.4 负载均衡类型的Service和ELB Ingress能力新增： 支持配置SNI。 支持开启HTTP/2。 支持配置空闲超时时间、请求超时时间、响应超时时间。 支持从HTTP报文的请求头中获取监听器端口号、客户端请求端口号、重写X-Forwarded-Host。 - 修复部分安全问题。 v1.27.4-r0 v1.27.4 创建Service或Ingress支持设置ELB黑/白名单访问控制。 CCE的节点镜像支持安全加固（满足等保三级基线要求）。 - 修复部分安全问题。 v1.27.3-r4 v1.27.4 - - 修复CVE-2024-21626安全漏洞。 v1.27.3-r2 v1.27.4 - 修复Ingress配置SNI证书并同时开启HTTP/2的场景下偶现配置冲突的问题。 - v1.27.3-r0 v1.27.4 节点池支持节点的自定义前缀和后缀命名 CCE Turbo集群中，支持创建工作负载类型的容器网络配置，可指定Pod子网，详情请参见容器网络配置（NetworkAttachmentDefinition）。 ELB Ingress支持GRPC协议，详情请参见ELB Ingress对接GRPC协议的后端服务。 负载均衡类型的服务在通过YAML创建时支持指定ELB私有IP，详情请参见通过kubectl命令行创建-自动创建ELB。 优化CCE Turbo集群中大批量创建安全容器的启动速度。 提升CCE Turbo集群中反复创建删除安全容器时的稳定性。 创建Ingress对象时增加配置证书校验，避免对ELB侧已存在的Ingress证书进行覆盖。 优化autoscaler扩容节点池时的事件上报逻辑，去除规格售罄的重复事件。 增加Service与Ingress端口占用的相互校验逻辑；增加同集群下Ingress的路径冲突的的校验逻辑。 修复部分安全问题。 v1.27.2-r20 v1.27.2 - 修复VPC网络模型集群在短时间内创建删除大量Pod时容器网卡偶现残留的问题。 优化Ingress Controller查询证书逻辑，降低触发流控风险。 修复部分安全问题。 v1.27.2-r10 v1.27.2 - 优化节点删除时的事件信息。 修复部分安全问题。 v1.27.2-r0 v1.27.2 Volcano支持节点池亲和调度。详情请参见节点池亲和性调度。 Volcano支持负载重调度能力。详情请参见重调度（Descheduler）。 - 修复部分安全问题。 v1.27.1-r10 v1.27.2 - 优化节点池伸缩时的事件信息。 修复部分安全问题。 v1.27.1-r0 v1.27.2 首次发布CCE v1.27集群，有关更多信息请参见Kubernetes 1.27版本说明。 节点池配置管理支持软驱逐和硬驱逐的设置。 支持为自动创建的EVS块存储添加TMS资源标签，以便于成本管理。 由于社区安全加固，v1.27及以上版本的集群中ClusterIP地址无法ping通。 -

v1.28版本 表2 v1.28补丁版本发布说明 CCE集群补丁版本号 Kubernetes社区版本 特性更新 优化增强 安全漏洞修复 v1.28.6-r0 v1.28.5 CCE Ingress支持基于HTTP头部自定义Header进行流量分发。 支持为第三方工作负载应用配置扩缩容优先级策略。 （仅CCE Turbo集群）支持使用annotation为Pod配置安全组。 （仅CCE Turbo集群）为Pod绑定EIP时支持使用已有EIP。 节点排水过程支持取消。 创建节点池时不再区分按需计费和包年/包月计费。 更新节点池时支持修改委托及前后缀名称。 重置节点将保留K8s标签和污点。 开放Kubernetes服务账号令牌卷投射配置和负载弹性伸缩控制器配置。 修复部分安全问题。 v1.28.5-r0 v1.28.5 CCE Ingress转发策略支持优先级排序。 StatefulSet配置volumeClaimTemplates时可以配置PV和底层存储的名称前缀（Everest版本要求为2.4.15及以上）。 包周期节点池支持选择多个节点规格。 更新节点池时支持删除默认规格。 自定义节点池支持纳管节点。 增加CoreDNS解析失败的告警规则。 节点退订前支持排水操作。 节点池更新后将展示各节点的配置差异点。 修复部分安全问题。 v1.28.4-r0 v1.28.5 创建节点支持选择Docker容器引擎。 支持使用通用型SSD v2、极速SSD v2类型的云硬盘。 ELB Ingress支持配置灰度发布。 ELB Ingress支持配置URL重定向、Rewrite重写、HTTP重定向到HTTPS能力。 开放高频使用的集群参数、节点池参数配置。 修复部分安全问题。 v1.28.3-r0 v1.28.3 负载均衡类型的Service和ELB Ingress能力新增： 支持配置SNI。 支持开启HTTP/2。 支持配置空闲超时时间、请求超时时间、响应超时时间。 支持从HTTP报文的请求头中获取监听器端口号、客户端请求端口号、重写X-Forwarded-Host。 - 修复部分安全问题。 v1.28.2-r0 v1.28.3 创建Service或Ingress支持设置ELB黑/白名单访问控制。 CCE的节点镜像支持安全加固（满足等保三级基线要求）。 - 修复部分安全问题。 v1.28.1-r4 v1.28.3 - - 修复CVE-2024-21626安全漏洞。 v1.28.1-r2 v1.28.3 - 修复Ingress配置SNI证书并同时开启HTTP/2的场景下偶现配置冲突的问题。 - v1.28.1-r0 v1.28.3 首次发布CCE v1.28集群，有关更多信息请参见Kubernetes 1.28版本说明。 节点池支持节点的自定义前缀和后缀命名 CCE Turbo集群中，支持创建工作负载类型的容器网络配置，可指定Pod子网，详情请参见容器网络配置（NetworkAttachmentDefinition）。 ELB Ingress支持GRPC协议，详情请参见ELB Ingress对接GRPC协议的后端服务。 负载均衡类型的服务在通过YAML创建时支持指定ELB私有IP，详情请参见通过kubectl命令行创建-自动创建ELB。 优化CCE Turbo集群中大批量创建安全容器的启动速度。 提升CCE Turbo集群中反复创建删除安全容器时的稳定性。 -

v1.29版本 表1 v1.29补丁版本发布说明 CCE集群补丁版本号 Kubernetes社区版本 特性更新 优化增强 安全漏洞修复 v1.29.2-r0 v1.29.1 CCE Ingress支持基于HTTP头部自定义Header进行流量分发。 支持为第三方工作负载应用配置扩缩容优先级策略。 （仅CCE Turbo集群）支持使用annotation为Pod配置安全组。 （仅CCE Turbo集群）为Pod绑定EIP时支持使用已有EIP。 节点排水过程支持取消。 创建节点池时不再区分按需计费和包年/包月计费。 更新节点池时支持修改委托及前后缀名称。 重置节点将保留K8s标签和污点。 开放Kubernetes服务账号令牌卷投射配置和负载弹性伸缩控制器配置。 修复部分安全问题。 v1.29.1-r10 v1.29.1 CCE Ingress转发策略支持优先级排序。 StatefulSet配置volumeClaimTemplates时可以配置PV和底层存储的名称前缀（Everest版本要求为2.4.15及以上）。 包周期节点池支持选择多个节点规格。 更新节点池时支持删除默认规格。 自定义节点池支持纳管节点。 增加CoreDNS解析失败的告警规则。 节点退订前支持排水操作。 节点池更新后将展示各节点的配置差异点。 修复部分安全问题。 v1.29.1-r0 v1.29.1 首次发布CCE v1.29集群，有关更多信息请参见Kubernetes 1.29版本说明。 - -

使用约束 尽管容灾提供了实时的数据复制功能，但实际的数据同步进展，由多方面的因素决定的，例如，当前主集群业务的繁忙程度，备集群进程的健康状态等。因此，在正常情形下，备集群不应该接管业务。极端情形下是否可以接管业务，可由系统维护人员以及决策人员根据当前的数据同步指标来决定。 容灾功能当前仅支持一主一备。 通常情况下，不允许对备集群的灾备表进行表级别的操作，例如修改表属性、删除表等，一旦误操作备集群后会造成主集群数据同步失败、备集群对应表的数据丢失。 主集群的HBase表已启用容灾功能同步数据，用户每次修改表的结构时，需要手动修改备集群的灾备表结构，保持与主集群表结构一致。

前提条件 主备集群都已经安装并启动成功，且获取集群的管理员权限。 必须保证主备集群间的网络畅通和端口的使用。 如果主集群部署为安全模式且不由一个 FusionInsight Manager管理，主备集群必须已配置跨集群互信。如果主集群部署为普通模式，不需要配置跨集群互信。 主备集群必须已配置跨集群拷贝。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 必须在主备集群的所有节点的hosts文件中，配置主备集群所有机器的机器名与业务IP地址的对应关系。 若主集群的客户端安装在集群外的节点上，也需在该节点的hosts文件中配置主备集群所有机器的机器名与业务IP地址的对应关系。 主备集群间的网络带宽需要根据业务流量而定，不应少于最大的可能业务流量。 主备集群安装的 MRS 版本需要保持一致。 备集群规模不小于主集群规模。

问题现象 在MRS 2.x集群详情页面调整集群Task节点，将Task节点调整成0个，最终缩容失败，提示如下： This operation is not allowed because the number of instances of NodeManager will be less than the minimum configuration after scale-in, which may cause data loss.

在离线业务混部 在离线业务混部是将多种应用在一个集群内部署，通过预测分析应用特性，实现业务对集群资源的充分利用； 参数名 取值范围 默认值 是否允许修改 作用范围 colocation-enable true/false false 允许 CCE Turbo 从集群维度来看，混部是将多种应用在一个集群内部署，通过预测分析应用特性，实现业务对集群资源的充分利用；从节点维度来看，混部是将多个容器部署在同一个节点上，这些容器内的应用既包括在线类型，也包括离线类型。根据应用对资源质量需求的差异，在线应用可以归纳为延时敏感型LS（Latency Sensitive），通常对请求压力（QPS）或访问延迟（RT）等指标有明确的要求，对资源质量较为敏感；离线应用可以归纳为资源消耗型BE（Best Effort），通常是一些计算密集型的任务类应用，有较好的容错重试能力，对资源质量的要求相对较为宽松。 配置建议： 只有在HCE 2.0的OS节点支持