华为云用户手册

mask_partial(column_name, mask_digital, mask_from[, mask_to]) 描述：针对数值类型数据，将第mask_from到mask_to位的数字部分脱敏成mask_digital对应的数字。其中，参数mask_to允许缺省，缺省时即脱敏到数据结束位置。参数mask_digital只能取[0,9]区间内的数字。 返回值类型：与入参column_name数据类型相同。

mask_partial(column_name [, input_format, output_format], mask_char, mask_from[, mask_to]) 描述：针对字符类型数据，对照指定的输入输出格式，将第mask_from到mask_to位的数字部分脱敏成mask_char指定的字符。 参数说明： input_format 输入格式是由V和F组成的字符序列，与脱敏列数据长度相同。V对应位置的字符可能会被脱敏，F对象位置的字符会被忽略跳过，V字符序列标识脱敏范围。输入输出格式参数适用于定长数据，比如，银行卡号、身份证号、手机号等。 output_format 输出格式是由V和其他任意字符组成的字符序列，与脱敏列数据长度相同。V字符位置与input_format的V位置对应，其他字符位置与input_format的F位置对应，且不会脱敏，通常为数据分隔符。 input_format和output_format可以缺省或指定为空串""，此时，无输入输出格式要求，原始字符序列范围即为脱敏范围。 mask_char 脱敏字符，仅允许长度为1的任意字符。场景的脱敏字符包括"*"，"#"等。 mask_from 脱敏范围的起始位置，要求大于0。 mask_to 脱敏范围的结束位置，允许缺省。缺省时，即脱敏到原始数据结束位置。 返回值类型：与入参column_name数据类型相同。

mask_partial(column_name, mask_field1, mask_value1, mask_field2, mask_value2, mask_field3, mask_value3) 描述：按指定三个时间域做部分脱敏，仅适用于日期或时间类型数据。若mask_value取-1，即此mask_field不脱敏。其中，mask_field可以取"month"、"day"、"year"、"hour"、"minute"、"second"六个时间域之一。各域的取值范围需满足实际时间单位的取值范围。 返回值类型：与入参column_name数据类型相同。

约束与限制 单个GPU卡最多虚拟化成20个GPU虚拟设备。 使用GPU虚拟化后，不支持init容器。 GPU虚拟化支持显存隔离、显存与算力隔离两种隔离模式。单个GPU卡仅支持调度同一种隔离模式的工作负载。 使用GPU虚拟化后，不支持使用Autoscaler插件自动扩缩容GPU虚拟化节点。 XGPU服务的隔离功能不支持以UVM的方式申请显存，即调用CUDA API cudaMallocManaged()，更多信息，请参见NVIDIA官方文档。请使用其他方式申请显存，例如调用cudaMalloc()等。 受GPU虚拟化技术的限制，容器内应用程序初始化时，通过nvidia-smi监测工具监测到的实时算力可能超过容器可用的算力上限。

前提条件 配置 支持版本 集群版本 v1.23.8-r0、v1.25.3-r0及以上 操作系统 Huawei Cloud EulerOS 2.0操作系统 GPU类型 支持T4、V100类型的GPU 驱动版本 GPU虚拟化功能仅支持470.57.02、510.47.03、535.54.03版本的GPU驱动。 运行时 仅支持containerd 插件 集群中需要同时安装以下插件： Volcano调度器插件：1.10.5及以上版本 CCE AI套件（NVIDIA GPU）插件：2.0.5及以上版本

资源变更与弃用 社区1.23 ReleaseNotes FlexVolume废弃，建议使用 CS I。 HorizontalPodAutoscaler v2版本GA，HorizontalPodAutoscaler API v2在1.23版本中逐渐稳定。不建议使用HorizontalPodAutoscaler v2beta2 API，建议使用新的v2版本API。 PodSecurity支持beta，PodSecurity替代废弃的PodSecurityPolicy，PodSecurity是一个准入控制器，它根据设置实施级别的特定命名空间标签在命名空间中的Pod上实施Pod安全标准。在1.23中PodSecurity默认启用。 社区1.22 ReleaseNotes Ingress资源不再支持networking.k8s.io/v1beta1和extensions/v1beta1 API。如果使用旧版本API管理Ingress，会影响应用对外暴露服务，请尽快使用networking.k8s.io/v1替代。 CustomResourceDefinition资源不再支持apiextensions.k8s.io/v1beta1 API。如果使用旧版本API创建自定义资源定义，会导致定义创建失败，进而影响调和（reconcile）该自定资源的控制器，请尽快使用apiextensions.k8s.io/v1替代。 ClusterRole、ClusterRoleBinding、Role和RoleBinding资源不再支持rbac.authorization.k8s.io/v1beta1 API。如果使用旧版本API管理RBAC资源，会影响应用的权限服务，甚至无法在集群内正常使用，请尽快使用rbac.authorization.k8s.io/v1替代。 Kubernetes版本发布周期由一年4个版本变为一年3个版本。 StatefulSets 支持minReadySeconds。 缩容时默认根据Pod uid排序随机选择删除Pod（LogarithmicScaleDown）。基于该特性，可以增强Pod被缩容的随机性，缓解由于Pod拓扑分布约束带来的问题。更多信息，请参见KEP-2185和issues 96748。 BoundServiceAccountTokenVolume特性已稳定，该特性能够提升服务账号（ServiceAccount）Token的安全性，改变了Pod挂载Token的方式，Kubernetes 1.21及以上版本的集群中会默认开启。

使用限制 CCE Autopilot集群使用的工作节点为全托管模式，因此您目前还无法使用依赖节点特性的功能，例如HostPath、HostNetwork等功能，具体使用限制如下： 不支持的功能 说明 推荐替代方案 DaemonSet型工作负载 在每个节点上部署Pod 通过sidecar形式在Pod中部署多个镜像 在Pod中设置HostPath 将节点本地文件挂载到容器中 使用EmptyDir或其他类型的 云存储 在Pod中设置HostNetwork 将节点端口映射到容器上 使用负载均衡类型的Service NodePort型Service 开放指定节点端口访问容器 使用负载均衡类型的Service 使用CCE Autopilot集群时，EmptyDir最大容量为20G。 使用CCE Autopilot集群时，最多创建500个Pod。其中插件实例可能会占用部分Pod配额，请合理规划。 使用CCE Autopilot集群时，不支持创建使用ARM架构镜像的工作负载。

CCE Autopilot、CCE Standard、 CCE Turbo 的对比 表1 集群类型对比 维度 CCE Autopilot CCE Standard CCE Turbo 节点管理 工作节点全托管，Autopilot负责节点扩缩容及预热。 工作节点由您自行管理、运维 工作节点由您自行管理、运维 节点操作系统 使用containerd容器引擎的专属操作系统 您可以自行选择操作系统及容器引擎 您可以自行选择操作系统及容器引擎 节点规格 自适应规格 由您选择指定的节点规格 由您选择指定的节点规格 节点升级和维护 节点自动升级、修复 节点需通过重置升级 节点需通过重置升级 容器网络模型 云原生网络2.0模型 VPC网络模型 容器隧道网络模型 云原生网络2.0模型 网络性能 VPC网络和容器网络融合，性能无损耗 VPC网络叠加容器网络，性能有一定损耗 VPC网络和容器网络融合，性能无损耗 网络隔离 Pod可直接关联安全组，基于安全组的隔离策略，支持集群内外部统一的安全隔离。 容器隧道网络模式：集群内部网络隔离策略，支持NetworkPolicy。 VPC网络模式：不支持 Pod可直接关联安全组，基于安全组的隔离策略，支持集群内外部统一的安全隔离。 服务 ClusterIP LoadBalancer ClusterIP NodePort LoadBalancer DNAT ClusterIP NodePort LoadBalancer DNAT 路由 ELB Ingress Nginx Ingress ELB Ingress Nginx Ingress ELB Ingress Nginx Ingress 插件 提供以下可配置插件： CoreDNS 域名 解析 CCE容器存储插件（Everest） Kubernetes Metrics Server CCE容器弹性引擎 云原生监控插件 云原生日志采集插件 NGINX Ingress控制器 提供以下可配置插件： CoreDNS域名解析 CCE容器存储插件（Everest） CCE节点故障检测 Kubernetes Dashboard CCE集群弹性引擎 Kubernetes Metrics Server CCE容器弹性引擎 CCE突发弹性引擎（对接CCI） CCE AI套件（NVIDIA GPU） CCE AI套件（Ascend NPU） Volcano调度器 NGINX Ingress控制器 CCE密钥管理（对接 DEW） CCE容器网络扩展指标 节点本地域名解析加速 云原生监控插件 云原生日志采集插件 提供以下可配置插件： CoreDNS域名解析 CCE容器存储插件（Everest） CCE节点故障检测 Kubernetes Dashboard CCE集群弹性引擎 Kubernetes Metrics Server CCE容器弹性引擎 CCE突发弹性引擎（对接CCI） CCE AI套件（NVIDIA GPU） CCE AI套件（Ascend NPU） Volcano调度器 NGINX Ingress控制器 CCE密钥管理（对接 DEW） CCE容器网络扩展指标 节点本地域名解析加速 云原生监控插件 云原生日志采集插件 本地存储 EmptyDir Local PV HostPath EmptyDir Local PV HostPath EmptyDir 云存储 SFS SFS Turbo EVS SFS SFS Turbo OBS EVS SFS SFS Turbo OBS

核心优势 开箱即用：降低Kubernetes集群使用门槛，创建完集群即可直接部署应用。 应用聚焦：您可以专注于构建和部署应用，无需管理集群底层基础设施。 安全保证：集群存在安全补丁可用时，后台会根据自定义的维护时间段进行自动升级。 成本降低：应用按需创建并计费，资源不存在闲置计费，带来更低的运行成本。 节点托管：集群工作节点由CCE托管，无需手动升级和修复节点。 弹性预热：当工作负载使用HPA策略时，CCE会自动为新Pod预热新节点，轻松应对突发业务。 合理调度：CCE Autopilot会为您管理Pod装箱，提高资源利用率，因此您无需考虑每个节点上运行的Pod数量。 资源规整：如果您在部署工作负载时未设置CPU和内存等资源值，CCE Autopilot会自动为您进行资源规整。 运维简化：CCE Autopilot使您免于持续关注节点状态，集群可根据负载规模自动进行扩缩，从而减少平台运维开销。

弃用和移除 在Kubernetes 1.27版本，针对卷扩展 GA 特性的以下特性门禁将被移除，且不得再在 --feature-gates 标志中引用。（ExpandCSIVolumes，ExpandInUsePersistentVolumes，ExpandPersistentVolumes） 在Kubernetes 1.27版本，移除--master-service-namespace 命令行参数。该参数支持指定在何处创建名为kubernetes的Service来表示 API服务 器。自v1.26版本已被弃用，1.27版本正式移除。 在Kubernetes 1.27版本，移除 ControllerManagerLeaderMigration 特性门禁。Leader Migration 提供了一种机制，让 HA 集群在升级多副本的控制平面时通过在 kube-controller-manager 和 cloud-controller-manager 这两个组件之间共享的资源锁，安全地迁移“特定于云平台”的控制器。特性自 v1.24 正式发布，被无条件启用， 在 v1.27 版本中此特性门禁选项将被移除。 在Kubernetes 1.27版本，移除 --enable-taint-manager 命令行参数。该参数支持的特性基于污点的驱逐已被默认启用， 且在标志被移除时也将继续被隐式启用。 在Kubernetes 1.27版本，移除--pod-eviction-timeout 命令行参数。弃用的命令行参数 --pod-eviction-timeout 将被从 kube-controller-manager 中移除。 在Kubernetes 1.27版本，移除 CSI Migration 特性门禁。CSI migration 程序允许从树内卷插件移动到树外 CSI 驱动程序。 CSI 迁移自 Kubernetes v1.16 起正式发布，关联的 CSIMigration 特性门禁将在 v1.27 中被移除。 在Kubernetes 1.27版本，移除 CSIInlineVolume 特性门禁。CSI Ephemeral Volume 特性允许在 Pod 规约中直接指定 CSI 卷作为临时使用场景。这些 CSI 卷可用于使用挂载的卷直接在 Pod 内注入任意状态，例如配置、Secret、身份、变量或类似信息。 此特性在 v1.25 中进阶至正式发布。因此，此特性门禁 CSIInlineVolume 将在 v1.27 版本中移除。 在Kubernetes 1.27版本，移除 EphemeralContainers 特性门禁。对于 Kubernetes v1.27，临时容器的 API 支持被无条件启用；EphemeralContainers 特性门禁将被移除。 在Kubernetes 1.27版本，移除 LocalStorageCapacityIsolation 特性门禁。Local Ephemeral Storage Capacity Isolation 特性在 v1.25 中进阶至正式发布。此特性支持 emptyDir 卷这类 Pod 之间本地临时存储的容量隔离， 因此可以硬性限制 Pod 对共享资源的消耗。如果本地临时存储的消耗超过了配置的限制，kubelet 将驱逐 Pod。 特性门禁 LocalStorageCapacityIsolation 将在 v1.27 版本中被移除。 在Kubernetes 1.27版本，移除 NetworkPolicyEndPort 特性门禁。Kubernetes v1.25 版本将 NetworkPolicy 中的 endPort 进阶至正式发布。 支持 endPort 字段的 NetworkPolicy 提供程序可用于指定一系列端口以应用 NetworkPolicy。 在Kubernetes 1.27版本，移除 StatefulSetMinReadySeconds 特性门禁。对于作为 StatefulSet 一部分的 Pod，只有当 Pod 至少在 minReadySeconds 中指定的持续期内可用（并通过检查）时，Kubernetes 才会将此 Pod 标记为只读。 该特性在 Kubernetes v1.25 中正式发布，StatefulSetMinReadySeconds 特性门禁将锁定为 true，并在 v1.27 版本中被移除。 在Kubernetes 1.27版本，移除 IdentifyPodOS 特性门禁。启用该特性门禁，你可以为 Pod 指定操作系统，此项特性支持自 v1.25 版本进入稳定。 IdentifyPodOS 特性门禁将在 Kubernetes v1.27 中被移除。 在Kubernetes 1.27版本，移除 DaemonSetUpdateSurge 特性门禁。Kubernetes v1.25 版本还稳定了对 DaemonSet Pod 的浪涌支持， 其实现是为了最大限度地减少部署期间 DaemonSet 的停机时间。 DaemonSetUpdateSurge 特性门禁将在 Kubernetes v1.27 中被移除。 在Kubernetes 1.27版本，移除 --container-runtime 命令行参数。kubelet 接受一个已弃用的命令行参数 --container-runtime， 并且在移除 dockershim 代码后，唯一有效的值将是 remote。 Kubernetes v1.27 将移除该参数，该参数自 v1.24 版本以来已被弃用。

v1.19版本 表7 v1.19补丁版本发布说明 CCE集群补丁版本号 Kubernetes社区版本 特性更新 优化增强 安全漏洞修复 v1.19.16-r84 v1.19.16 - - 修复CVE-2024-21626安全漏洞。 v1.19.16-r82 v1.19.16 - 修复Ingress配置SNI证书并同时开启HTTP/2的场景下偶现配置冲突的问题。 - v1.19.16-r80 v1.19.16 节点池支持节点的自定义前缀和后缀命名 CCE Turbo集群中，支持创建工作负载类型的容器网络配置，可指定Pod子网，详情请参见容器网络配置（NetworkAttachmentDefinition）。 ELB Ingress支持GRPC协议，详情请参见ELB Ingress对接GRPC协议的后端服务。 负载均衡类型的服务在通过YAML创建时支持指定ELB私有IP，详情请参见通过kubectl命令行创建-自动创建ELB。 修复BMS节点重启后显示节点不可用的问题。 优化VIP路由清理逻辑，先清理残留VIP路由，避免出现NetworkManager重启后重新添加路由的问题。 修复CCE Turbo集群使用独享型ELB场景，Pod滚动升级复用IP可能导致ELB后端服务器无法添加的问题。 修复创建负载均衡类型Service时加入healthcheck队列后，如果Service被删除，会导致缓存残留的问题。 修复Master节点所在的物理机或者交换机网络设备掉线之后，内存持续上涨，docker占用内存持续上涨的问题。 修复部分安全问题。 v1.19.16-r72 v1.19.16 - 修复部分场景下非预期的Master节点主备切换。 优化路由删除匹配机制，修复偶发性删除路由命令失败的问题。 修复部分安全问题。 v1.19.16-r70 v1.19.16 - 修复有状态负载Pod可能出现后端添加失败或未更改问题。 增强Master节点核心组件故障隔离能力。 修复达到预热参数回收空闲网卡条件后，可能并没有回收网卡的问题。 修复部分安全问题。 v1.19.16-r60 v1.19.16 Volcano支持节点池亲和调度。详情请参见节点池亲和性调度。 Volcano支持负载重调度能力。详情请参见重调度（Descheduler）。 - 修复部分安全问题。 v1.19.16-r50 v1.19.16 - 优化节点池伸缩时的事件信息。 修复部分安全问题。 v1.19.16-r40 v1.19.16 节点池配置管理支持软驱逐和硬驱逐的设置。 支持为自动创建的EVS块存储添加TMS资源标签，以便于成本管理。 - 修复部分安全问题。 v1.19.16-r30 v1.19.16 CCE集群支持对接使用弹性规格的独享型ELB。 负载均衡支持设置超时时间。详情请参见负载均衡类型的服务设置超时时间和ELB Ingress设置超时时间。 kube-apiserver高频参数支持配置。 修复部分安全问题。 v1.19.16-r20 v1.19.16 Service和Ingress支持关联G-EIP的独享型ELB。 CCE Turbo容器网卡支持固定IP。详情请参见为Pod配置固定IP。 CCE Turbo容器网卡支持自动创建和自动绑定EIP。详情请参见为Pod配置固定EIP。 云原生2.0网络支持命名空间指定子网。 增强节点重启后，docker运行时拉取镜像的稳定性。 优化CCE Turbo集群在非全预热场景分配网卡的性能。 修复部分安全问题。 v1.19.16-r10 v1.19.16 - 提升Service/Ingress对接ELB特性稳定性。 修复部分安全问题。 v1.19.16-r7 v1.19.16 - 增强Docker版本升级时的可靠性。 优化集群节点时间同步能力。 增强CCE Turbo集群预热场景可靠性。 修复部分安全问题。 v1.19.16-r6 v1.19.16 Service和Ingress支持关联G-EIP的独享型ELB。 增强配置了QoS的containerd容器运行的稳定性。 Ingress支持对url重写策略配置和修改。 优化kube-controller-manager在频繁更新CRD场景下的内存使用。 修复部分安全问题。 v1.19.16-r5 v1.19.16 支持LB类型的Service同时配置TCP/UDP端口，详情请参见指定多个端口配置健康检查。 支持Pod readiness gate，详情请参见通过ELB健康检查设置Pod就绪状态。 增强底层网络异常时的流表可靠性。 增强高版本内核的OS异常掉电等重启场景的稳定性。 修复部分安全问题。 v1.19.16-r4 v1.19.16 容器存储支持对接SFS 3.0文件存储服务。 支持GPU节点的设备故障检测和隔离能力。 支持配置集群维度的自定义安全组。 CCE Turbo集群支持节点级别的网卡预热参数配置。 优化节点污点场景下负载调度的性能。 增强Containerd运行时绑核场景下长时间运行的稳定性。 优化ELB Service/Ingress在大量连接场景下的稳定性。 优化kube-apiserver在频繁更新crd场景下的内存使用。 修复部分安全问题及以下CVE漏洞： CVE-2022-3294 CVE-2022-3162 CVE-2022-3172 v1.19.16-r3 v1.19.16 - 支持image-pull-progress-deadline启动参数升级保留。 CCE Turbo支持节点自定义网卡动态预热配置。 BMS节点EulerOS 2.3重启后udp链接稳定性优化。 解决隧道网络在master节点间网络闪断场景下导致的网络分配不一致问题。 优化容器隧道网络模式集群在控制面节点网络闪断场景下的稳定性。 修复部分安全问题。 v1.19.16-r2 v1.19.16 - 增强集群控制面节点掉电时链接释放的稳定性。 增强节点上Pod并发挂载存储卷的稳定性。 修复部分安全问题。 v1.19.16-r1 v1.19.16 - 增强EulerOS 2.9操作系统NetworkManager的稳定性。 修复部分安全问题。 v1.19.16-r0 v1.19.16 - 增强工作负载升级且节点伸缩状态下，负载均衡服务更新的稳定性。 修复部分安全问题及以下CVE漏洞： CVE-2021-25741 CVE-2021-25737 v1.19.10-r0 v1.19.10 首次发布CCE v1.19集群，有关更多信息请参见Kubernetes 1.19版本说明。 - -

v1.21版本 表6 v1.21补丁版本发布说明 CCE集群补丁版本号 Kubernetes社区版本 特性更新 优化增强 安全漏洞修复 v1.21.15-r0 v1.21.14 支持使用通用性SSD v2、极速SSD v2类型的云硬盘。 ELB Ingress支持配置灰度发布。 ELB Ingress支持配置URL重定向、Rewrite重写、HTTP重定向到HTTPS能力。 开放高频使用的集群参数、节点池参数配置。 修复部分安全问题。 v1.21.14-r0 v1.21.14 支持使用PVC动态创建SFS Turbo子目录并挂载。 - 修复部分安全问题。 v1.21.13-r0 v1.21.14 创建Service或Ingress支持设置ELB黑/白名单访问控制。 CCE的节点镜像支持安全加固（满足等保三级基线要求）。 - 修复部分安全问题。 v1.21.12-r4 v1.21.14 - - 修复CVE-2024-21626安全漏洞。 v1.21.12-r2 v1.21.14 - 修复Ingress配置SNI证书并同时开启HTTP/2的场景下偶现配置冲突的问题。 - v1.21.12-r0 v1.21.14 节点池支持节点的自定义前缀和后缀命名 CCE Turbo集群中，支持创建工作负载类型的容器网络配置，可指定Pod子网，详情请参见容器网络配置（NetworkAttachmentDefinition）。 ELB Ingress支持GRPC协议，详情请参见ELB Ingress对接GRPC协议的后端服务。 负载均衡类型的服务在通过YAML创建时支持指定ELB私有IP，详情请参见通过kubectl命令行创建-自动创建ELB。 优化健康检查配置，避免出现keepalived反复重启的问题。 优化securityPolicy缓存及Ingress重试风暴。 修复cloud-controller-manager组件主进程所在Master节点出现卡IO，组件切主失败的问题。 修复Service设置权重后，会错误计算terminating状态的Pod数，导致Pod权重不准确的问题。 修复部分安全问题。 v1.21.11-r40 v1.21.14 - 优化接口调用逻辑，避免业务大规模调用场景下出现接口流控。 修复部分安全问题。 v1.21.11-r30 v1.21.14 - 修复CCE Turbo集群使用独享型ELB场景，Pod滚动升级复用IP可能导致ELB后端服务器无法添加的问题。 修复节点删除过程中，节点状态为不可用但没有及时出现告警的问题。 修复磁盘挂载到ECS后，系统中可能出现找不到软链文件的问题。 修复部分安全问题。 v1.21.11-r20 v1.21.14 Volcano支持节点池亲和调度。详情请参见节点池亲和性调度。 Volcano支持负载重调度能力。详情请参见重调度（Descheduler）。 - 修复部分安全问题。 v1.21.11-r10 v1.21.14 - 优化节点池伸缩时的事件信息。 修复部分安全问题。 v1.21.11-r0 v1.21.14 节点池配置管理支持软驱逐和硬驱逐的设置。 支持为自动创建的EVS块存储添加TMS资源标签，以便于成本管理。 - 修复部分安全问题。 v1.21.10-r10 v1.21.14 CCE集群支持对接使用弹性规格的独享型ELB。 负载均衡支持设置超时时间。详情请参见负载均衡类型的服务设置超时时间和ELB Ingress设置超时时间。 kube-apiserver高频参数支持配置。 修复部分安全问题。 v1.21.10-r0 v1.21.14 Service和Ingress支持关联G-EIP的独享型ELB。 CCE Turbo容器网卡支持固定IP。详情请参见为Pod配置固定IP。 CCE Turbo容器网卡支持自动创建和自动绑定EIP。详情请参见为Pod配置固定EIP。 增强docker版本升级时的可靠性。 优化集群节点时间同步能力。 优化节点重启后，docker运行时拉取镜像的稳定性。 修复部分安全问题。 v1.21.9-r0 v1.21.14 Service和Ingress支持关联G-EIP的独享型ELB。 优化CCE Turbo集群在规格变更场景时网络的稳定性。 修复部分安全问题。 v1.21.8-r0 v1.21.14 支持LB类型的Service同时配置TCP/UDP端口，详情请参见指定多个端口配置健康检查。 支持Pod readiness gate，详情请参见通过ELB健康检查设置Pod就绪状态。 增强底层网络异常时的流表可靠性。 增强高版本内核的OS异常掉电等重启场景的稳定性。 cadvisor GPU/NPU相关指标优化。 修复部分安全问题。 v1.21.7-r0 v1.21.14 容器存储支持对接SFS 3.0文件存储服务。 支持GPU节点的设备故障检测和隔离能力。 支持配置集群维度的自定义安全组。 CCE Turbo集群支持节点级别的网卡预热参数配置。 支持集群控制面组件的日志信息开放。 优化ELB Service/Ingress在大量连接场景下的稳定性。 修复部分安全问题及以下CVE漏洞： CVE-2022-3294 CVE-2022-3162 CVE-2022-3172 v1.21.6-r0 v1.21.7 支持ARM节点创建。 - 修复部分安全问题。 v1.21.5-r10 v1.21.7 - 增强EulerOS 2.3的裸金属节点在重启后的UDP链接稳定性。 优化隧道网络在控制面节点间网络闪断场景下导网络分配的稳定性。 ovs漏洞加固。 修复部分安全问题。 v1.21.5-r0 v1.21.7 - 增强集群升级下容器隧道网络模式的稳定性。 增强pod拓扑分布约束能力。 增强集群控制面节点掉电时链接释放的稳定性。 增强节点上pod并发挂载存储卷的稳定性。 修复部分安全问题。 v1.21.4-r10 v1.21.7 - 增强EulerOS 2.9操作系统NetworkManager的稳定性。 修复部分安全问题。 v1.21.4-r0 v1.21.7 - 增强安全容器场景下容器网卡驱动切换的稳定性。 增强升级工作负载且处于节点伸缩时，访问负载均衡服务的稳定性。 修复部分安全问题。 v1.21.3-r10 v1.21.7 - 增强安全容器场景下容器网卡驱动切换的稳定性。 修复部分安全问题。 v1.21.3-r0 v1.21.7 - CCE Turbo集群容器内的SNAT网段支持可配置。 修复部分安全问题。 v1.21.2-r10 v1.21.7 - 增强Service对接负载均衡场景的稳定性。 修复部分安全问题。 v1.21.2-r0 v1.21.7 优化节点的资源预留参数，支持资源耗尽检测，提升节点的稳定性。 提升集群升级能力，增强升级可靠性。 优化容器本地存储功能，提升稳定性。 修复部分安全问题。 v1.21.1-r2 v1.21.7 容器存储支持本地持久卷。 支持管理EulerOS 2.9鲲鹏计算实例。 容器隧道网络模式和VPC网络模式支持OS内核版本宽匹配。 优化节点安装流程，增强节点创建的可靠性。 优化CentOS和EulerOS 2.5的内核参数，提升OS性能。 修复部分安全问题。 v1.21.1-r1 v1.21.7 - 容器网络支持内核宽匹配。 修复部分安全问题。 v1.21.1-r0 v1.21.7 首次发布CCE v1.21集群，有关更多信息请参见Kubernetes 1.21版本说明。 - -

v1.23版本 表5 v1.23补丁版本发布说明 CCE集群补丁版本号 Kubernetes社区版本 特性更新 优化增强 安全漏洞修复 v1.23.14-r0 v1.23.17 支持使用通用性SSD v2、极速SSD v2类型的云硬盘。 ELB Ingress支持配置灰度发布。 ELB Ingress支持配置URL重定向、Rewrite重写、HTTP重定向到HTTPS能力。 开放高频使用的集群参数、节点池参数配置。 修复部分安全问题。 v1.23.13-r0 v1.23.17 负载均衡类型的Service和ELB Ingress能力新增： 支持配置SNI。 支持开启HTTP/2。 支持配置空闲超时时间、请求超时时间、响应超时时间。 支持从HTTP报文的请求头中获取监听器端口号、客户端请求端口号、重写X-Forwarded-Host。 - 修复部分安全问题。 v1.23.12-r0 v1.23.17 创建Service或Ingress支持设置ELB黑/白名单访问控制。 CCE的节点镜像支持安全加固（满足等保三级基线要求）。 - 修复部分安全问题。 v1.23.11-r4 v1.23.17 - - 修复CVE-2024-21626安全漏洞。 v1.23.11-r2 v1.23.17 - 修复Ingress配置SNI证书并同时开启HTTP/2的场景下偶现配置冲突的问题。 - v1.23.11-r0 v1.23.17 节点池支持节点的自定义前缀和后缀命名 CCE Turbo集群中，支持创建工作负载类型的容器网络配置，可指定Pod子网，详情请参见容器网络配置（NetworkAttachmentDefinition）。 ELB Ingress支持GRPC协议，详情请参见ELB Ingress对接GRPC协议的后端服务。 负载均衡类型的服务在通过YAML创建时支持指定ELB私有IP，详情请参见通过kubectl命令行创建-自动创建ELB。 优化CCE Turbo集群中大批量创建安全容器的启动速度。 提升CCE Turbo集群中反复创建删除安全容器时的稳定性。 修复Docker在journald异常退出场景下导致容器无法被结束的问题。 修复Everest插件卸载时，调度器未能在创建Pod时拦截自动挂载SFS3.0存储卷的问题。 修复v1.23版本集群中，EulerOS 2.9系统的containerd节点上/var/lib/contained磁盘目录使用率虚高的问题。 修复部分安全问题。 v1.23.10-r20 v1.23.11 - 修复VPC网络模型集群在短时间内创建删除大量Pod时容器网卡偶现残留的问题。 优化路由删除匹配机制，修复偶发性删除路由命令失败的问题。 修复部分安全问题。 v1.23.10-r10 v1.23.11 - 修复节点大规模重启可能导致kube-schedule组件发生重启的问题。 优化Service自动创建共享型ELB的参数校验。 修复删除NodePort类型的Service后，立刻创建同端口Service出现偶发性报错的问题。 修复部分安全问题。 v1.23.10-r0 v1.23.11 Volcano支持节点池亲和调度。详情请参见节点池亲和性调度。 Volcano支持负载重调度能力。详情请参见重调度（Descheduler）。 - 修复部分安全问题。 v1.23.9-r10 v1.23.11 - 优化节点池伸缩时的事件信息。 修复部分安全问题。 v1.23.9-r0 v1.23.11 节点池配置管理支持软驱逐和硬驱逐的设置。 支持为自动创建的EVS块存储添加TMS资源标签，以便于成本管理。 - 修复部分安全问题。 v1.23.8-r10 v1.23.11 CCE集群支持对接使用弹性规格的独享型ELB。 负载均衡支持设置超时时间。详情请参见负载均衡类型的服务设置超时时间和ELB Ingress设置超时时间。 kube-apiserver高频参数支持配置。 修复部分安全问题。 v1.23.8-r0 v1.23.11 Service和Ingress支持关联G-EIP的独享型ELB。 CCE Turbo容器网卡支持固定IP。详情请参见为Pod配置固定IP。 CCE Turbo容器网卡支持自动创建和自动绑定EIP。详情请参见为Pod配置固定EIP。 CCE Turbo集群在离线混部增强：支持Pod网络优先级限制。详情请参见出口网络带宽保障。 CCE Turbo集群支持命名空间关联容器网段。详情请参见网络配置（NetworkAttachmentDefinition）。 集群支持CPU Burst特性，避免CPU限流影响时延敏感型容器业务。详情请参见CPU Burst弹性限流。 增强docker版本升级时的可靠性。 优化集群节点时间同步能力。 修复部分安全问题。 v1.23.7-r20 v1.23.11 - 增强Service/Ingress对接ELB特性稳定性。 增强节点挂载多块数据盘场景可靠性。 修复部分安全问题。 v1.23.7-r10 v1.23.11 - 增强docker版本升级时的可靠性。 增强containerd运行时在异常断链场景下的可靠性。 内核参数调优异常场景下加固。 修复部分安全问题。 v1.23.7-r0 v1.23.11 Service和Ingress支持关联G-EIP的独享型ELB。 优化CCE Turbo集群在规格变更场景时网络的稳定性。 增强集群升级场景，nginx-ingress-controller的网络稳定性。 优化集群节点时间同步能力。 修复部分安全问题。 v1.23.6-r0 v1.23.11 支持LB类型的Service同时配置TCP/UDP端口，详情请参见指定多个端口配置健康检查。 支持Pod readiness gate，详情请参见通过ELB健康检查设置Pod就绪状态。 增强底层网络异常时的流表可靠性。 增强高版本内核的OS异常掉电等重启场景的稳定性。 cadvisor GPU/NPU相关指标优化。 修复部分安全问题。 v1.23.5-r0 v1.23.11 容器存储支持对接SFS 3.0文件存储服务。 支持GPU节点的设备故障检测和隔离能力。 支持配置集群维度的自定义安全组。 CCE Turbo集群支持节点级别的网卡预热参数配置。 支持集群控制面组件的日志信息开放。 集群支持华为云自研的Huawei Cloud EulerOS 2.0操作系统。 CCE集群支持选择Containerd容器运行时。 CCE Turbo集群在离线混部增强：支持CPU潮汐亲和性。 优化升级控制节点ETCD版本至社区版本3.5.6。 优化EulerOS 2.8节点上Service的访问性能。 优化调度均衡性，工作负载实例数缩容时仍保持跨AZ分布均衡。 优化kube-apiserver在频繁更新CRD场景下的内存使用。 修复部分安全问题及以下CVE漏洞： CVE-2022-3294 CVE-2022-3162 CVE-2022-3172 CVE-2021-25749 v1.23.4-r10 v1.23.4 - 优化kube-apiserver在频繁更新crd场景下的内存使用。 修复部分安全问题。 v1.23.4-r0 v1.23.4 支持ARM节点创建。 - 修复部分安全问题。 v1.23.3-r0 v1.23.4 CCE集群支持对租户开放master节点组件监控指标。 通过预热机制优化CCE Turbo集群SubENI网卡启动速度。 支持ELB类型service配置后端服务器权重。 CCE集群支持跨集群部署服务。 CCE Turbo集群使用虚拟机节点场景下支持在离线混部功能。 增强安全容器在反复创删场景下的可靠性。 修复部分安全问题。 v1.23.1-r1 v1.23.4 优化节点的资源预留参数，支持资源耗尽检测，提升节点的稳定性。 提升节点的安装兼容性。 修复部分安全问题。 v1.23.1-r0 v1.23.4 首次发布CCE v1.23集群，有关更多信息请参见Kubernetes 1.23版本说明。 - -

v1.25版本 除EulerOS 2.5操作系统外，CCE v1.25集群的节点均默认采用Containerd容器引擎。 表4 v1.25补丁版本发布说明 CCE集群补丁版本号 Kubernetes社区版本 特性更新 优化增强 安全漏洞修复 v1.25.8-r0 v1.25.16 支持使用通用性SSD v2、极速SSD v2类型的云硬盘。 ELB Ingress支持配置灰度发布。 ELB Ingress支持配置URL重定向、Rewrite重写、HTTP重定向到HTTPS能力。 开放高频使用的集群参数、节点池参数配置。 修复部分安全问题。 v1.25.8-r0 v1.25.10 负载均衡类型的Service和ELB Ingress能力新增： 支持配置SNI。 支持开启HTTP/2。 支持配置空闲超时时间、请求超时时间、响应超时时间。 支持从HTTP报文的请求头中获取监听器端口号、客户端请求端口号、重写X-Forwarded-Host。 - 修复部分安全问题。 v1.25.7-r0 v1.25.10 创建Service或Ingress支持设置ELB黑/白名单访问控制。 CCE的节点镜像支持安全加固（满足等保三级基线要求）。 - 修复部分安全问题。 v1.25.6-r4 v1.25.10 - - 修复CVE-2024-21626安全漏洞。 v1.25.6-r2 v1.25.10 - 修复Ingress配置SNI证书并同时开启HTTP/2的场景下偶现配置冲突的问题。 - v1.25.6-r0 v1.25.10 节点池支持节点的自定义前缀和后缀命名 CCE Turbo集群中，支持创建工作负载类型的容器网络配置，可指定Pod子网，详情请参见容器网络配置（NetworkAttachmentDefinition）。 ELB Ingress支持GRPC协议，详情请参见ELB Ingress对接GRPC协议的后端服务。 负载均衡类型的服务在通过YAML创建时支持指定ELB私有IP，详情请参见通过kubectl命令行创建-自动创建ELB。 优化CCE Turbo集群中大批量创建安全容器的启动速度。 提升CCE Turbo集群中反复创建删除安全容器时的稳定性。 修复kubelet在特定场景下偶现启动卡死的问题。 优化autoscaler扩容节点池时的事件上报逻辑，去除规格售罄的重复事件。 修复特定场景下kubelet重启，出现Succeed状态的Pod变为Failed的问题。 修复部分安全问题。 v1.25.5-r20 v1.25.5 - 优化接口调用逻辑，避免业务大规模调用场景下出现接口流控。 启用chrony配置清理修正，避免数据堆积。 修复部分安全问题。 v1.25.5-r10 v1.25.5 - 优化节点删除时的事件信息。 修复部分安全问题。 v1.25.5-r0 v1.25.5 Volcano支持节点池亲和调度。详情请参见节点池亲和性调度。 Volcano支持负载重调度能力。详情请参见重调度（Descheduler）。 - 修复部分安全问题。 v1.25.4-r10 v1.25.5 - 优化节点池伸缩时的事件信息。 修复部分安全问题。 v1.25.4-r0 v1.25.5 节点池配置管理支持软驱逐和硬驱逐的设置。 支持为自动创建的EVS块存储添加TMS资源标签，以便于成本管理。 - 修复部分安全问题。 v1.25.3-r10 v1.25.5 CCE集群支持对接使用弹性规格的独享型ELB。 负载均衡支持设置超时时间。详情请参见负载均衡类型的服务设置超时时间和ELB Ingress设置超时时间。 kube-apiserver高频参数支持配置。 修复部分安全问题。 v1.25.3-r0 v1.25.5 Service和Ingress支持关联G-EIP的独享型ELB。 CCE Turbo容器网卡支持固定IP。详情请参见为Pod配置固定IP。 CCE Turbo容器网卡支持自动创建和自动绑定EIP。详情请参见为Pod配置固定EIP。 CCE Turbo集群在离线混部增强：支持Pod网络优先级限制。详情请参见出口网络带宽保障。 CCE Turbo集群支持命名空间关联容器网段。详情请参见网络配置（NetworkAttachmentDefinition）。 集群支持CPU Burst特性，避免CPU限流影响时延敏感型容器业务。详情请参见CPU Burst弹性限流。 增强CCE Turbo集群在规格变更场景时网络的稳定性。 修复部分安全问题。 v1.25.1-r0 v1.25.5 首次发布CCE v1.25集群，有关更多信息请参见Kubernetes 1.25版本说明。 - -

v1.27版本 Kubernetes在1.24版本中移除了Dockershim，并从此不再默认支持Docker容器引擎，建议您使用Containerd容器引擎。如果您需要将Docker节点迁移至Containerd节点，详情请参见将节点容器引擎从Docker迁移到Containerd。 表3 v1.27补丁版本发布说明 CCE集群补丁版本号 Kubernetes社区版本 特性更新 优化增强 安全漏洞修复 v1.27.6-r0 v1.27.9 创建节点支持选择Docker容器引擎。 支持使用通用性SSD v2、极速SSD v2类型的云硬盘。 ELB Ingress支持配置灰度发布。 ELB Ingress支持配置URL重定向、Rewrite重写、HTTP重定向到HTTPS能力。 开放高频使用的集群参数、节点池参数配置。 修复部分安全问题。 v1.27.5-r0 v1.27.4 负载均衡类型的Service和ELB Ingress能力新增： 支持配置SNI。 支持开启HTTP/2。 支持配置空闲超时时间、请求超时时间、响应超时时间。 支持从HTTP报文的请求头中获取监听器端口号、客户端请求端口号、重写X-Forwarded-Host。 - 修复部分安全问题。 v1.27.4-r0 v1.27.4 创建Service或Ingress支持设置ELB黑/白名单访问控制。 CCE的节点镜像支持安全加固（满足等保三级基线要求）。 - 修复部分安全问题。 v1.27.3-r4 v1.27.4 - - 修复CVE-2024-21626安全漏洞。 v1.27.3-r2 v1.27.4 - 修复Ingress配置SNI证书并同时开启HTTP/2的场景下偶现配置冲突的问题。 - v1.27.3-r0 v1.27.4 节点池支持节点的自定义前缀和后缀命名 CCE Turbo集群中，支持创建工作负载类型的容器网络配置，可指定Pod子网，详情请参见容器网络配置（NetworkAttachmentDefinition）。 ELB Ingress支持GRPC协议，详情请参见ELB Ingress对接GRPC协议的后端服务。 负载均衡类型的服务在通过YAML创建时支持指定ELB私有IP，详情请参见通过kubectl命令行创建-自动创建ELB。 优化CCE Turbo集群中大批量创建安全容器的启动速度。 提升CCE Turbo集群中反复创建删除安全容器时的稳定性。 创建Ingress对象时增加配置证书校验，避免对ELB侧已存在的Ingress证书进行覆盖。 优化autoscaler扩容节点池时的事件上报逻辑，去除规格售罄的重复事件。 增加Service与Ingress端口占用的相互校验逻辑；增加同集群下Ingress的路径冲突的的校验逻辑。 修复部分安全问题。 v1.27.2-r20 v1.27.2 - 修复VPC网络模型集群在短时间内创建删除大量Pod时容器网卡偶现残留的问题。 优化Ingress Controller查询证书逻辑，降低触发流控风险。 修复部分安全问题。 v1.27.2-r10 v1.27.2 - 优化节点删除时的事件信息。 修复部分安全问题。 v1.27.2-r0 v1.27.2 Volcano支持节点池亲和调度。详情请参见节点池亲和性调度。 Volcano支持负载重调度能力。详情请参见重调度（Descheduler）。 - 修复部分安全问题。 v1.27.1-r10 v1.27.2 - 优化节点池伸缩时的事件信息。 修复部分安全问题。 v1.27.1-r0 v1.27.2 首次发布CCE v1.27集群，有关更多信息请参见Kubernetes 1.27版本说明。 节点池配置管理支持软驱逐和硬驱逐的设置。 支持为自动创建的EVS块存储添加TMS资源标签，以便于成本管理。 由于社区安全加固，v1.27及以上版本的集群中ClusterIP地址无法ping通。 -

v1.28版本 表2 v1.28补丁版本发布说明 CCE集群补丁版本号 Kubernetes社区版本 特性更新 优化增强 安全漏洞修复 v1.28.4-r0 v1.28.5 创建节点支持选择Docker容器引擎。 支持使用通用性SSD v2、极速SSD v2类型的云硬盘。 ELB Ingress支持配置灰度发布。 ELB Ingress支持配置URL重定向、Rewrite重写、HTTP重定向到HTTPS能力。 开放高频使用的集群参数、节点池参数配置。 修复部分安全问题。 v1.28.3-r0 v1.28.3 负载均衡类型的Service和ELB Ingress能力新增： 支持配置SNI。 支持开启HTTP/2。 支持配置空闲超时时间、请求超时时间、响应超时时间。 支持从HTTP报文的请求头中获取监听器端口号、客户端请求端口号、重写X-Forwarded-Host。 - 修复部分安全问题。 v1.28.2-r0 v1.28.3 创建Service或Ingress支持设置ELB黑/白名单访问控制。 CCE的节点镜像支持安全加固（满足等保三级基线要求）。 - 修复部分安全问题。 v1.28.1-r4 v1.28.3 - - 修复CVE-2024-21626安全漏洞。 v1.28.1-r2 v1.28.3 - 修复Ingress配置SNI证书并同时开启HTTP/2的场景下偶现配置冲突的问题。 - v1.28.1-r0 v1.28.3 首次发布CCE v1.28集群，有关更多信息请参见Kubernetes 1.28版本说明。 节点池支持节点的自定义前缀和后缀命名 CCE Turbo集群中，支持创建工作负载类型的容器网络配置，可指定Pod子网，详情请参见容器网络配置（NetworkAttachmentDefinition）。 ELB Ingress支持GRPC协议，详情请参见ELB Ingress对接GRPC协议的后端服务。 负载均衡类型的服务在通过YAML创建时支持指定ELB私有IP，详情请参见通过kubectl命令行创建-自动创建ELB。 优化CCE Turbo集群中大批量创建安全容器的启动速度。 提升CCE Turbo集群中反复创建删除安全容器时的稳定性。 -

资源变更与弃用 社区1.21 ReleaseNotes CronJob现在已达到稳定状态，版本号变为batch/v1。 不可变的Secret和ConfigMap现在已升级到稳定状态。向这些对象添加了一个新的不可变字段，以拒绝更改。此拒绝可保护集群免受可能无意中中断应用程序的更新。因为这些资源是不可变的，kubelet不会监视或轮询更改。这减少了kube-apiserver的负载，提高了可扩展性和性能。更多信息，请参见Immutable ConfigMaps。 优雅节点关闭现在已升级到测试状态。通过此更新，kubelet可以感知节点关闭，并可以优雅地终止该节点的Pod。在此更新之前，当节点关闭时，其Pod没有遵循预期的终止生命周期，这导致了工作负载问题。现在kubelet可以通过systemd检测即将关闭的系统，并通知正在运行的Pod，使它们优雅地终止。 具有多个容器的Pod现在可以使用kubectl.kubernetes.io/默认容器注释为kubectl命令预选容器。 PodSecurityPolicy废弃，详情请参见https://kubernetes.io/blog/2021/04/06/podsecuritypolicy-deprecation-past-present-and-future/。 BoundServiceAccountTokenVolume特性进入Beta，该特性能够提升服务账号（ServiceAccount）Token的安全性，改变了Pod挂载Token的方式，Kubernetes 1.21及以上版本的集群中会默认开启。 社区1.20 ReleaseNotes API优先级和公平性已达到测试状态，默认启用。这允许kube-apiserver按优先级对传入请求进行分类。更多信息，请参见API Priority and Fairness。 修复 exec probe timeouts不生效的BUG，在此修复之前，exec 探测器不考虑 timeoutSeconds 字段。相反，探测将无限期运行，甚至超过其配置的截止日期，直到返回结果。 通过此更改，如果未指定值，将使用默认值，默认值为1秒。如果探测时间超过一秒，可能会导致应用健康检查失败。请再升级时确定使用该特性的应用更新timeoutSeconds字段。新引入的 ExecProbeTimeout 特性门控所提供的修复使集群操作员能够恢复到以前的行为，但这种行为将在后续版本中锁定并删除。 RuntimeClass已达到稳定状态。RuntimeClass资源提供了一种机制，用于支持集群中的多个运行时，并将有关该容器运行时的信息公开到控制平面。 kubectl调试已达到测试状态。kubectl调试直接从kubectl提供对常见调试工作流的支持。 Dockershim在1.20被标记为废弃，目前您可以继续在集群中使用Docker。该变动与集群所使用的容器镜像（Image）无关。您依然可以使用Docker构建您的镜像。更多信息，请参见Dockershim Deprecation FAQ。

简介 Nginx Ingress：基于社区的Nginx Ingress Controller进行了优化，为精选开源插件，提供丰富的Ingress配置，如果您对网关定制有强烈的需求，可以选择Nginx Ingress。 ELB Ingress：基于华为弹性负载均衡ELB（Elastic Load Balance），全托管，免运维，支持千万级并发链接，百万级新建连接。支持对接共享型负载均衡、独享性负载均衡实例。

功能对比 比较项 Nginx Ingress ELB Ingress 产品定位 七层流量治理，提供丰富的高级路由功能。 七层流量治理，提供丰富的高级路由功能。与云原生深度集成，提供高可用、高性能、超安全、多协议的全托管免运维负载均衡服务。 具备弹性能力，流量突发时支持扩展计算资源。 同时支持千万级并发连接，百万级新建连接。 基础路由 基于内容、源IP的路由。 支持HTTP标头改写、重定向、重写、限速、跨域、会话保持等。 支持请求方向转发规则和响应方向转发规则，其中响应方向转发规则可以通过扩展Snippet配置实现。 转发规则按照最长路径匹配，匹配到多条路径时，转发路径最长的优先匹配。 基于内容、源IP的路由。 支持HTTP标头改写、重定向、重写、限速、会话保持等。 支持请求方向转发规则和响应方向转发规则。 转发规则按照优先级从高到低开始匹配，匹配到多条路径时，转发规则编号的数值越小优先级越高。 支持协议 支持HTTP和HTTPS协议。 支持WebSocket、WSS和gRPC协议。 支持HTTP和HTTPS协议。 支持gRPC协议。 配置变更 非后端端点变更需要Reload进程，对长连接有损。 端点变更使用Lua实现热更新。 Lua插件变更需要Reload进程。 申明式API，变更后由云服务之间的OpenAPI能力将配置加载到 ELB负载均衡 ，实现动态加载。 认证鉴权 支持Basic Auth认证方式。 支持oAuth协议。 支持TLS身份认证。 性能 性能依赖手动调优，需要进行系统参数调优和Nginx参数调优。 需要配置合理的副本数和资源限制。更多信息，请参见通过控制台创建Nginx Ingress。 支持千万级并发连接，百万级新建连接。 可观测能力 支持通过Access Log采集日志。 支持通过Prometheus进行监控和告警配置。 支持云服务访问日志（对接LTS）。 支持审计关键操作。 支持使用Metrics输出监控指标（对接 云监控 ）。 支持告警规则配置（对接云监控）。 运维能力 自行维护组件，定期同步社区新版本。 通过配置HPA进行扩缩容。 需要主动配置规格进行调优。 全托管、免运维。 自动弹性，免配置支持超大容量。 处理能力随业务峰值自动伸缩。 安全 支持HTTPS协议。 支持黑白名单功能。 HTTPS（集成SSL）支持全链路HTTPS、SNI多证书、RSA、ECC双证、TLS 1.3协议和TLS算法套件选择。 支持WAF防护墙防护。 支持DDos防护。 支持黑白名单功能。 支持自定义安全策略。 服务治理 服务发现支持K8s。 服务灰度支持金丝雀发布。 服务高可用支持限流。 服务发现支持K8s。 服务灰度支持金丝雀发布。 服务高可用支持限流。 云原生集成 自行运维组件，与华为云CCE、CCI Serverless、UCS等容器服务结合使用。更多信息，请参见路由概述。 全托管自动运维，与华为云CCE、CCI Serverless、UCS等容器服务结合使用。

解决方案 先升级对应的ASM网格版本，再进行集群升级，ASM网格版本与集群版本适配规则如下表。 表1 ASM网格版本与集群版本适配规则 ASM网格版本 集群版本 1.3 v1.13、v1.15、v1.17、v1.19 1.6 v1.15、v1.17 1.8 v1.15、v1.17、v1.19、v1.21 1.13 v1.21、v1.23 1.15 v1.21、v1.23、v1.25、v1.27 1.18 v1.25、v1.27、v1.28 若不需要使用ASM网格，可删除ASM网格后再进行升级，升级后集群不能绑定与表中不匹配的ASM网格版本。例如，使用v1.21版本集群与1.8版本ASM网格，若要升级至v1.25版本集群时，请先升级ASM网格至1.15版本后再进行v1.25版本集群升级。

账号权限要求 当使用DRS将其他云MySQL数据库的数据迁移到云数据库 RDS for MySQ L实例 时，账号权限要求如表1所示，授权的具体操作请参考授权操作。 表1 迁移账号权限 迁移类型 全量迁移 全量+增量迁移 源数据库（MySQL） SELECT、SHOW VIEW、EVENT。 SELECT、SHOW VIEW、EVENT、LOCK TABLES、REPLICATION SLAVE、REPLICATION CLIENT。

操作步骤 根据源端数据库的IP地址，通过数据库连接工具连接数据库。 根据支持的数据类型，在源库执行语句构造数据。 登录源端数据库。 进入任意一个待迁移的逻辑库。 本实践用到的逻辑库为db_test_info。 在db_test_info逻辑库中清空以前的表信息，确保创建成功。 drop table if exists db_test_info_001; db_test_info_001为本次实践创建的表名，请根据实际情况替换。 创建一个数据表。 create table db_test_info_001( column19 TIMESTAMP , column18 VARCHAR(256) , column11 DATETIME , column10 ENUM('a','b','c') , column13 FLOAT(2,1) , column12 YEAR , column15 VARCHAR(64) not null, column14 DOUBLE(2,1) , column17 INT , column16 LONGTEXT , column20 TIME , column21 BIT(8) , column22 LONGBLOB , column23 MEDIUMINT , column24 VARCHAR(20) , column9 DECIMAL(2,1) , column8 VARCHAR(1024) , column5 SMALLINT , column4 DATE , column7 VARCHAR(32) , column6 SET('hehe','xixi','haha') , column1 char(1) , column0 MEDIUMINT , column3 BIGINT , column2 TINYINT , primary key(column19,column11,column17) ); 插入数据。 insert into db_test_info_001(column19,column11,column10,column1,column24,column15,column23,column0,column8) values('2019-07-24 14:08:58',now(),'A',(RAND()*10000000),(RAND()*10000000),'db_test_info_001',(RAND()*10000000),(RAND()*1000000),'a'); insert into db_test_info_001(column19,column11,column17,column10,column1,column24,column15,column23,column0,column8) values(now(),now(),(RAND()*10000000),'A',(RAND()*10000000),(RAND()*10000000),'db_test_info_001',(RAND()*10000000),(RAND()*1000000),'a'); insert into db_test_info_001(column19,column11,column17,column10,column1,column24,column15,column23,column0,column8) values(now(),now(),(RAND()*10000000),'A',(RAND()*10000000),(RAND()*10000000),'db_test_info_001',(RAND()*10000000),(RAND()*1000000),'a'); insert into db_test_info_001(column19,column11,column17,column10,column1,column24,column15,column23,column0,column8) values(now(),now(),(RAND()*10000000),'A',(RAND()*10000000),(RAND()*10000000),'db_test_info_001',(RAND()*10000000),(RAND()*1000000),'a'); 查询插入结果。 select * FROM db_test_info_001;

资源规划 表1 资源规划 类别 子类 规划 备注 VPC VPC名称 vpc-src-172 自定义，易理解可识别。 所属Region 测试Region 现网实际选择时建议选择和自己业务区最近的Region，减少网络时延。 可用区 可用区3 - 子网网段 172.16.0.0/16 子网选择时建议预留足够的网络资源。 子网名称 subnet-src-172 自定义，易理解可识别。 本地MySQL数据库 数据库版本 5.7.38 - 数据库用户 test_info 可以自定义用户，但是迁移时最小权限为：SELECT、LOCK TABLES、REPLICATION SLAVE、REPLICATION CLIENT GaussDB 实例名 Auto-drs-gaussdbv5-tar-1 自定义，易理解可识别。 数据库版本 GaussDB1.3企业版 - 实例类型 分布式版，1CN，3DN，3副本 本示例中为分布式实例。 部署形态 独立部署 - 事务一致性 强一致性 - 分片数量 3 - 协调节点数量 3 - 存储类型 超高IO - 可用区 可用区2 本示例中选择了单可用区，实际建议选择多可用区，以提高实例的高可用性。 性能规格 通用增强Ⅱ型 8 vCPUs | 64GB 本示例中为测试实例，选择较小的测试规格，实际选择规格以业务诉求为准。 存储空间 480G 本示例中为测试实例，选择较小的存储空间，实际选择存储空间大小以业务诉求为准。 加密磁盘 不加密 本示例中选择磁盘不加密，选择加密后会提高数据安全性，但对数据库读写性能有少量影响，实际请按照业务使用策略进行选择。 DAS登录数据库 数据库引擎 GaussDB - 数据库来源 GaussDB 勾选本示例中创建的GaussDB实例 数据库名称 postgres - 登录用户名 root - 密码 - 本示例中创建的GaussDB实例root用户密码 DRS迁移任务 迁移任务名 DRS-test-info 自定义。 目标库名称 test_database_info 自定义，易理解可识别，但是需要确保兼容模式为MySQL模式。 源数据库引擎 MySQL - 目标数据库引擎 GaussDB - 网络类型 公网网络 本示例中采用公网网络。 父主题： 本地MySQL同步到GaussDB分布式版

autoanalyze 参数说明：标识是否允许在生成计划的时候，对于没有统计信息的表进行统计信息自动收集，如果在autoanalyze某个表的过程中数据库发生异常，当数据库恢复后再执行语句有可能仍提示需要收集此表的统计信息。此时需要用户对该表手动执行一次。 参数类型： SUSET 取值范围： 布尔型 on/true表示允许自动进行统计信息收集。 off/false表示不允许自动进行统计信息收集。 默认值： off 当前不支持对外表触发autoanalyze，不支持对带有ON COMMIT [DELETE ROWS|DROP]选项的临时表触发autoanalyze，如需收集，需用户手动执行analyze操作。

enable_tagbucket_auto_adapt 参数说明：设置是否开启tagbucket自适应调整。开启情况下，会根据当前时间段内，对查询语句使用频率较高的tag列进行优化，对查询where条件中包含该tag列的查询语句进行加速。 参数类型：POSTMASTER 取值范围：布尔型 on/true表示开启tagbucket自适应调整。 off/false表示关闭tagbucket自适应调整。 默认值：on

TSFIELD支持的数据类型 时序表TSFIELD支持的数据类型如下表： 表1 支持的数据类型 类别 数据类型 描述 是否支持 长度 取值 Numeric Types SMALLINT 小范围整数。 支持 2字节 -32,768 ~ +32,767 INTEGER 常用的整数。 支持 4字节 -2,147,483,648 ~ +2,147,483,647 BIGINT 大范围整数。 支持 8字节 -9,223,372,036,854,775,808 ~ 9,223,372,036,854,775,807 NUMERIC[(p[,s])] DECIMAL[(p[,s])] 精度p取值范围为[1，1000]，标度s取值范围为[0，p]。 支持 可变长度 未指定精度的情况下，小数点前最大131,072位，小数点后最大16,383位。 REAL 单精度浮点数，不精准。 支持 4字节 6位十进制数字精度。 DOUBLE PRECISION 双精度浮点数，不精准。 支持 8字节 1E-307~1E+308， 15位十进制数字精度。 SMALLSERIAL 二字节序列整型。 支持 2字节 1 ~ 32,767 SERIAL 四字节序列整型。 支持 4字节 1 ~ 2,147,483,647 BIGSERIAL 八字节序列整型。 支持 8字节 1 ~ 9,223,372,036,854,775,807 Monetary Types MONEY 货币金额。 支持 8字节 -92233720368547758.08 ~ +92233720368547758.07 Character Types VARCHAR(n) CHARACTER VARYING(n) 变长字符串。 支持 n是指字节长度，n小于10485761。 最大为10MB。 CHAR(n) CHARACTER(n) 定长字符串，不足填充空格。 支持 n是指字节长度，如不带精度n，默认精度为1。n小于10485761。 最大为10MB。 CHARACTER CHAR 单字节内部类型。 支持 1字节 - TEXT 变长字符串。 支持 可变长度 最大为1GB-8023B（即1073733621B）。 NVARCHAR2(n) 变长字符串。 支持 可变长度 最大为10MB。 NAME 用于对象名的内部类型。 不支持 64字节 - Date/Time Types TIMESTAMP[(p)][WITH TIME ZONE] 日期和时间，带时区。p表示小数点后的精度，取值范围为0~6。 支持 8字节 - TIMESTAMP[(p)] [WITHOUT TIME ZONE] 日期和时间。 p表示小数点后的精度，取值范围为0~6。 支持 8字节 - DATE oracle兼容模式下等价于timestamp(0)，记录日期和时间。 其他模式下，记录日期。 支持 oracle兼容模式下，占存储空间8字节 其他模式下，占存储空间4字节 - TIME [(p)] [WITHOUT TIME ZONE] 只用于一日内时间。 p表示小数点后的精度，取值范围为0~6。 支持 8字节 - TIME [(p)] [WITH TIME ZONE] 只用于一日内时间，带时区。 p表示小数点后的精度，取值范围为0~6。 支持 12字节 - INTERVAL 时间间隔。 支持 16字节 - big object CLOB 变长字符串。文本大对象。 支持 可变长度 最大为1GB-8023B（即1073733621B）。 BLOB 二进制大对象。 不支持 可变长度 最大为1G-8023B（即1073733621B）。 other types … … 不支持 … … 父主题： 支持和限制

操作步骤 登录ROMA Connect控制台，在“实例”页面单击实例上的“查看控制台”，进入实例控制台。 在左侧的导航栏选择“数据源管理”，单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下，选择“MySQL”类型的数据源，然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称，根据规划自定义。建议您按照一定的命名规则填写数据源名称，方便您快速识别和查找。 编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 连接模式 选择连接数据库模式。 默认：由系统根据用户配置自动拼接数据源连接字符串。 专业：由用户自己输入数据源连接字符串。 如果业务写入的数据的时区与MySQL数据库内部的缺省时区不一致，需要使用JDBC方式连接数据库，并且JDBC连接串需要指定时区。例如：jdbc:mysql://10.10.10.1:3306/testfdi?serverTimezone=GMT%2B8 如果业务写入的数据的编码字符集与 MySQL数据库内部的缺省编码字符集不一致，需要使用JDBC方式连接数据库，并且JDBC连接串需要指定编码字符集。例如：jdbc:mysql://10.10.10.1:3306/testfdi?characterEncoding=utf8 连接地址 仅当“连接模式”选择“默认”时需要配置。 填写数据库的连接IP地址和端口号。 数据库名 仅当“连接模式”选择“默认”时需要配置。 填写要接入的数据库名。 编码格式 仅当“连接模式”选择“默认”时可配置。 数据库所使用的编码格式。 超时时间 仅当“连接模式”选择“默认”时可配置。 连接数据库的超时时间，单位为秒。 连接字符串 仅当“连接模式”选择“专业”时需要配置。 填写MySQL数据库的JDBC格式连接串，例如：jdbc:mysql://{hostname}:{port}/{dbname}。 {hostname}为数据库的连接地址。 {port}为数据库的连接端口号。 {dbname}为要接入的数据库名。 用户名 填写连接数据库的用户名。 密码 填写连接数据库的用户密码。 数据源的接入配置示例如下所示。 默认方式的数据库连接配置示例： 图1 默认方式配置示例 专业方式的数据库连接配置示例： 图2 专业方式配置示例 完成数据源接入配置后，单击“开始检测”，检测ROMA Connect与数据源之间是否能够连通。 若测试结果为“数据源连接成功！”，则继续下一步。 若测试结果为“数据源连接失败！”，则检查数据源状态和数据源连接参数配置，然后单击“重新检测”，直到连接成功为止。 单击“创建”，完成数据源的接入。

操作步骤 登录ROMA Connect控制台，在“实例”页面单击实例上的“查看控制台”，进入实例控制台。 在左侧的导航栏选择“数据源管理”，单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下，选择“SQL Server”类型的数据源，然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称，根据规划自定义。建议您按照一定的命名规则填写数据源名称，方便您快速识别和查找。 编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 连接模式 选择连接数据库模式。 默认：由系统根据用户配置自动拼接数据源连接字符串。 专业：由用户自己输入数据源连接字符串。 连接地址 仅当“连接模式”选择“默认”时需要配置。 填写数据库的连接IP地址和端口号。 数据库名 仅当“连接模式”选择“默认”时需要配置。 填写要接入的数据库名。 连接字符串 仅当“连接模式”选择“专业”时需要配置。 填写SQL Server数据库的JDBC格式连接串，例如：jdbc:sqlserver://{hostname}:{port};DatabaseName={dbname}。 {hostname}为数据库的连接地址。 {port}为数据库的连接端口号。 {dbname}为要接入的数据库名。 用户名 填写连接数据库的用户名。 密码 填写连接数据库的用户密码。 SQL Server数据源的接入配置与DB2类似，配置示例可参考DB2数据源接入配置示例。 完成数据源接入配置后，单击“开始检测”，检测ROMA Connect与数据源之间是否能够连通。 若测试结果为“数据源连接成功！”，则继续下一步。 若测试结果为“数据源连接失败！”，则检查数据源状态和数据源连接参数配置，然后单击“重新检测”，直到连接成功为止。 单击“创建”，完成数据源的接入。

操作步骤 登录ROMA Connect控制台，在“实例”页面单击实例上的“查看控制台”，进入实例控制台。 在左侧的导航栏选择“数据源管理”，单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下，选择“RocketMQ”类型的数据源，然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称，根据规划自定义。建议您按照一定的命名规则填写数据源名称，方便您快速识别和查找。 编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 连接地址 填写RocketMQ的连接IP地址和端口号。 数据源的接入配置示例如下所示。 图1 RocketMQ数据源配置示例 RocketMQ数据源不支持端口映射的方式接入。 完成数据源接入配置后，单击“开始检测”，检测ROMA Connect与数据源之间是否能够连通。 若测试结果为“数据源连接成功！”，则继续下一步。 若测试结果为“数据源连接失败！”，则检查数据源状态和数据源连接参数配置，然后单击“重新检测”，直到连接成功为止。 单击“创建”，完成数据源的接入。

操作步骤 登录ROMA Connect控制台，在“实例”页面单击实例上的“查看控制台”，进入实例控制台。 在左侧的导航栏选择“数据源管理”，单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下，选择“ActiveMQ”类型的数据源，然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称，根据规划自定义。建议您按照一定的命名规则填写数据源名称，方便您快速识别和查找。 编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 broker列表 填写ActiveMQ的broker连接地址，即主机IP地址和端口，多个broker地址可单击“添加地址”按钮进行添加。 用户名 填写连接ActiveMQ的用户名。 密码 填写连接ActiveMQ的用户密码。 是否开启SSL认证 ROMA Connect与ActiveMQ的连接是否使用SSL认证加密。 SSL认证方式 仅当“是否开启SSL认证”选择“是”时需要配置。 选择使用的SSL认证方式。 单向认证：仅客户端（ROMA Connect）对服务端（ActiveMQ）进行身份认证。 双向认证：客户端（ROMA Connect）和服务端（ActiveMQ）相互进行身份认证。 公钥库文件 仅当“是否开启SSL认证”选择“是”时需要配置。 SSL认证过程中，客户端使用的公钥库文件，与服务端使用的私钥相匹配。 公钥库密码 仅当“是否开启SSL认证”选择“是”时需要配置。 公钥库文件对应的密码。 私钥库文件 仅当“SSL认证方式”选择“双向认证”时需要配置。 SSL双向认证过程中，客户端使用的私钥库文件，与服务端使用的公钥相匹配。 私钥库密码 仅当“SSL认证方式”选择“双向认证”时需要配置。 私钥库文件对应的密码。 私钥库私钥密码 仅当“SSL认证方式”选择“双向认证”时需要配置。 私钥库文件中私钥对应的密码。若不填写，则私钥密码跟“私钥库密码”相同。 以SSL单向认证方式接入ActiveMQ为例，需要上传公钥库文件，该ActiveMQ数据源的接入配置示例如下图所示。 图1 ActiveMQ数据源配置示例 完成数据源接入配置后，单击“开始检测”，检测ROMA Connect与数据源之间是否能够连通。 若测试结果为“数据源连接成功！”，则继续下一步。 若测试结果为“数据源连接失败！”，则检查数据源状态和数据源连接参数配置，然后单击“重新检测”，直到连接成功为止。 单击“创建”，完成数据源的接入。