检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
问题现象 节点操作系统为CentOS 7.6或EulerOS 2.5时,如果使用“Debian GNU/Linux 11 (bullseye)”内核为基础镜像的容器,会出现容器内的文件权限和用户异常。 问题影响 容器内文件权限及用户异常。 解决方案 CCE提供以下两种解决方案,您可根据实际情况选取:
高危操作一览 业务部署或运行过程中,用户可能会触发不同层面的高危操作,导致不同程度上的业务故障。为了能够更好地帮助用户预估及避免操作风险,本文将从集群/节点、网络与负载均衡、日志、云硬盘多个维度出发,为用户展示哪些高危操作会导致怎样的后果,以及为用户提供相应的误操作解决方案。 集群/节点
升级操作系统 当CCE发布新版本的操作系统镜像时,已有节点无法自动升级,您可以手动进行批量升级。 注意事项 该操作会通过重置节点的方式升级操作系统,节点上已运行的工作负载业务可能会由于单实例部署、可调度资源不足等原因产生中断,请您合理评估升级风险,并挑选业务低峰期进行,或对关键业务应用设置PDB策略(Pod
节点系统参数检查异常处理 检查项内容 检查您节点上默认系统参数是否被修改。 解决方案 如您的bms节点上bond0网络的mtu值非默认值1500,将出现该检查异常。 非默认参数可能导致业务丢包,请改回默认值。 父主题: 升级前检查异常问题排查
为保证业务高可用,需要将业务同时部署在多个云的容器服务上,在某个云出现事故时,通过统一流量分发的机制,自动地将业务流量切换到其他云上。 流量分发、弹性伸缩 大型企业客户需要将业务同时部署在不同地域的云机房中,并能根据业务的波峰波谷进行自动弹性扩容和缩容,以节约成本。 业务上云、数据本地托管
对于使用Containerd运行时的节点上业务容器,若日志输出方式采用容器标准输出,其日志转储由节点上kubelet组件完成,除负责业务容器标准输出日志转储外,kubelet还负责节点上所有容器生命周期的维护操作。 若节点上业务容器过多,业务容器标准日志输出过快,会导致kubele
系统委托说明 由于CCE在运行中对计算、存储、网络以及监控等各类云服务资源都存在依赖关系,因此当您首次登录CCE控制台时,CCE将自动请求获取当前区域下的云资源权限,从而更好地为您提供服务。服务权限包括: 计算类服务 CCE集群创建节点时会关联创建云服务器,因此需要获取访问弹性云服务器、裸金属服务器的权限。
p OOM,被系统内核终止。容器cgroup OOM在CentOS 7会偶现触发ext4文件系统卡死,ext4/jbd2会因为死锁而永远挂起。在文件系统上执行I/O的所有任务都将受到影响。 解决方法 临时解决方案:该问题触发后可以通过重启节点临时恢复。 长久解决方案: 若您的集群版本为1
Helm v2与Helm v3的差异及适配方案 随着Helm v2 发布最终版本Helm 2.17.0,Helm v3 现在已是 Helm 开发者社区支持的唯一标准。为便于管理,建议用户尽快将模板切换至Helm v3格式。 当前社区从Helm v2演进到Helm v3,主要有以下变化:
云审计服务(Cloud Trace Service,CTS),是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务后,系统将开始记录CCE资源的操作,并为您保存最近7天的操作记录。
升级前检查项 集群升级前,系统将自动进行全面的升级前检查,当集群不满足升级前检查条件时将无法继续升级。为了能够更好地避免升级风险,本文提供全量的升级前检查问题及解决方案,帮助您对可能存在的升级故障进行预处理。 表1 检查项列表 序号 检查项名称 检查项说明 1 节点限制检查异常处理
Pod重建风险检查异常处理 检查项内容 检查当前集群升级重启kubelet时,节点上运行的GPU/NPU业务容器是否可能发生重建,造成业务影响。 解决方案 请确保在业务影响可控的前提下(如业务低峰期)进行集群升级,以消减业务容器重建带来的影响; 如需帮助,请您提交工单联系运维人员获取支持。 父主题: 升级前检查异常问题排查
算力与显存同时隔离两类场景。 兼容:业务无需重新编译,无需进行CUDA库替换,对业务无感。 前提条件 配置 支持版本 集群版本 v1.23.8-r0、v1.25.3-r0及以上 操作系统 Huawei Cloud EulerOS 2.0操作系统 GPU类型 支持T4、V100类型的GPU
K8s组件内存资源限制检查异常处理 检查项内容 检查K8s组件例如etcd、kube-controller-manager等组件是否资源超出限制。 解决方案 方案一:适当减少K8s资源。 方案二:扩大集群规格,详情请参见变更集群规格。 父主题: 升级前检查异常问题排查
符合预期的效果。 在CCE集群中删除/退订节点会将该节点以及节点内运行的业务都销毁,请您在操作前提前进行排水和数据备份,确保正常业务运行不受影响。 注意事项 删除节点会涉及Pod迁移,可能会影响业务,请在业务低峰期操作,建议您提前进行节点排水。 操作过程中可能存在非预期风险,请提前做好相关的数据备份。
检查当前集群内使用containerd的节点在升级containerd组件时,节点上运行的业务容器是否可能发生重启,造成业务影响。 解决方案 检测到您的节点上的containerd服务存在重启风险;请确保在业务影响可控的前提下(如业务低峰期)进行集群升级,以消减业务容器重启带来的影响; 如需帮助,请提交工单联系运维人员获取支持。
随着微服务的大量应用,其构成的分布式应用架构在运维、调试和安全管理等维度变得更加复杂,在管理微服务时,往往需要在业务代码中添加微服务治理相关的代码,导致开发人员不能专注于业务开发,还需要考虑微服务治理的解决方案,并且将解决方案融合到其业务系统中。 价值 云容器引擎深度集成应用服务网格,提供开箱即用的应用服务网格流量治
GPU虚拟化采用自研xGPU虚拟化技术,能够动态对GPU设备显存与算力进行划分,单个GPU卡最多虚拟化成20个GPU虚拟设备。相对于静态分配来说,虚拟化的方案更加灵活,最大程度保证业务稳定的前提下,可以完全由用户自己定义使用的GPU量,提高GPU利用率。详情请参见GPU虚拟化概述。 集群默认驱动:集群中GPU
操作系统问题说明 低版本内核的CentOS节点反复创删应用时偶现cgroup kmem泄露问题 CCE集群IPVS转发模式下conn_reuse_mode问题说明 cgroup统计资源异常导致kubelet驱逐Pod 低版本内核的CentOS节点出现容器OOM时,偶现ext4文件系统卡死问题
操作系统版本支持机制 同步机制 云容器引擎CCE发布的集群节点组件会随CCE集群版本发布定期更新。 操作系统重大漏洞修复:跟随集群补丁升级策略发布。 集群版本与操作系统对应关系 如下为当前已经发布的集群版本与操作系统版本的对应关系,请参考: 表1 弹性云服务器-虚拟机节点操作系统