检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
后Master节点上的时区会变为集群时区。 如果您集群中存在Cronjob，则可能会导致Cronjob在升级后触发一次非预期的执行。 解决方案 请在升级前关闭Cronjob后再次执行升级前检查，升级完成后开启Cronjob。 父主题： 升级前检查异常问题排查
并在升级前后均执行一遍。 常见的业务确认方式有： 业务界面可用 监控平台无异常告警与事件 关键应用进程无错误日志 API拨测正常等 解决方案 若集群升级后您的在线业务有异常，请联系技术支持人员。 父主题： 升级后验证
CCE会将用户的子网DNS信息配置到node节点上，coredns插件中也是使用该配置信息，因此会导致用户在节点容器内解析域名会偶发失败的状况。 解决方案 建议您通过修改coredns插件的存根域更新用户集群子网DNS配置，修改方法请参见为CoreDNS配置存根域。 父主题： 域名DNS
排水任务检查异常处理 检查项内容 检查到集群中存在未完成的排水任务，此时升级可能会导致升级完成后触发排水动作，将运行中的Pod进行驱逐。 解决方案 配置Kubectl命令，具体请参见通过kubectl连接集群。 查看是否存在排水任务，以下为正常回显： kubectl get drainage
device”类似的日志打印，则说明Prometheus挂载的磁盘空间不足。 图5 查看Prometheus实例日志 解决方案 方案一：推荐使用关闭本地数据存储模式对接AOM实例。使用AOM托管指标数据，无需管理存储。 方案二：在左侧导航栏中选择“存储”，并切换至monitoring命名空间，选中pvc-prom
-------------------------+ 从上述输出的信息中，可以看到该节点的GPU驱动版本为460.32.03。 漏洞修复方案 请您根据漏洞影响范围，将节点升级到对应驱动版本进行漏洞修复： 若您升级了NVIDIA GPU驱动，需重启GPU节点，重启节点将会短暂影响您的业务。
节点Ready检查异常处理 检查项内容 检查集群内节点是否Ready。 解决方案 问题场景一：节点状态显示不可用 请登录CCE控制台，单击集群名称进入集群控制台，前往“节点管理”，筛选出状态不可用的节点后，请参照控制台提供的“修复建议”修复该节点后重试检查。 问题场景二：节点状态与实际不符
该告警通常发生在低版本集群升级到v1.27及以上集群。CCE不建议您在1.27以上版本集群中继续使用docker，并计划在未来移除对docker的支持。 解决方案 若您的节点池的运行时非containerd，您可通过更新节点池功能将节点池的运行时修改为containerd。 如果您仍想在1.27以上
节点NetworkManager检查异常处理 检查项内容 检查节点上的NetworkManager状态是否正常。 解决方案 请登录该节点，执行systemctl is-active NetworkManager命令查询NetworkManager服务运行状态。若回显状态异常，请执行systemctl
EVS存储卷挂载异常 SFS Turbo存储卷挂载异常 SFS存储卷挂载异常 存储卷挂载超时 EVS存储卷挂载异常 问题现象 问题根因 解决方案 在有状态工作负载上挂载EVS存储卷，但无法挂载卷并超时。 节点在可用区1，而要挂载的磁盘在可用区2，导致无法挂载而超时。 在同一可用区内创建磁盘再挂载后即可正常。
系统会为您检查集群内是否存在跳过升级的节点，您可以根据诊断结果前往节点列表页进行确认。跳过的节点含有标签upgrade.cce.io/skipped=true。 解决方案 对于升级详情页面中跳过的节点，请在升级完毕后重置节点。 重置节点会重置所有节点标签，可能影响工作负载调度，请在重置节点前检查并保留您手动为该节点打上的标签。
暴露给容器使用的一种网络构建技术，享有较高的性能，较为常见的解决方案有IP VLAN等。 图2 不同节点上的Pod通信 以上就是容器网络底层视图，后面将进一步介绍Kubernetes如何在此基础上向用户提供访问方案，具体请参见Service和Ingress。 父主题： Kubernetes网络
集群Master节点的使用率达到100%。 问题根因 在集群中同时创建大量资源，apiserver压力过大，导致Master节点过载出现OOM。 解决方案 您可以扩容集群管理规模，集群管理规模越大，控制节点规格越高、性能也更佳。操作详情请参见变更集群规格。 如果您出现以上集群过载的情况，您也可以提交工单以获取技术支持。
检查节点上是否存在集群升级需要使用到的污点。 表1 检查污点列表 污点名称 污点影响 node.kubernetes.io/upgrade NoSchedule 解决方案 问题场景一：该节点为集群升级过程中跳过的节点。 配置Kubectl命令，具体请参见通过kubectl连接集群。 查看对应节点kubelet版本，以下为正常回显：
GPU插件检查异常处理 检查项内容 检查到本次升级涉及GPU插件，可能影响新建GPU节点时GPU驱动的安装。 解决方案 由于当前GPU插件的驱动配置由您自行配置，需要您验证两者的兼容性。建议您在测试环境验证安装升级目标版本的GPU插件，并配置当前GPU驱动后，测试创建节点是否正常使用。
监听器、转发策略、转发规则、后端云服务器组、后端云服务器和证书配置。 升级后会覆盖您在ELB自行修改的内容，请整改后再进行集群升级。 解决方案 根据诊断分析中的日志排查哪些资源需要整改，常见场景是在Ingress对接的监听器下配置了其他的转发策略，导致监听器下转发策略与集群Ing
com/torvalds/linux/commit/35dfb013149f74c2be1ff9c78f14e6a3cd1539d1。 解决方案 您可以通过使用节点DNS缓存NodeLocal DNSCache降低IPVS缺陷的影响，具体操作请参见使用NodeLocal DNSCache提升DNS性能。
延迟增加：CoreDNS需要处理更多的请求，可能会导致DNS查询变慢，从而影响业务性能。 资源占用率增加：为保证DNS性能，CoreDNS往往需要更高规格的配置。 解决方案 NodeLocal DNSCache可以提升服务发现的稳定性和性能。 关于NodeLocal DNSCache的介绍及如何在CCE集群中部署NodeLocal
节点thinpool空间大小，理论上有概率出现节点thinpool空间耗尽的场景。 解决方案 当节点已出现thinpool空间耗尽时，可将部分业务迁移至其他节点实现业务快速恢复。但对于此类问题，建议采用以下方案从根因上解决问题： 方案1： 合理规划业务分布及数据面磁盘空间，避免和减少出现业务容器数*basesize
g状态。 问题根因 Kubernetes为了防止误删除PV和PVC导致数据丢失，存在数据保护机制，无法使用delete命令直接删除。 解决方案 执行以下命令，先解除保护机制，再删除PV或PVC。 如果已经使用kubectl delete命令删除PV或PVC，会一直处在Termin
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
