检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
设置容器健康检查 操作场景 健康检查是指容器运行过程中，根据用户需要，定时检查容器健康状况。若不配置健康检查，如果容器内应用程序异常，Pod将无法感知，也不会自动重启去恢复。最终导致虽然Pod状态显示正常，但Pod中的应用程序异常的情况。 Kubernetes提供了三种健康检查的探针
检查节点镜像数量异常处理 检查项内容 检查到您的节点上镜像数量过多（>1000个），可能导致docker启动过慢，影响docker标准输出，影响nginx等功能的正常使用。 解决方案 请手动删除残留的镜像，防止后续升级异常； 删除镜像之后请您重新进行升级前检查 父主题： 升级前检查异常问题排查
业务检查 检查项内容 集群升级完毕，由用户验证当前集群正在运行的业务是否正常。 检查步骤 业务不同，验证的方式也有所不同，建议您在升级前确认适合您业务的验证方式，并在升级前后均执行一遍。 常见的业务确认方式有： 业务界面可用 监控平台无异常告警与事件 关键应用进程无错误日志 API
排水任务检查异常处理 检查项内容 检查到集群中存在未完成的排水任务，此时升级可能会导致升级完成后触发排水动作，将运行中的Pod进行驱逐。 解决方案 配置Kubectl命令，具体请参见通过kubectl连接集群。 查看是否存在排水任务，以下为正常回显： kubectl get drainage
节点镜像层数量异常检查 检查项内容 检查到您的节点上镜像层数量过多（>5000层），可能导致docker/containerd启动过慢，影响docker/containerd标准输出。 如果您集群中使用了nginx，可能会出现转发变慢等问题。 解决方案 请登录节点手动删除用不到的镜像
节点限制检查异常处理 检查项内容 当前检查项包括以下内容： 检查节点是否可用 检查节点操作系统是否支持升级 检查节点是否含有非预期的节点池标签 检查K8s节点名称是否与云服务器保持一致 解决方案 检查到节点状态异常，请优先恢复 若检查发现节点不可用，请登录CCE控制台，单击集群名称进入集群控制台
升级前检查项 集群升级前，系统将自动进行全面的升级前检查，当集群不满足升级前检查条件时将无法继续升级。为了能够更好地避免升级风险，本文提供全量的升级前检查问题及解决方案，帮助您对可能存在的升级故障进行预处理。 表1 检查项列表 序号 检查项名称 检查项说明 1 节点限制检查异常处理
节点关键命令检查异常处理 检查项内容 检查节点升级依赖的一些关键命令是否能正常执行。 解决方案 问题场景一：包管理器命令执行失败 检查到包管理器命令rpm或dpkg命令执行失败，请登录节点排查下列命令的可用性。 rpm -qa 如果上述命令不可用，可通过以下命令恢复： rpm --
错误码 调用接口出错后，将不会返回结果数据。调用方可根据每个接口对应的错误码来定位错误原因。 当调用出错时，HTTP 请求返回一个 4xx 或 5xx 的 HTTP 状态码。返回的消息体中是具体的错误代码及错误信息。在调用方找不到错误原因时，可以联系客服，并提供错误码，以便尽快帮您解决问题
插件检查异常处理 检查项内容 当前检查项包括以下内容： 检查插件状态是否正常 检查插件是否支持目标版本 解决方案 问题场景一：插件状态异常 请登录CCE控制台，单击集群名称进入集群控制台，前往“插件中心”处查看并处理处于异常状态的插件。 图1 查看插件状态 问题场景二：集群升级的目标版本已经不支持该插件
工作负载异常：启动容器失败 问题定位 工作负载详情中，若事件中提示“启动容器失败”，请按照如下方式来初步排查原因： 登录异常工作负载所在的节点。 查看工作负载实例非正常退出的容器ID。 docker ps -a | grep $podName 查看退出容器的错误日志。 docker
节点内存检查异常处理 检查项内容 检查节点内存使用量是否超过90%。 解决方案 请在业务低峰时进行集群升级。 请检查该节点的Pod部署数量是否过多，适当驱逐该节点上Pod到其他空闲节点。 父主题： 升级前检查异常问题排查
节点交换区检查异常处理 检查项内容 检查集群CCE节点的上是否开启了交换区。 解决方案 CCE节点默认关闭swap交换区，请您确认手动开启交换区的原因，并确定关闭影响； 若确定无影响后请执行swapoff -a命令关闭交换区之后重新检查。 父主题： 升级前检查异常问题排查
ASM网格版本检查异常处理 检查项内容 当前检查项包括以下内容： 检查集群是否使用ASM网格服务 检查当前ASM版本是否支持目标集群版本 解决方案 先升级对应的ASM网格版本，再进行集群升级，ASM网格版本与集群版本适配规则如下表。 表1 ASM网格版本与集群版本适配规则 ASM网格版本
节点CPU数量检查异常处理 检查项内容 检查您的集群Master节点的CPU核心数量，要求Master节点的核心数量大于2核。 解决方案 当前您的Master节点cpu数量为2，可能会导致集群升级失败； 请联系技术支持人员，将该集群Master节点扩容至4核及以上。 父主题： 升级前检查异常问题排查
升级管控检查异常处理 检查项内容 检查集群是否处于升级管控中。 解决方案 CCE基于以下几点原因，可能会暂时限制该集群的升级功能： 基于用户提供的信息，该集群被识别为核心重点保障的生产集群。 正在或即将进行其他运维任务，例如Master节点3AZ改造等。 集群中存在容器引擎为Docker
轮转证书文件数量检查 检查项内容 检查您节点上的证书数量过多（>1000），由于升级过程中会批量处理证书文件，证书文件过多可能导致节点升级过慢，节点上Pod被驱逐等。 解决方案 方案一：优先建议您重置节点，详情请参考重置节点。 方案二：修复节点上证书轮转异常问题。 进入节点/opt
节点Sudo检查异常处理 检查项内容 检查当前节点sudo命令，sudo相关文件是否正常。 解决方案 问题场景一：sudo命令执行失败 集群原地升级过程中依赖sudo命令正常可用，请登录节点执行如下命令，排查sudo命令可用性。 sudo echo hello 如果sudo命令不存在
GPU插件检查异常处理 检查项内容 检查到本次升级涉及GPU插件，可能影响新建GPU节点时GPU驱动的安装。 解决方案 由于当前GPU插件的驱动配置由您自行配置，需要您验证两者的兼容性。建议您在测试环境验证安装升级目标版本的GPU插件，并配置当前GPU驱动后，测试创建节点是否正常使用
节点NetworkManager检查异常处理 检查项内容 检查节点上的NetworkManager状态是否正常。 解决方案 请登录该节点，执行systemctl is-active NetworkManager命令查询NetworkManager服务运行状态。若回显状态异常，请执行
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
