检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
资源准备 在集群中添加GPU节点 登录CCE控制台，单击已创建的集群，进入集群控制台。 安装GPU插件。 在左侧导航栏中选择“插件管理”，在右侧找到gpu-beta（或gpu-device-plugin），单击“安装”。 在安装插件页面，设置插件关键参数。 Nvidia驱动：填写
GPU视图 GPU资源指标可以衡量GPU性能和使用情况，包括GPU的利用率、温度、显存等方面的监控数据，帮助您掌控GPU运行状况。 指标说明 图1 GPU资源指标 表1 GPU图表说明 图表名称 单位 说明 集群-显存使用率 百分比 集群的显存使用率 计算公式：集群内容器显存使用总量/集群内显存总量
内部错误异常处理 检查项内容 该检查非常规检查项，表示升级前检查流程中出现了内部错误。 解决方案 该问题出现后，请您优先重试升级前检查； 若重试升级前检查仍失败，请您提交工单，联系技术支持人员。 父主题： 升级前检查异常问题排查
使用延迟绑定的云硬盘（csi-disk-topology）实现跨AZ调度 应用现状 云硬盘使用在使用时无法实现跨AZ挂载，即AZ1的云硬盘无法挂载到AZ2的节点上。有状态工作负载调度时，如果使用csi-disk存储类，会立即创建PVC和PV（创建PV会同时创建云硬盘），然后PVC
ace下的Pod知道对方的IP，而Kubernetes依赖的底层网络没有提供Namespace之间的网络隔离的话，那这两个Pod就可以互相访问。 父主题： Pod、Label和Namespace
基于专属资源或边缘可用区创建的实例，基础资源（vCPU、内存）仍会保留。 特殊情况下，如果您使用的弹性云服务器包含本地盘（如磁盘增强型、超高I/O型等），则关机后基础资源（vCPU、内存、收费镜像）和绑定的其他资源（云硬盘、带宽）均正常计费，如需停止计费，请删除实例及其绑定的资源。 父主题：
NF_DROP 发出类似于 NF_ACCEPT 的丢弃错误时，nf_hook_slow() 函数会导致双重释放漏洞，本地攻击者利用此漏洞可将普通用户权限提升至 root 权限。 该漏洞是一个本地提权漏洞，需要攻击者先渗透到集群的node节点，利用难度较高。 判断方法 如果集群node节点OS是CentOS
ASM网格版本检查异常处理 检查项内容 当前检查项包括以下内容： 检查集群是否使用ASM网格服务 检查当前ASM版本是否支持目标集群版本 解决方案 先升级对应的ASM网格版本，再进行集群升级，ASM网格版本与集群版本适配规则如下表。 表1 ASM网格版本与集群版本适配规则 ASM网格版本
升级管控检查异常处理 检查项内容 检查集群是否处于升级管控中。 解决方案 CCE基于以下几点原因，可能会暂时限制该集群的升级功能： 基于用户提供的信息，该集群被识别为核心重点保障的生产集群。 正在或即将进行其他运维任务，例如Master节点3AZ改造等。 集群中存在容器引擎为Do
节点内存检查异常处理 检查项内容 检查节点内存使用量是否超过90%。 解决方案 请在业务低峰时进行集群升级。 请检查该节点的Pod部署数量是否过多，适当驱逐该节点上Pod到其他空闲节点。 父主题： 升级前检查异常问题排查
timeouts不生效的BUG，在此修复之前，exec 探测器不考虑 timeoutSeconds 字段。相反，探测将无限期运行，甚至超过其配置的截止日期，直到返回结果。 若用户未配置，默认值为1秒。升级后此字段生效，如果探测时间超过1秒，可能会导致应用健康检查失败并频繁重启。 升级前检查您使用了exec probe的应用的probe
节点Python命令检查异常处理 检查项内容 检查Node节点中Python命令是否可用。 检查方式 /usr/bin/python --version echo $? 如果回显值不为0证明检查失败。 解决方案 可优先重置节点或手动安装Python之后再进行升级。 父主题： 升级前检查异常问题排查
/usr/local/cuda/version.txt 然后查看容器所在节点的nvidia驱动版本支持的cuda版本范围，是否包含容器中的cuda版本。 相关链接 工作负载异常：GPU节点部署服务报错 父主题： 节点运行
节点CPU数量检查异常处理 检查项内容 检查您的集群Master节点的CPU核心数量，要求Master节点的核心数量大于2核。 解决方案 当前您的Master节点cpu数量为2，可能会导致集群升级失败； 请联系技术支持人员，将该集群Master节点扩容至4核及以上。 父主题： 升级前检查异常问题排查
检查节点镜像数量异常处理 检查项内容 检查到您的节点上镜像数量过多（>1000个），可能导致docker启动过慢，影响docker标准输出，影响nginx等功能的正常使用。 解决方案 请手动删除残留的镜像，防止后续升级异常； 删除镜像之后请您重新进行升级前检查 父主题： 升级前检查异常问题排查
否则，您可以按以下操作手动完成容器镜像的迁移。 远程登录原集群中任意一个节点，使用docker pull命令拉取所有镜像到本地。 登录SWR控制台，单击页面右上角的“登录指令”并复制。 在节点上执行上一步复制的登录指令。 登录成功会显示“Login Succeeded”。 为所有本地镜像打上标签。
String 参数解释： 选择密钥对方式登录时的密钥对名称。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 userPassword 否 UserPassword object 参数解释： 选择密码方式登录时的账号密码信息，之后可通过此账号密码登录节点。 约束限制： 不涉及 表8
CCE集群新增节点时的问题与排查方法？ 注意事项 同一集群下的节点镜像保证一致，后续新建/添加/纳管节点时需注意。 新建节点时，数据盘如需分配用户空间，分配目录注意不要设置关键目录，例如：如需放到home下，建议设置为/home/test，不要直接写到/home/下。 请注意“挂载路
移除内置集群角色system:csi-external-provisioner和system:csi-external-attacher。 参考链接 关于Kubernetes 1.17与其他版本的性能对比和功能演进的更多信息，请参考： Kubernetes v1.17.0 Release
检查历史升级记录是否满足升级条件 检查项内容 检查集群的历史升级记录，要求您的集群原始版本满足升级到目标集群版本的条件。 解决方案 该问题一般由于您的集群从比较老的版本升级而来，升级风险较大，建议您优先考虑集群迁移 若您仍然想要升级该集群，请您提交工单，联系技术支持人员进行评估。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
