检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
云容器引擎CCE集群和gpu-beta插件推荐安装的NVIDIA GPU驱动，尚未出现在NVIDIA官方信息中。如果将来有新的官方信息变化，我们将及时跟进帮助您升级修复。 如果您是自行选择安装的NVIDIA GPU驱动或更新过节点上的GPU驱动，请参考上图确认您安装的GPU驱动是否受该漏洞影响。
GPU插件检查异常处理 检查项内容 检查到本次升级涉及GPU插件，可能影响新建GPU节点时GPU驱动的安装。 解决方案 由于当前GPU插件的驱动配置由您自行配置，需要您验证两者的兼容性。建议您在测试环境验证安装升级目标版本的GPU插件，并配置当前GPU驱动后，测试创建节点是否正常使用。
CCE AI套件（NVIDIA GPU） 插件介绍 CCE AI套件（NVIDIA GPU）插件是支持在容器中使用GPU显卡的设备管理插件，集群中使用GPU节点时必须安装本插件。 字段说明 表1 参数描述 参数 是否必选 参数类型 描述 basic 是 object 插件基础配置参数。
适配OS Ubuntu22.04 GPU驱动目录自动挂载优化 1.2.24 v1.19 v1.21 v1.23 v1.25 节点池支持配置GPU驱动版本 支持GPU指标采集 1.2.20 v1.19 v1.21 v1.23 v1.25 设置插件别名为gpu 1.2.17 v1.15 v1
如何配置Pod使用GPU节点的加速能力？ 问题描述 我已经购买了GPU节点，但运行速度还是很慢，请问如何配置Pod使用GPU节点的加速能力。 解答 方案1： 建议您将集群中GPU节点的不可调度的污点去掉，以便GPU插件驱动能够正常安装，同时您需要安装高版本的GPU驱动。 如果您的集
使用dcgm-exporter监控GPU指标 应用场景 集群中包含GPU节点时，需要了解GPU应用使用节点GPU资源的情况，例如GPU利用率、显存使用量、GPU运行的温度、GPU的功率等。在获取GPU监控指标后，用户可根据应用的GPU指标配置弹性伸缩策略，或者根据GPU指标设置告警规则。本文基于开源Prometheus和DCGM
GPU节点使用nvidia驱动启动容器排查思路 集群中的节点是否有资源调度失败的事件？ 问题现象： 节点运行正常且有GPU资源，但报如下失败信息： 0/9 nodes are aviable: 9 insufficient nvida.com/gpu 排查思路： 确认节点标签是否已经打上nvidia资源。
在GPU服务容器中发现一些新增的文件core.*，在以前的部署中没有出现过。 问题定位 GPU插件的驱动版本较低，单独下载驱动安装后正常。 工作负载中未声明需要gpu资源。 建议方案 节点安装了gpu-beta（gpu-device-plugin）插件后，会自动安装nvidia-s
计算：全面适配华为云各类计算实例，支持虚拟机和裸机混合部署、高性价比鲲鹏实例、GPU和华为云独有的昇腾算力；支持GPU虚拟化、共享调度、资源感知的调度优化。 网络：支持对接高性能、安全可靠、多协议的独享型ELB作为业务流量入口。 存储：对接云存储，支持EVS、SFS和OBS，提供磁盘加密、快照和备份能力。 集
资源准备 在集群中添加GPU节点 登录CCE控制台，单击已创建的集群，进入集群控制台。 安装GPU插件。 在左侧导航栏中选择“插件管理”，在右侧找到gpu-beta（或gpu-device-plugin），单击“安装”。 在安装插件页面，设置插件关键参数。 Nvidia驱动：填写
name: 'cce-gpu' cce-gpu 结合CCE的GPU插件支持GPU资源分配，支持小数GPU配置。 说明： 1.10.5及以上版本的插件不再支持该插件，请使用xgpu插件。 小数GPU配置的前提条件为CCE集群GPU节点为共享模式，检查集群是否关闭GPU共享，请参见修改C
GPU插件关键参数检查异常处理 检查项内容 检查CCE GPU插件中部分配置是否被侵入式修改，被侵入式修改的插件可能导致升级失败。 解决方案 使用kubectl连接集群。 执行以下命令获取插件实例详情。 kubectl get ds nvidia-driver-installer
Ubuntu内核与GPU驱动兼容性提醒 检查项内容 检查到集群中同时使用GPU插件和Ubuntu节点，提醒客户存在可能的兼容性问题。当Ubuntu内核版本在5.15.0-113-generic上时，GPU插件必须使用535.161.08及以上的驱动版本。 解决方案 您在升级后新创
Kubernetes默认GPU调度可以指定Pod申请GPU的数量，支持申请设置为小于1的数量，实现多个Pod共享使用GPU。 使用Kubernetes默认GPU调度 GPU虚拟化 GPU虚拟化能够动态对GPU设备显存与算力进行划分，单个GPU卡最多虚拟化成20个GPU虚拟设备。相对于静
页签，查看GPU节点的IP。本文中以192.168.0.106为例。 登录GPU节点，通过以下命令查看GPU卡的信息。 nvidia-smi 可以看到该机器上存在1张卡GPU0。本文以GPU0为例，定位使用这张卡的Pod。 根据节点IP（即192.168.0.106）和设备号（即第0张卡）定位使用了该卡的Pod。
GPU/NPU Pod重建风险检查异常处理 检查项内容 检查当前集群升级重启kubelet时，节点上运行的GPU/NPU业务容器是否可能发生重建，造成业务影响。 解决方案 请确保在业务影响可控的前提下（如业务低峰期）进行集群升级，以消减业务容器重建带来的影响； 如需帮助，请您提交工单联系运维人员获取支持。
自分配到2个GPU。但是TFJob1和TFJob2均需要4块GPU卡才能运行起来。这样TFJob1和TFJob2处于互相等待对方释放资源，这种死锁情况造成了GPU资源的浪费。 亲和调度问题 分布式训练中，Ps和Worker存在很频繁的数据交互，所以Ps和Worker之间的带宽直接影响了训练的效率。
将原版本下线 v3承接v1版本所有流量后，即可删除v1版本，释放v1版本的资源。 在“灰度发布”页面，单击灰度任务“reviews-v3”。 在“监测灰度运行状态”页面中，当v3版本中的流量占比为100%时，表明v3已承接v1所有流量。单击v1版本后的“版本下线”。 确认无误后，输入“DELETE”，单击“确定”。
异构资源配置 GPU配置 GPU虚拟化：CCE GPU虚拟化采用自研xGPU虚拟化技术，能够动态对GPU设备显存与算力进行划分，单个GPU卡最多虚拟化成20个GPU虚拟设备。相对于静态分配来说，虚拟化的方案更加灵活，最大程度保证业务稳定的前提下，可以完全由用户自己定义使用的GPU量，提高
节点亲和的规则只能影响Pod和节点之间的亲和，Kubernetes还支持Pod和Pod之间的亲和，例如将应用的前端和后端部署在一起，从而减少访问延迟。Pod亲和同样有requiredDuringSchedulingIgnoredDuringExecution和preferredDur
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
