正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
您可以使用nvidia-smi命令查看的节点上驱动信息,确定Nvidia驱动与CUDA Toolkit版本的配套关系,如下图,驱动版本为470.141.03, 对应支持的CUDA Toolkit最大版本为11.4。
GPU节点驱动版本 选择GPU节点驱动版本 CCE推荐的GPU驱动版本列表 手动更新GPU节点驱动版本 通过节点池升级节点的GPU驱动版本 父主题: GPU调度
操作步骤 如果您需要使用指定的NVIDIA驱动版本,可以在节点安装新版本GPU驱动,操作步骤如下: 对节点下线,并将节点上的负载进行手动驱逐,结束所有程序对GPU卡的使用。
通过节点池升级存量节点的NVIDIA驱动,本质上是在重启节点的过程中重新安装驱动,因此请务必在升级驱动前确认节点上不存在正在运行的任务。 步骤一:指定节点池驱动版本 登录节点查看节点上实际的驱动,驱动版本为510.47.03。
CCE推荐的GPU驱动版本列表 对于CCE集群,各系统推荐使用驱动版本如下表,若使用非CCE推荐驱动版本,需要您自行验证机型、系统及驱动版本间的配套兼容性。
到插件运行所在的节点上,查看驱动的安装日志,路径如下所示: /opt/cloud/cce/nvidia/nvidia_installer.log 查看nvidia容器标准输出日志: 过滤容器id docker ps –a | grep nvidia 查看日志 docker logs
如果您是自行选择安装的NVIDIA GPU驱动或更新过节点上的GPU驱动,请参考上图确认您安装的GPU驱动是否受该漏洞影响。 如何确认GPU节点的NVIDIA驱动版本 登录到您的GPU节点,执行如下命令,即可查看驱动版本。 [root@XXX36 bin]# .
Ubuntu内核与GPU驱动兼容性提醒 检查项内容 检查到集群中同时使用GPU插件和Ubuntu节点,提醒客户存在可能的兼容性问题。当Ubuntu内核版本在5.15.0-113-generic上时,GPU插件必须使用535.161.08及以上的驱动版本。
集群中需要安装GPU插件,且安装时注意要选择节点上GPU型号对应的驱动,具体请参见CCE AI套件(NVIDIA GPU)。
获取驱动链接方法请参考获取驱动链接-公网地址。 若下载链接为OBS上的链接,无需绑定EIP 。获取驱动链接方法请参考获取驱动链接-OBS地址。 请确保Nvidia驱动版本与GPU节点适配。配套关系请参见GPU驱动支持列表。 更改驱动版本后,需要重启节点才能生效。
Nvidia驱动:填写Nvidia驱动的下载链接,请根据GPU节点的显卡型号选择驱动。 其余参数可保持默认,详情请参见gpu-beta(gpu-device-plugin)。 单击“安装”,安装插件的任务即可提交成功。 创建GPU节点。
单击该插件的“升级”按钮,查看插件目标版本及驱动版本。 在测试环境验证安装升级目标版本的GPU插件,并配置当前GPU驱动后,测试创建节点是否正常使用。 如果两者不兼容,您可以尝试替换高版本驱动。如有需要,请联系技术支持人员。 父主题: 升级前检查异常问题排查
CCE部署使用Tensorflow 资源准备 购买CCE集群,购买GPU节点并使用gpu-beta插件安装显卡驱动。 在集群下添加一个对象存储卷。 数据预置 从https://github.com/zalandoresearch/fashion-mnist下载数据。
解答 方案1: 建议您将集群中GPU节点的不可调度的污点去掉,以便GPU插件驱动能够正常安装,同时您需要安装高版本的GPU驱动。 如果您的集群中有非GPU的容器,可以通过亲和、反亲和策略将这个容器不调度到GPU节点上。
CCE容器存储(Flexvolume,已废弃) 插件简介 CCE容器存储(FlexVolume),即storage-driver,是一款云存储驱动插件,北向遵循标准容器平台存储驱动接口。
图1 提交机制的工作原理 在CCE上运行SparkPi例子 在执行Spark的机器上安装kubectl,详情请参见通过kubectl连接集群。 kubectl安装成功后,执行如下命令授予集群权限。
本文介绍如何在GPU节点上实现GPU的调度和隔离能力。
开启驱动选择后,NPU插件启动时将自动根据对应机型的驱动配置安装驱动,驱动维护更灵活。推荐使用默认的驱动版本,您也可以选择“自定义驱动”并填写完整的驱动地址。
由于GPU厂商的驱动程序,本身就会占用一定量的物理显存,量级在300MB左右,这属于正常现象。例如Tesla T4配套510.47.03,驱动程序默认会占用280MiB;而该显存占用与厂商的驱动程序版本也有一定相关性,例如535系列驱动比470系列占用更多。
资源变更与弃用 社区1.19 ReleaseNotes 增加对vSphere in-tree卷迁移至vSphere CSI驱动的支持。in-tree vSphere Volume插件将不再使用,并在将来的版本中删除。