检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开启自定义驱动开关并选择需要的驱动版本即可。 方式二:通过驱动升级功能对已有的资源池驱动版本进行升级 如果在购买资源池时,没配置自定义驱动,默认驱动不满足业务要求,可通过驱动升级功能将驱动升级到指定版本。驱动升级功能介绍可参考升级Lite Cluster资源池驱动。
图1 下载驱动 参考如下Dockerfile中,以在容器镜像中安装infiniband驱动。
滚动驱动升级时,驱动异常的节点对升级无影响,会和驱动正常的节点一起升级。 图1 驱动升级 设置完成后,单击“确定”开始驱动升级。 父主题: 管理Standard专属资源池
Cann软件与Ascend驱动版本不匹配 问题现象 训练失败并提示“Cann软件与Ascend驱动版本不匹配”。 原因分析 当昇腾规格的训练作业在ModelArts训练平台上运行时,会自动对Cann软件与Ascend驱动的版本匹配情况进行检查。
滚动驱动升级时,驱动异常的节点对升级无影响,会和驱动正常的节点一起升级。 图1 驱动升级 选择完成后,单击“确定”开始升级驱动。 父主题: Lite Cluster资源管理
进入资源池详情页,在节点管理页面,选择需要进行驱动升级的节点,单击操作列的“更多 > 驱动升级”。 在“驱动升级”弹窗中,会显示当前专属资源池节点的名称ID、规格和驱动版本号,选择节点待升级的“升级版本”。 单击“确定”,开始升级单个节点的驱动。
不同实例的资源池安装的cuda和驱动版本号分别是什么? 专属资源池的cuda和驱动版本是可以根据用户的要求安装。如果需要调整,需提工单。 父主题: Standard资源池
GPU裸金属服务器更换NVIDIA驱动后执行nvidia-smi提示Failed to initialize NVML 问题现象 华为云裸金属服务器,NVIDIA驱动卸载后重新安装。
安装NVIDIA驱动。
如下图显示Ascend驱动为7.1.0.7.220-23.0.5,表示固件版本为7.1.0.7.220,驱动版本为23.0.5。
如下图显示Ascend驱动为7.1.0.7.220-23.0.5,表示固件版本为7.1.0.7.220,驱动版本为23.0.5。
如下图显示Ascend驱动为7.1.0.7.220-23.0.5,表示固件版本为7.1.0.7.220,驱动版本为23.0.5。
如下图显示Ascend驱动为7.1.0.7.220-23.0.5,表示固件版本为7.1.0.7.220,驱动版本为23.0.5。
前提条件 GPU A系列裸金属服务器已经安装了IB驱动。(网卡设备名称可以使用ibstatus或者ibstat获取。华为云Ant8裸金属服务器使用Ubuntu20.04操作系统默认已经安装IB驱动。)
当专属资源池中的节点含有GPU/Ascend资源时,用户基于自己的业务,可能会有自定义GPU/Ascend驱动的需求,ModelArts面向此类客户提供了自助升级专属资源池GPU/Ascend驱动的能力,具体操作请参见资源池驱动升级。 父主题: FAQ
在Linux系统上安装NVIDIA显卡驱动后,需要通过“nvidia-modprobe”命令来加载相应的内核模块,以便让显卡驱动正常工作。 通常情况下,在安装NVIDIA驱动时,会自动执行“nvidia-modprobe”命令,将必要的内核模块加载到系统中。
在安装nvidia驱动时,必须把内核中加载nvidia相关的进程卸载,否则会失败。具体操作请参考卸载nvidia驱动。 若遇到加载到内核的nvidia进程循环依赖,无法从内核中卸载nvidia,此时执行reboot命令重启服务器即可。
优点:支持深度自定义环境安装,可以方便的替换驱动、固件和上层开发包,具有root权限,结合配置指导、初始化工具及容器镜像可以快速搭建昇腾开发环境。 缺点:资源申请周期长,购买成本高,管理视角下资源使用效率较低。
适配的CANN版本是cann_8.0.rc2,驱动版本是23.0.5。 约束限制 如果要使用自动重启功能,资源规格必须选择八卡规格,只有llama3-8B/70B支持该功能。 本案例仅支持在专属资源池上运行。 支持的模型列表 本方案支持以下模型的训练,如表1所示。
适配的CANN版本是cann_8.0.rc2,驱动版本是23.0.5。 本文档适用于仅使用OBS对象存储服务(Object Storage Service)作为存储的方案,OBS用于存储模型文件、训练数据、代码、日志等,提供了高可靠性的数据存储解决方案。