检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
示ERR！ 处理方法 如果当前用户业务正常，仅nvidia-smi执行后存在ERR!显示问题，无需处理。 如果当前业务已经受到影响，迁移虚拟机，再根据故障信息收集收集故障信息后联系技术支持处理。 父主题： 非硬件故障自恢复处理方法
格对应的显卡数量少。 如上图所示，执行nvidia-smi命令查询到7张显卡，实际该机型应有8张显卡。 判断方式 执行以下命令，显卡的数量与实际规格对应的显卡数量一致，且显卡在位状态正常（rev a1），请继续按照处理方法处理；如果查找不到显卡或者显示状态为rev ff，请根据显
dropping packet。 图1 系统日志 适用场景 本节操作适用于CentOS系统，且系统开启了主机防火墙，其他Linux系统可能存在差异。 约束与限制 本节操作涉及修改系统内核参数，在线修改内核参数会出现内核不稳定，建议修改后在合理的时间重启系统，请评估风险后操作。 根因分析 ipta
查询API版本信息列表（废弃） 功能介绍 返回Nova当前所有可用的版本。 为了支持功能不断扩展，Nova API支持版本号区分。Nova中有两种形式的版本号： "主版本号": 具有独立的url。 "微版本号": 通过Http请求头X-OpenStack-Nova-API-Version来使用，从
如何处理Nouveau驱动未禁用导致的问题 问题描述 Nouveau驱动未禁用可能导致Linux系统卡死、虚拟机无法远程登录等问题。一般常见于客户使用自己的私有镜像（从ECS普通虚拟机导出的镜像或其他来源的私有镜像）。 判断方式 执行以下命令，查看Linux内核环缓冲区中的错误关键字信息。
如何处理可恢复的Xid故障问题 问题原因 Xid 说明 13 Graphics Engine Exception，非硬件故障，可能是指令错误等。 31 GPU memory page fault，非硬件故障，可能访问了非法地址等。 43 GPU stopped processing，
-r 根据不同的系统在服务器中执行以下命令，查看安装驱动时的内核版本。 CentOS：find /usr/lib/modules -name nvidia.ko Ubuntu：find /lib/modules -name nvidia.ko 如果当前内核版本与安装驱动时的内核版本
如何处理ECC ERROR：存在待隔离页问题 问题描述 业务调度到某个GPU节点后，发现业务异常，调度到其他节点时正常。 某台虚拟机显存使用率突然降低。 判断方式 执行以下命令，查看显卡是否存在ecc error。 nvidia-smi 如果1的回显结果中volatile Uncorr
EIP资源绑定的服务器如果对外有攻击等安全违规行为，即被冻结状态，在控制台上显示为冻结（违规冻结）。被冻结的资源不可用，也不能修改、删除。若要解除冻结状态，请提交工单。 您可以参考更换弹性公网IP为实例更换EIP。 EIP绑定的实例涉嫌违规被冻结 EIP资源绑定的服务器涉嫌违规行为，
配置License。 如果用户已购买过License，但是未配置License，请参考GPU加速型实例安装GRID驱动配置License服务器与License文件。 父主题： 非硬件故障自恢复处理方法
如何处理驱动安装报错“Unable to load the kernel module 'nvidia.ko'” 问题原因 总线脱落。 内核版本不一致。 问题影响 显卡驱动安装失败，显卡无法使用。 处理方法 执行以下命令，查看内核版本，检查内核版本是否一致。 rpm -qa | grep
如何处理GPU散热异常，执行nvidia-smi命令发现温度过高 问题原因 显卡散热异常、风扇损坏。 问题影响 显卡温度过高，影响用户业务。 处理方法 执行nvidia-smi命令，查看风扇是否正常。 如果风扇转速为0，说明风扇可能存在损坏，用户停止业务，执行业务迁移后，根据故障
如何处理用户自行安装NVIDIA驱动、CUDA软件，安装过程出错问题 问题描述 用户使用不带驱动的公共镜像或私有镜像，自行安装NVIDIA驱动软件包、CUDA软件包，在安装过程中脚本执行报错。 判断方式 确认用户使用的镜像文件。 确认用户的NVIDIA软件包来源。 确认用户想要的
NetworkManager服务无法启动，报错：Failed to restart NetworkManager.service: Unit NetworkManager.service is masked 问题描述 NetworkManager启动时报错：Failed to restart
如果用户使用的是vGPU实例，确认实例安装的驱动与主机的驱动版本是否匹配。 登录实例所在主机。 执行nvidia-smi命令，查看驱动版本，并对照版本配套关系。 版本配套关系：https://docs.nvidia.com/grid/index.html 处理方法 重启GPU弹性云服务器。 若显示适配器恢复正常，则恢复完成。
如何处理GPU虚拟机故障，在message日志中发现存在Xid报错 问题原因 XID 说明 32 Invalid or corrupted push buffer stream，推送缓冲区流无效或损坏 74 NVLINK Error. NVLink异常产生的XID，表明GPU硬件故障需要下线维修。
found”。 判断方式 确认用户业务使用场景。 用户使用的镜像是否带驱动、是否已经自行安装驱动、驱动是否与使用场景匹配。 如果用户使用的是异构发布的公共镜像，可通过镜像名称区分驱动类型与驱动版本。镜像名称中如带有with tesla字样，则选择该镜像会安装tesla驱动；如带有with
如何处理ECC ERROR：执行nvidia-smi存在SRAM的ECC错误（V100显卡） 问题原因 显存可能某个地方存在异常。 问题影响 可能影响一个或多个GPU的相关应用程序。 处理方法 执行nvidia-smi命令查看显卡信息。 如果在volatile Uncorr. ECC下发现存在ecc
如何处理GPU掉卡，执行lspci | grep -i nvidia命令找不到显卡或显卡显示rev ff 问题原因 某种健全性检查没有通过，GPU驱动程序不会使用或信任其内容（某些内容未被使用）。 问题影响 可能影响ECC相关非易失数据的记录，从而导致本该隔离的GPU内存页面继续使用。
如何处理ECC ERROR：执行nvidia-smi -q存在double bit ecc error错误，并无待隔离页 问题原因 显存可能某个地方存在异常。 问题影响 可能影响一个或多个GPU的相关应用程序。 处理方法 执行nvidia-smi命令，查看显卡信息。 如果在volatile
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
