检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MindStudio-Insight提供时间线视图、内存、算子耗时、通信瓶颈分析等功能，借助于数据库支持超大性能数据处理，可以支持20GB的集群性能文件分析，并且能够支持大模型场景下的性能调优，相比于Chrometrace、tensorboard等工具提供了更优的功能和性能。
错误码说明 未检查到当前节点存在GPU设备 可能原因 GPU卡类型不匹配，当前IEF仅支持nvidia的GPU设备 GPU设备节点未检测到 处理措施 非nvidia的GPU卡。 安装IEF软件时，不使能GPU设备，或更换nvidia的GPU卡。 未检测到GPU设备。
v1.23 v1.25 适配OS Ubuntu22.04 GPU驱动目录自动挂载优化 1.2.24 v1.19 v1.21 v1.23 v1.25 节点池支持配置GPU驱动版本 支持GPU指标采集 1.2.20 v1.19 v1.21 v1.23 v1.25 设置插件别名为gpu
方法一： python /modelarts/tools/gpu_processes.py 如果当前进程使用GPU 如果当前没有进程使用GPU 方法二： 打开文件“/resource_info/gpu_usage.json”，可以看到有哪些进程在使用GPU。
msprof AOE 自动调优工具，提供子图调优和算子调优功能，在静态shape场景下有较好的调优效果。推荐在mindspore-lite离线推理场景下使用。 包含在cann toolkit中。
dmesg | grep -i xid 若检查项GPU节点上的XID异常为空，说明无XID消息。 若检查项GPU节点上的XID异常不为空，您可按照GPU实例故障分类列表自助诊断并解决问题，或联系技术支持人员获取帮助。 父主题： 故障信息收集
下面这张图能够很好说明GPU的内存模型
GPU插件关键参数检查异常处理 检查项内容 检查CCE GPU插件中部分配置是否被侵入式修改，被侵入式修改的插件可能导致升级失败。 解决方案 使用kubectl连接集群。 执行以下命令获取插件实例详情。
父主题： GPU相关问题
1、内核版本与驱动版本不兼容 安装驱动报错，如图所示： 在安装日志中（/var/log/nvidia-installer.log）看到驱动编译安装过程，由于内核中的某个函数报错，导致驱动编译安装失败；此为GPU驱动版本与特定Linux内核版本的兼容性问题。
使用创建时的用户名和密码无法SSH方式登录GPU加速云服务器 处理方法 先使用VNC方式远程登录弹性云服务器，并修改配置文件，然后再使用SSH方式登录。 进入弹性云服务器运行页面，单击“远程登录”。 自动跳转至登录页面，登录root用户，输入密码。
Ubuntu内核与GPU驱动兼容性提醒 检查项内容 检查到集群中同时使用GPU插件和Ubuntu节点，提醒客户存在可能的兼容性问题。当Ubuntu内核版本在5.15.0-113-generic上时，GPU插件必须使用535.161.08及以上的驱动版本。
GPU专为图像处理设计，存储系统实际上是一个二维的分段存储空间，包括一个区段号（从中读取图像）和二维地址（图像中的X、Y坐标）。GPU采用了数量众多的计算单元和超长的流水线，但只有非常简单的控制逻辑并省去了Cache缓存。
=0,1,2,3 python xxx.py来设置该程序可见的gpu 2.
pip install gputil import GPUtil as GPU GPU.showUtilization() import GPUtil as GPU GPUs = GPU.getGPUs() for gpu in GPUs: print("GPU RAM Free
非硬件故障自恢复处理方法 如何处理Nouveau驱动未禁用导致的问题 如何处理ECC ERROR：存在待隔离页问题 如何处理升级内核后，驱动不可用问题 如何处理GPU掉卡问题 如何处理显卡ERR！
pytorch 同步gpu import torch a = torch.tensor([[1, 2, 3],[4, 5, 6]]) b = torch.tensor([[2, 2, 2], [3, 3, 3], [3, 3, 3
资源准备 在集群中添加GPU节点 登录CCE控制台，单击已创建的集群，进入集群控制台。 安装GPU插件。 在左侧导航栏中选择“插件管理”，在右侧找到gpu-beta（或gpu-device-plugin），单击“安装”。 在安装插件页面，设置插件关键参数。
命令，将信息收集到信息文件diagnose_gpu_xxxxx.tar.gz进行自排查或工单联系技术支持。
在linux+GPU的环境下训练VGG16，CPU模式下运行正常，GPU提示如下错误代码============== Starting Training ==============[WARNING] PRE_ACT(20601,python):2021-04-25-10:57:45.151.017
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
