检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Dit模型PyTorch迁移与精度性能调优 场景介绍及环境准备 训练迁移适配 精度对齐 性能调优 父主题： GPU业务迁移至昇腾训练推理
问题原因 健全性检查没有通过，GPU驱动程序不会使用或信任其内容（某些内容未被使用）。 问题影响 可能影响ECC相关非易失数据的记录，导致本该隔离的GPU内存页面继续使用。 处理方法 如果用户业务暂未受损，则无需处理。
如何查询显卡详细信息 查询指定显卡的详细信息 登录弹性云服务器。 执行以下命令，查询指定显卡的详细信息。 nvidia-smi –q –i ${显卡ID} 查询所有显卡的详细信息 登录弹性云服务器。 执行以下命令，所有显卡的详细信息。 nvidia-smi -q 执行结果示例如下：
如何收集驱动安装信息 收集驱动安装信息的方法如下： 登录弹性云服务器。 执行以下命令，检查是否禁用了nouveau驱动。 lsmod | grep nouveau 如果是驱动安装失败类问题，收集/var/log/nvidia-installer.log 驱动安装日志，并转储日志信息
GPU A系列裸金属服务器使用CUDA cudaGetDeviceCount()提示CUDA initializat失败 问题现象 在A系列GPU裸金属服务器上，系统环境是ubuntu20.04+nvidia515+cuda11.7，使用Pytorch2.0时出现如下错误： CUDA
如何获取显卡ID Linux操作系统获取显卡ID的方法如下： 登录弹性云服务器。 在任意路径下执行nvidia-smi命令。（CCE集群场景为/opt/cloud/cce/nvidia/bin目录下） Windows操作系统获取显卡ID的方法如下： 进入到C:\Program Files
长训Loss比对结果 在单卡环境下，执行一个Epoch训练任务，GPU和NPU训练叠加效果如下： 上图中的红色曲线为GPU Loss折线图，蓝色曲线为NPU训练Loss折线图。在整网训练单个Epoch情况下，Loss总体的绝对偏差大约为0.08181。 父主题： 精度对齐
基于advisor的昇腾训练性能自助调优指导 advisor调优总体步骤 创建诊断任务 查看诊断报告 父主题： GPU业务迁移至昇腾训练推理
如果使用NVIDIA Tesla T4 GPU（例如，Pi2或G6规格），请参见T4 GPU设备显示异常进行处理。 如果使用其他规格的GPU云服务器，执行下一步。 查看系统日志“/var/log/message”，是否存在驱动相关报错。
示例：从 0 到 1 制作自定义镜像并用于训练（MPI+CPU/GPU） 本章节介绍如何从0到1制作镜像，并使用该镜像在ModelArts平台上进行训练。镜像中使用的AI引擎是MPI，训练使用的资源是CPU或GPU。 本实践教程仅适用于新版训练作业。
原因分析 “nv_peer_mem”是一个Linux内核模块，它允许支持P2P(Peer-to-Peer)的NVIDIA GPU直接进行内存访问(DMA)。这意味着数据可以直接在多个GPU之间传输，而无需经过CPU或系统内存，这可以显著降低延迟并提高带宽。
GPU A系列裸金属服务器无法获取显卡如何解决 问题现象 在A系列裸金属服务器上使用PyTorch一段时间后，出现获取显卡失败的现象，报错如下： > torch.cuda.is_available() /usr/local/lib/python3.8/dist-packages/torch
GPU A系列裸金属服务器如何更换NVIDIA和CUDA？ 场景描述 当裸金属服务器预置的NVIDIA版本和业务需求不匹配时，需要更换NVIDIA驱动和CUDA版本。
父主题： GPU相关问题
GPU裸金属服务器使用EulerOS内核误升级如何解决 问题现象 GP Vnt1裸金属服务器，操作系统为EulerOS 2.9(基于CentOS制作的Linux发行版)，经常遇到服务器重启后，操作系统内核无故升级，导致系统上原安装的nvidia-driver等软件无法使用，只能卸载重新安装
示例：创建DDP分布式训练（PyTorch+GPU） 本文介绍三种使用训练作业来启动PyTorch DDP训练的方法及对应代码示例。
精度对齐 长训Loss比对结果 使用Msprobe工具分析偏差 Loss对齐结果 父主题： Dit模型PyTorch迁移与精度性能调优
如何查询NVIDIA的错误信息 查询NVDIA错误信息的方法如下： 登录弹性云服务器。 执行以下命令，查看是否存在error信息，保存回显结果。 dmesg | grep -i nvidia 也可过滤关键字后保存结果，例如：NVRM、nouveau、nvidia、nv字样等。 父主题
异构资源配置 GPU配置 GPU虚拟化：CCE GPU虚拟化采用自研xGPU虚拟化技术，能够动态对GPU设备显存与算力进行划分，单个GPU卡最多虚拟化成20个GPU虚拟设备。
图1 搜索NVIDIA驱动包（CentOS 7.4） 执行以下命令，安装NVIDIA GPU驱动。 sh ./NVIDIA-Linux-x86_64-xxx.yy.run 执行以下命令，删除安装包。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
