检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
常见的超参如下图所示： 图1 训练超参数 模型的超参通常可能调整的主要有学习率、batch size、并行切分策略、学习率warm-up、模型参数、FA配置等。用户在进行NPU精度和GPU精度比对前，需要保证两边的配置一致。
本文将演示在云容器实例中创建GPU类型的负载，以tensorflow的图像分类为示例，演示在容器中直接使用GPU训练一个简单的神经网络。
图1 netron中查看inputShape 精度选择。 精度选择需要在模型转换阶段进行配置，执行converter_lite命令时通过--configFile参数指定配置文件路径，配置文件通过precision_mode参数指定精度模式。
MindSpore Lite问题定位指南 在MindSpore Lite使用中遇到问题时，例如模型转换失败、训练后量化转换失败、模型推理失败、模型推理精度不理想、模型推理性能不理想、使用Visual Studio报错、使用Xcode构建APP报错等，您可以先查看日志信息进行定位分析
NVLink异常产生的XID，表明GPU硬件故障需要下线维修。 79 GPU has fallen off the bus。
如果您是自行选择安装的NVIDIA GPU驱动或更新过节点上的GPU驱动，请参考上图确认您安装的GPU驱动是否受该漏洞影响。 如何确认GPU节点的NVIDIA驱动版本 登录到您的GPU节点，执行如下命令，即可查看驱动版本。 [root@XXX36 bin]# .
GPU插件检查异常处理 检查项内容 检查到本次升级涉及GPU插件，可能影响新建GPU节点时GPU驱动的安装。 解决方案 由于当前GPU插件的驱动配置由您自行配置，需要您验证两者的兼容性。
CCE AI套件（NVIDIA GPU） 插件介绍 CCE AI套件（NVIDIA GPU）插件是支持在容器中使用GPU显卡的设备管理插件，集群中使用GPU节点时必须安装本插件。
父主题： 基于ModelArts Standard运行GPU训练作业
图1 精度调优流程 父主题： PyTorch迁移精度调优
具体示例如下： 由上图可见，torch.randn在GPU和NPU上固定随机种子后，仍然生成不同的随机张量。 对于上述场景，用户需要将网络中的randn在CPU上完成后再转到对应device。例如，StableDiffusion中需要在forward过程中逐步生成随机噪声。
图5 获取链接 相关链接 GPU插件及驱动相关问题的排查思路 工作负载异常：GPU相关 GPU调度 父主题： 插件管理
如下图所示，使用MindSpore Lite生成的图像和onnx模型的输出结果有明显的差异，因此需要对MindSpore Lite pipeline进行精度诊断。
如下图，可以看到GPU节点上的GPU利用率以及其他相关指标，更多GPU指标请参见可观测指标。 登录Grafana页面查看GPU信息 如您安装了Grafana，您可通过导入NVIDIA DCGM Exporter Dashboard来展示gpu的相关指标信息。
精度问题处理 设置高精度并重新转换模型 在转换模型时，默认采用的精度模式是fp16，如果转换得到的模型和标杆数据的精度差异比较大，可以使用fp32精度模式提升模型的精度（精度模式并不总是需要使用fp32，因为相对于fp16，fp32的性能较差。因此，通常只在检测到某个模型精度存在问题时
显存占用和GPU占用是两个不一样的东西，显卡是由GPU和显存等组成的，显存和GPU的关系有点类似于内存和CPU的关系。我跑caffe代码的时候显存占得少，GPU占得多，师弟跑TensorFlow代码的时候，显存占得多，GPU占得少。
GPU业务迁移至昇腾训练推理 ModelArts昇腾迁移调优工具总览 GPU训练业务迁移至昇腾的通用指导 基于AIGC模型的GPU推理业务迁移至昇腾指导 GPU推理业务迁移至昇腾的通用指导 基于advisor的昇腾训练性能自助调优指导 Dit模型Pytorch迁移与精度性能调优 msprobe
GPU实例故障自诊断 GPU实例故障，如果已安装GPU监控的CES Agent，当GPU服务器出现异常时则会产生事件通知，可以及时发现问题避免造成用户损失。如果没有安装CES Agent，只能依赖用户对故障的监控情况，发现故障后及时联系技术支持处理。
性能调优总体原则和思路 PyTorch在昇腾AI处理器的加速实现方式是以算子为粒度进行调用（OP-based），即通过Python与C++调用CANN层接口Ascend Computing Language（AscendCL）调用一个或几个亲和算子组合的形式，代替原有GPU的实现方式
Computing Toolkit\CUDA\v10.0下的lib，bin，include文件夹下） 5.下面添加cudnn的环境变量，先新建一个系统变量，如下图，然后在系统变量的path下进行编辑，新建如第二张图的两个解析路径。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
