检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图3 Stable Diffusion模型迁移到Ascend上进行推理 父主题： GPU推理业务迁移至昇腾的通用指导
对比图片生成效果 在CPU上推理onnx，将原始onnx和适配完成的MindSpore Lite pipeline输出的结果图片进行对比，在这里保证输入图片及文本提示词一致。如果差异较为明显可以进行模型精度调优。
配置好的容器环境如下图所示： 图1 环境配置完成 父主题： 基于AIGC模型的GPU推理业务迁移至昇腾指导
请将完整的SWR地址复制到这里即可，或单击可直接从SWR选择自有镜像进行注册，类型加上“GPU”，如图1所示。 图1 注册镜像 登录ModelArts管理控制台，在左侧导航栏中选择“开发空间 > Notebook”，进入“Notebook”列表页面。
PyTorch迁移性能调优 性能调优总体原则和思路 MA-Advisor性能调优建议工具使用指导 MindStudio-Insight性能可视化工具使用指导 父主题： GPU训练业务迁移至昇腾的通用指导
lspci -d 10de: 图1 安装结果 如果安装完lspci后，安装结果显示命令不存在，可通过重启云服务器来解决。 父主题： 其他插件安装说明
父主题： 基于ModelArts Standard运行GPU训练作业
输出的结果图片 父主题： 应用迁移
父主题： GPU推理业务迁移至昇腾的通用指导
请将完整的SWR地址复制到这里即可，或单击可直接从SWR选择自有镜像进行注册，类型加上“GPU”，如图1所示。 图1 注册镜像 登录ModelArts管理控制台，在左侧导航栏中选择“开发空间 > Notebook”，进入“Notebook”列表页面。
当用户将大语言模型或者其他类型深度神经网络的训练从GPU迁移到昇腾AI处理器时，可能出现以下不同现象的模型精度问题。一般包括： Loss曲线与CPU/GPU差异不符合预期。 验证准确度与CPU/GPU差异不符合预期。
迁移流程 模型迁移主要指将开源社区中实现过的模型或客户自研模型迁移到昇腾AI处理器上，需要保证模型已经在CPU/GPU上运行成功。迁移到昇腾AI处理器的主要流程如下图所示。 图1 迁移流程 父主题： GPU训练业务迁移至昇腾的通用指导
安装并配置GPU驱动 背景信息 对于使用GPU的边缘节点，在纳管边缘节点前，需要安装并配置GPU驱动。 IEF当前支持Nvidia Tesla系列P4、P40、T4等型号GPU，支持CUDA Toolkit 8.0至10.0版本对应的驱动。 操作步骤 安装GPU驱动。
安装并配置GPU驱动 背景信息 对于使用GPU的边缘节点，在纳管边缘节点前，需要安装并配置GPU驱动。 IEF当前支持Nvidia Tesla系列P4、P40、T4等型号GPU，支持CUDA Toolkit 8.0至10.0版本对应的驱动。 操作步骤 安装GPU驱动。
图2 生成图片 父主题： 基于AIGC模型的GPU推理业务迁移至昇腾指导
GPU插件检查异常处理 检查项内容 检查到本次升级涉及GPU插件，可能影响新建GPU节点时GPU驱动的安装。 解决方案 由于当前GPU插件的驱动配置由您自行配置，需要您验证两者的兼容性。
CCE AI套件（NVIDIA GPU） 插件介绍 CCE AI套件（NVIDIA GPU）插件是支持在容器中使用GPU显卡的设备管理插件，集群中使用GPU节点时必须安装本插件。
图5 获取链接 相关链接 GPU插件及驱动相关问题的排查思路 工作负载异常：GPU相关 GPU调度 父主题： 插件管理
python parse_models_shape.py 可以看到获取的shape信息如下图所示。 图1 shape信息 PyTorch模型转换为Onnx模型（可选） 获取onnx模型有以下两种方式。下文介绍如何通过方式一进行操作。如果采用方式二，可以跳过此步骤。
精度问题诊断 逐个替换模型，检测有问题的模型 该方式主要是通过模型替换，先定位出具体哪个模型引入的误差，进一步诊断具体的模型中哪个算子或者操作导致效果问题，模型替换原理如下图所示。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
