检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
实践，并对于实际的操作原理和迁移流程进行说明，包含迁移后的精度和性能验证、调试方法说明。 核心概念 推理业务昇腾迁移整体流程及工具链 图1 推理业务昇腾迁移整体路径 推理业务昇腾迁移整体分为七个大的步骤，并以完整工具链覆盖全链路： 迁移评估：针对迁移可行性、工作量，以及可能的性能收益进行大致的预估。
的随机性，在使用上述方法固定随机性后，如果使用工具也未能找到出问题的API，需要分析是否由算法本身的随机性导致。 父主题： PyTorch迁移精度调优
超参数为use-flash-attn，决定训练过程中的Attention模块是否使用融合flash attention算子（性能较优）或者使用小算子。 训练脚本 由算法迁移人员排查迁移后的NPU脚本是否存在问题，可以通过Beyond Compare工具比对GPU训练脚本和NPU训练脚本之间是否存在差异。例如是否GP
GPU训练业务迁移至昇腾的通用指导 训练业务迁移到昇腾设备场景介绍 训练迁移快速入门案例 PyTorch迁移精度调优 PyTorch迁移性能调优 训练网络迁移总结 父主题： GPU业务迁移至昇腾训练推理
GPU推理业务迁移至昇腾的通用指导 简介 昇腾迁移快速入门案例 迁移评估 环境准备 模型适配 精度校验 性能调优 迁移过程使用工具概览 常见问题 推理业务迁移评估表 父主题： GPU业务迁移至昇腾训练推理
环境准备 迁移环境简介 ModelArts开发环境针对推理昇腾迁移的场景提供了云上可以直接访问的开发环境，具有如下优点： 利用云服务的资源使用便利性，可以直接使用到不同规格的昇腾设备。 通过指定对应的运行镜像，可以直接使用预置的、在迁移过程中所需的工具集，且已经适配到最新的版本可以直接使用。
MA-Advisor性能调优建议工具使用指导 MA-Advisor是一款迁移性能问题自动诊断工具，其集成了昇腾自动诊断工具msprof-analyze，并在ModelArts Standard的Jupyter lab平台进行了插件化，能快速分析和诊断昇腾场景下PyTorch性能劣化问题并给出相关调优建议。
Dit模型PyTorch迁移与精度性能调优 场景介绍及环境准备 训练迁移适配 精度对齐 性能调优 父主题： GPU业务迁移至昇腾训练推理
board等工具提供了更优的功能和性能。 更多详细信息，请参见昇腾MindStudio-Insight用户指南。 父主题： PyTorch迁移性能调优
基于AIGC模型的GPU推理业务迁移至昇腾指导 场景介绍 迁移环境准备 pipeline应用准备 应用迁移 迁移效果校验 模型精度调优 性能调优 常见问题 父主题： GPU业务迁移至昇腾训练推理
模型适配 基于MindSpore Lite的模型转换 动态shape 父主题： GPU推理业务迁移至昇腾的通用指导
ers img2img onnx pipeline为示例来讲解如何进行离线推理模式下的昇腾迁移。迁移的整体流程如下图所示： 图1 迁移流程图 父主题： 基于AIGC模型的GPU推理业务迁移至昇腾指导
日志提示Compile graph failed 日志提示Custom op has no reg_op_name attr 父主题： GPU推理业务迁移至昇腾的通用指导
精度校验 转换模型后执行推理前，可以使用benchmark工具对MindSpore Lite云侧推理模型进行基准测试。它不仅可以对MindSpore Lite云侧推理模型前向推理执行耗时进行定量分析（性能），还可以通过指定模型输出进行可对比的误差分析（精度）。 精度测试 benc
请参考OBS服务端错误码或者采集request id后向OBS客服进行咨询。 如果是空间不足。 参考 常见的磁盘空间不足的问题和解决办法章节处理。 父主题： 云上迁移适配故障
精度对齐 长训Loss比对结果 使用Msprobe工具分析偏差 Loss对齐结果 父主题： Dit模型PyTorch迁移与精度性能调优
pipeline应用准备 当前迁移路径是从ONNX模型转换到MindIR模型，再用MindSpore Lite做推理， 所以迁移前需要用户先准备好自己的ONNX pipeline。下文以官方开源的图生图的Stable Diffusion v1.5的onnx pipeline代码为例进行说明。
DiT-XL/2模型实现了2.27的FID值。 下文以Dit模型为例，介绍如何在昇腾设备上如何进行模型迁移，精度及性能调优。 环境准备 迁移环境准备有以下两种方式： 表1 迁移环境准备方式 方式 说明 ModelArts Notebook 该环境为在线调试环境，主要面向演示、体验和快速原型调试场景。
性能调优 Profiling数据采集 使用Advisor工具分析生成调优建议 调优前后性能对比 父主题： Dit模型PyTorch迁移与精度性能调优
--optimize=ascend_oriented 自动高性能算子生成工具AKG更多介绍可参考图算融合配置说明和MindSpore AKG。 父主题： GPU推理业务迁移至昇腾的通用指导
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
