检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
GPU相关问题 日志提示"No CUDA-capable device is detected" 日志提示“RuntimeError: connect() timed out” 日志提示“cuda runtime error (10) : invalid device ordinal
基于AIGC模型的GPU推理业务迁移至昇腾指导 场景介绍 迁移环境准备 pipeline应用准备 应用迁移 迁移效果校验 模型精度调优 性能调优 常见问题 父主题： GPU业务迁移至昇腾训练推理
GPU训练业务迁移至昇腾的通用指导 训练业务迁移到昇腾设备场景介绍 训练迁移快速入门案例 PyTorch迁移精度调优 PyTorch迁移性能调优 训练网络迁移总结 父主题： GPU业务迁移至昇腾训练推理
GPU推理业务迁移至昇腾的通用指导 简介 昇腾迁移快速入门案例 迁移评估 环境准备 模型适配 精度校验 性能调优 迁移过程使用工具概览 常见问题 推理业务迁移评估表 父主题： GPU业务迁移至昇腾训练推理
到GPU。 处理方法 根据报错提示，请您排查代码，是否已添加以下配置，设置该程序可见的GPU： os.environ['CUDA_VISIBLE_DEVICES'] = '0,1,2,3,4,5,6,7' 其中，0为服务器的GPU编号，可以为0，1，2，3等，表明对程序可见的GP
性能调优 单模型性能测试工具Mindspore lite benchmark 单模型性能调优AOE 父主题： 基于AIGC模型的GPU推理业务迁移至昇腾指导
模型精度调优 场景介绍 精度问题诊断 精度问题处理 父主题： 基于AIGC模型的GPU推理业务迁移至昇腾指导
2个推理模型使用TensorRT框架，5个使用Triton框架。 通过stable-diffusion的WebUI提供AIGC推理服务。 - GPU卡的类型 Vnt1/Ant1/Ant03/Tnt004等。 例如： 20卡Ant1，运行Bert Large推理。 10卡Tnt004运行YOLOv5。
ModelArts开发环境 ModelArts作为华为云上的AI开发平台，提供交互式云上开发环境，包含标准化昇腾算力资源和完整的迁移工具链，帮助用户完成昇腾迁移的调测过程，进一步可在平台上将迁移的模型一键部署成为在线服务向外提供推理服务，或者运行到自己的运行环境中。 MindSpore Lite 华为自
2个推理模型使用TensorRT框架，5个使用Triton框架。 通过stable-diffusion的WebUI提供AIGC推理服务。 - GPU卡的类型 Vnt1/Ant1/Ant03/Tnt004等。 例如： 20卡Ant1，运行Bert Large推理。 10卡Tnt004运行YOLOv5。
训练网络迁移总结 确保算法在GPU训练时，持续稳定可收敛。避免在迁移过程中排查可能的算法问题，并且要有好的对比标杆。如果是NPU上全新开发的网络，请参考PyTorch迁移精度调优排查溢出和精度问题。 理解GPU和NPU的构造以及运行的差别，有助于在迁移过程中分析问题并发挥NPU的
动态shape 在某些推理场景中，模型输入的shape可能是不固定的，因此需要支持用户指定模型的动态shape，并能够在推理中接收多种shape的输入。在CPU上进行模型转换时无需考虑动态shape问题，因为CPU算子支持动态shape；而在Ascend场景上，算子需要指定具体的
DevServer 开通裸金属服务器资源请见DevServer资源开通，在裸金属服务器上搭建迁移环境请见裸金属服务器环境配置指导。 父主题： GPU推理业务迁移至昇腾的通用指导
模型适配 基于MindSpore Lite的模型转换 动态shape 父主题： GPU推理业务迁移至昇腾的通用指导
在NPU设备上。 当前提供了自动迁移工具进行GPU到昇腾适配，原理是通过monkey-patch的方式将torch下的CUDA、nccl等操作映射为NPU和hccl对应的操作。如果没有用到GPU的高阶能力，例如自定义算子、直接操作GPU显存等操作，简单场景下可以直接使用自动迁移。
wikipedia、diffusers github、Stable Diffusion with diffusers。 推理业务迁移到昇腾的通用流程，可参考GPU推理业务迁移至昇腾的通用指导。 由于Huggingface网站的限制，访问Stable Diffusion链接时需使用代理服务器，否则可能无法访问网站。
日志提示Compile graph failed 日志提示Custom op has no reg_op_name attr 父主题： GPU推理业务迁移至昇腾的通用指导
为了简化用户使用，ModelArts提供了Tailor工具便于用户进行Benchmark精度测试，具体使用方式参考Tailor指导文档。 父主题： GPU推理业务迁移至昇腾的通用指导
迁移环境准备 迁移环境准备有以下两种方式： 表1 方式说明 序号 名称 说明 方式一 ModelArts Notebook 该环境为在线调试环境，主要面向演示、体验和快速原型调试场景。 优点：可快速、低成本地搭建环境，使用标准化容器镜像，官方Notebook示例可直接运行。 缺点
应用迁移 模型适配 pipeline代码适配 父主题： 基于AIGC模型的GPU推理业务迁移至昇腾指导
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
