检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 使用GPTQ量化 使用llm-compressor工具量化 父主题： 主流开源大模型基于Lite Server适配PyTorch NPU推理指导（6.3.911）
主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导（6.3.911） 推理场景介绍 准备工作 部署推理服务 推理性能测试 推理精度测试 推理模型量化 Eagle投机小模型训练 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录：大模型推理常见问题
主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.911） 场景介绍 准备工作 在Notebook调试环境中部署推理服务 在推理生产环境中部署推理服务 推理精度测试 推理性能测试 推理模型量化 Eagle投机小模型训练 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明
历史待下线案例 使用AI Gallery的订阅算法实现花卉识别 使用ModelArts PyCharm插件调试训练ResNet50图像分类模型 示例：从 0 到 1 制作自定义镜像并用于训练（Pytorch+CPU/GPU） 示例：从 0 到 1 制作自定义镜像并用于训练（MPI+
精度对齐 长训Loss比对结果 使用Msprobe工具分析偏差 Loss对齐结果 父主题： Dit模型Pytorch迁移与精度性能调优
性能调优 Profiling数据采集 使用Advisor工具分析生成调优建议 调优前后性能对比 父主题： Dit模型Pytorch迁移与精度性能调优
数字人模型训练推理 Wav2Lip推理基于DevServer适配PyTorch NPU推理指导（6.3.907） Wav2Lip训练基于DevServer适配PyTorch NPU训练指导（6.3.907）
Standard开发环境 将Notebook的Conda环境迁移到SFS磁盘 使用ModelArts VSCode插件调试训练ResNet50图像分类模型
Standard权限管理 ModelArts权限管理基本概念 权限控制方式 典型场景配置实践 FAQ
GPU推理业务迁移至昇腾的通用指导 简介 昇腾迁移快速入门案例 迁移评估 环境准备 模型适配 精度校验 性能调优 迁移过程使用工具概览 常见问题 推理业务迁移评估表 父主题： GPU业务迁移至昇腾训练推理
文生图模型训练推理 FlUX.1基于DevServer适配PyTorch NPU推理指导（6.3.912） FLUX.1基于DevSever适配PyTorch NPU Fintune&Lora训练指导（6.3.911） Hunyuan-DiT基于DevServer部署适配PyTorch
内容审核模型训练推理 Bert基于DevServer适配MindSpore Lite推理指导(6.3.910) Yolov8基于DevServer适配MindSpore Lite推理指导（6.3.909） Paraformer基于DevServer适配PyTorch NPU推理指导
PyTorch迁移精度调优 精度问题概述 精度调优总体思路 精度调优前准备工作 msprobe精度分析工具使用指导 父主题： GPU训练业务迁移至昇腾的通用指导
msprobe工具使用指导 msprobe API预检 msprobe精度比对 msprobe梯度监控 父主题： GPU业务迁移至昇腾训练推理
执行训练任务 执行训练任务（推荐） 执行训练任务（历史版本） 父主题： 主流开源大模型基于Standard+OBS适配ModelLink PyTorch NPU训练指导（6.3.912）
常见错误原因和解决方法 显存溢出错误 网卡名称错误 主流开源大模型基于Standard+OBS适配ModelLink PyTorch NPU训练指导（6.3.912） mc2融合算子报错 父主题： 主流开源大模型基于Lite Cluster适配ModelLink PyTorch NPU
PyTorch迁移性能调优 性能调优总体原则和思路 MA-Advisor性能调优建议工具使用指导 MindStudio-Insight性能可视化工具使用指导 父主题： GPU训练业务迁移至昇腾的通用指导
推理模型量化 使用AWQ量化工具转换权重 使用SmoothQuant量化工具转换权重 使用kv-cache-int8量化 使用GPTQ量化 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.911）
主流开源大模型基于Lite Server适配Ascend-vLLM PyTorch NPU推理指导（6.3.912） Ascend-vLLM介绍 支持的模型列表 版本说明和要求 推理服务部署 推理关键特性使用 推理服务精度评测 推理服务性能评测 附录 父主题： LLM大语言模型训练推理
分离部署 PD分离部署使用说明 父主题： 推理关键特性使用
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
