检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
分离部署 PD分离部署使用说明 PD分离部署性能调优理论基础 PD分离部署手动配比调优（推荐） PD分离部署自动配比调优 PD分离性能调优工具使用说明 父主题： 推理关键特性使用
投机推理 投机推理使用说明 Eagle投机小模型训练 父主题： 推理关键特性使用
SFT全参微调 SFT全参微调数据处理 SFT全参微调权重转换 SFT全参微调超参配置 SFT全参微调任务 父主题： Baichuan2-13B模型基于DevServer适配PyTorch NPU训练指导（6.3.904）
GLM3-6B模型基于DevServer适配PyTorch NPU训练指导（6.3.904） 场景介绍 准备工作 预训练 SFT全参微调训练 LoRA微调训练 推理前的权重合并转换 父主题： LLM大语言模型训练推理
训练评测 工具介绍及准备工作 训练性能测试 训练精度测试 父主题： 主流开源大模型基于Lite Server适配ModelLink PyTorch NPU训练指导（6.5.901）
推理关键特性使用 量化 剪枝 分离部署 Prefix Caching multi-step 投机推理 图模式 多模态 Chunked Prefill multi-lora guided-decoding 父主题： 主流开源大模型基于Lite Server适配Ascend-vLLM
主流开源大模型基于Lite Server适配ModelLink PyTorch NPU训练指导（6.5.901） 场景介绍 准备工作 执行训练任务 查看日志和性能 训练评测 训练脚本说明参考 常见错误原因和解决方法 父主题： LLM大语言模型训练推理
常见错误原因和解决方法 显存溢出错误 网卡名称错误 工作负载Pod异常 mc2融合算子报错 父主题： 主流开源大模型基于Lite Cluster适配ModelLink PyTorch NPU训练指导（6.5.901）
主流开源大模型基于Lite Server适配LlamaFactory PyTorch NPU训练指导（6.5.901） 场景介绍 准备工作 执行训练任务 查看日志和性能 训练benchmark工具 训练脚本说明 附录：训练常见问题 父主题： LLM大语言模型训练推理
附录 各模型支持的最小卡数和最大序列 Ascend-vLLM推理常见问题 父主题： 主流开源大模型基于Lite Server适配Ascend-vLLM PyTorch NPU推理指导（6.5.901）
主流开源大模型基于Lite Cluster适配ModelLink PyTorch NPU训练指导（6.5.901） 场景介绍 准备工作 训练任务 查看日志和性能 训练脚本说明参考 常见错误原因和解决方法 父主题： LLM大语言模型训练推理
常见错误原因和解决方法 显存溢出错误 网卡名称错误 mc2融合算子报错 父主题： 主流开源大模型基于Standard+OBS适配ModelLink PyTorch NPU训练指导（6.5.901）
推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 使用GPTQ量化 父主题： 主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导（6.3.911）
推理关键特性使用 量化 剪枝 分离部署 Prefix Caching multi-step 投机推理 图模式 多模态 Chunked Prefill multi-lora guided-decoding 父主题： 主流开源大模型基于Lite Server适配Ascend-vLLM
推理服务性能评测 语言模型推理性能测试 多模态模型推理性能测试 父主题： 主流开源大模型基于Lite Server适配Ascend-vLLM PyTorch NPU推理指导（6.3.912）
主流开源大模型基于Lite Server适配ModelLink PyTorch NPU训练指导（6.3.908） 场景介绍 准备工作 执行预训练任务 执行SFT全参微调训练任务 执行LoRA微调训练任务 查看日志和性能 训练脚本说明参考 常见错误原因和解决方法 父主题： LLM大语言模型训练推理
训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练的权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于Standard+OBS+SFS适配ModelLink PyTorch NPU训练指导（6.3.908）
训练脚本说明参考 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练中的权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于Lite Server适配ModelLink PyTorch NPU训练指导（6.3.908）
训练脚本说明 Yaml配置文件参数配置说明 模型NPU卡数、梯度累积值取值表 各个模型训练前文件替换 NPU_Flash_Attn融合算子约束 录制Profiling 父主题： 主流开源大模型基于Lite Server适配LlamaFactory PyTorch NPU训练指导（6
主流开源大模型基于Standard+OBS+SFS适配ModelLink PyTorch NPU训练指导（6.3.908） 场景介绍 准备工作 预训练 SFT全参微调训练 LoRA微调训练 查看日志和性能 训练脚本说明 常见错误原因和解决方法 父主题： LLM大语言模型训练推理
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
