检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 父主题： 主流开源大模型基于Lite Server适配PyTorch NPU推理指导（6.3.906）
准备工作 准备环境 准备代码 准备镜像 父主题： 主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导（6.3.911）
准备工作 准备环境 准备代码 准备镜像环境 DockerFile构建镜像（可选） 准备数据（可选） 父主题： 主流开源大模型基于Lite Server适配LlamaFactory PyTorch NPU训练指导（6.3.910）
推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 使用GPTQ量化 父主题： 主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导（6.3.910）
推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 使用GPTQ量化 父主题： 主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导（6.3.911）
准备工作 准备环境 准备代码 准备数据 准备镜像 父主题： 主流开源大模型基于Lite Server适配PyTorch NPU训练指导（6.3.905）
部署推理服务 非分离部署推理服务 分离部署推理服务 父主题： 主流开源大模型基于Lite Server适配PyTorch NPU推理指导（6.3.909）
使用SmoothQuant量化 使用kv-cache-int8量化 使用GPTQ量化 使用llm-compressor工具量化 父主题： 主流开源大模型基于Lite Server适配PyTorch NPU推理指导（6.3.909）
训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练中的权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于Lite Cluster适配ModelLink PyTorch NPU训练指导（6.3.909）
训练脚本说明 yaml配置文件参数配置说明 各个模型深度学习训练加速框架的选择 模型NPU卡数取值表 各个模型训练前文件替换 父主题： 主流开源大模型基于Lite Server适配LlamaFactory PyTorch NPU训练指导（6.3.907）
模型NPU卡数、梯度累积值取值表 各个模型训练前文件替换 NPU_Flash_Attn融合算子约束 录制Profiling 父主题： 主流开源大模型基于Lite Server适配LlamaFactory PyTorch NPU训练指导（6.3.908）
训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练中的权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于Lite Server适配PyTorch NPU训练指导（6.3.905）
模型NPU卡数、梯度累积值取值表 各个模型训练前文件替换 NPU_Flash_Attn融合算子约束 BF16和FP16说明 录制Profiling 父主题： 主流开源大模型基于Lite Server适配LlamaFactory PyTorch NPU训练指导（6.3.912）
模型NPU卡数、梯度累积值取值表 各个模型训练前文件替换 NPU_Flash_Attn融合算子约束 BF16和FP16说明 录制Profiling 父主题： 主流开源大模型基于Lite Server适配LlamaFactory PyTorch NPU训练指导（6.3.910）
准备镜像 镜像方案说明 ECS获取和上传基础镜像 使用基础镜像 ECS中构建新镜像 父主题： 准备工作
准备镜像 镜像方案说明 ECS获取和上传基础镜像 使用基础镜像 ECS中构建新镜像 父主题： 准备工作
准备镜像 镜像方案说明 ECS获取和上传基础镜像 使用基础镜像 ECS中构建新镜像 父主题： 准备工作
准备镜像 镜像方案说明 ECS获取和上传基础镜像 使用基础镜像 ECS中构建新镜像 父主题： 准备工作
推理模型量化 使用AWQ量化工具转换权重 使用SmoothQuant量化工具转换权重 使用kv-cache-int8量化 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.906）
主流开源大模型基于LIte Server适配PyTorch NPU推理指导（6.3.905） 推理场景介绍 部署推理服务 推理性能测试 推理精度测试 附录：大模型推理常见问题 父主题： LLM大语言模型训练推理
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
