检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
NPU推理指导（6.3.907） 场景介绍 准备工作 在Notebook调试环境中部署推理服务 在推理生产环境中部署推理服务 推理精度测试 推理性能测试 推理模型量化 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录：大模型推理standard常见问题 父主题： LLM大语言模型训练推理
NPU推理指导（6.3.908） 场景介绍 准备工作 在Notebook调试环境中部署推理服务 在推理生产环境中部署推理服务 推理精度测试 推理性能测试 推理模型量化 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录：Standard大模型推理常见问题 父主题： LLM大语言模型训练推理
NPU推理指导（6.3.909） 场景介绍 准备工作 在Notebook调试环境中部署推理服务 在推理生产环境中部署推理服务 推理精度测试 推理性能测试 推理模型量化 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录：Standard大模型推理常见问题 父主题： LLM大语言模型训练推理
主流开源大模型基于Lite Server适配PyTorch NPU推理指导（6.3.909） 推理场景介绍 部署推理服务 推理性能测试 推理精度测试 推理模型量化 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录：大模型推理常见问题 父主题： LLM大语言模型训练推理
主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导（6.3.910） 推理场景介绍 准备工作 部署推理服务 推理性能测试 推理精度测试 推理模型量化 eagle投机小模型训练 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录：大模型推理常见问题
主流开源大模型基于Lite Server适配PyTorch NPU推理指导（6.3.911） 推理场景介绍 部署推理服务 推理性能测试 推理精度测试 推理模型量化 Eagle投机小模型训练 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录：大模型推理常见问题 父主题：
主流开源大模型基于LIte Server适配PyTorch NPU推理指导（6.3.905） 推理场景介绍 部署推理服务 推理性能测试 推理精度测试 附录：大模型推理常见问题 父主题： LLM大语言模型训练推理
AIGC工具tailor使用指导 tailor简介 tailor是AIGC场景下用于模型转换（onnx到mindir）和性能分析的辅助工具，当前支持以下功能。 表1 功能总览 功能大类 具体功能 模型转换 固定shape转模型 动态shape传入指定档位转模型 支持fp32 支持AOE优化
主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导（6.3.909） 推理场景介绍 准备工作 部署推理服务 推理性能测试 推理精度测试 推理模型量化 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录：大模型推理常见问题 附录：工作负载Pod异常问题和解决方法
NPU推理指导（6.3.910） 场景介绍 准备工作 在Notebook调试环境中部署推理服务 在推理生产环境中部署推理服务 推理精度测试 推理性能测试 推理模型量化 eagle 投机小模型训练 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录：Standard大模型推理常见问题
相关名词解释 名词 含义 裸金属服务器 裸金属服务器是一款兼具虚拟机弹性和物理机性能的计算类服务，为您和您的企业提供专属的云上物理服务器，为核心数据库、关键应用系统、高性能计算、大数据等业务提供卓越的计算性能以及数据安全。 由于Server是一台裸金属服务器，在ModelArts管理控
主流开源大模型基于Lite Server适配PyTorch NPU推理指导（6.3.908） 推理场景介绍 部署推理服务 推理性能测试 推理精度测试 推理模型量化 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录：大模型推理常见问题 父主题： LLM大语言模型训练推理
主流开源大模型基于Lite Server适配PyTorch NPU推理指导（6.3.910） 推理场景介绍 部署推理服务 推理性能测试 推理精度测试 推理模型量化 eagle投机小模型训练 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录：大模型推理常见问题 父主题：
应用集成。 针对转换的模型运行时应用层适配。 数据预处理。 模型编排。 模型裁剪。 精度校验。 精度对比误差统计工具。 自动化精度对比工具。 网络结构可视化工具。 性能调优。 性能测试。 性能调优三板斧。 性能分析与诊断。 迁移测试报告。 推理迁移验收表。 ModelArts开发环境 M
NPU推理指导（6.3.911） 场景介绍 准备工作 在Notebook调试环境中部署推理服务 在推理生产环境中部署推理服务 推理精度测试 推理性能测试 推理模型量化 Eagle投机小模型训练 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录：大模型推理常见问题 父主题： LLM大语言模型训练推理
主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导（6.3.911） 推理场景介绍 准备工作 部署推理服务 推理性能测试 推理精度测试 推理模型量化 Eagle投机小模型训练 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录：大模型推理常见问题
ECS获取和上传基础镜像 Step1 创建镜像组织 在SWR服务页面创建镜像组织。 图1 创建镜像组织 Step2 登录ECS服务器 根据创建ECS服务器创建完成ECS服务器后，单击“远程登录”，可使用华为CloudShell远程登录如图所示。后续安装Docker、获取镜像、构建镜像等操作均在该ECS上进行。
ECS获取和上传基础镜像 Step1 创建镜像组织 在SWR服务页面创建镜像组织。 图1 创建镜像组织 Step2 登录ECS服务器 根据创建ECS服务器创建完成ECS服务器后，单击“远程登录”，可使用华为CloudShell远程登录如图所示。后续安装Docker、获取镜像、构建镜像等操作均在该ECS上进行。
ECS获取和上传基础镜像 Step1 创建镜像组织 在SWR服务页面创建镜像组织。 图1 创建镜像组织 Step2 登录ECS服务器 根据创建ECS服务器创建完成ECS服务器后，单击“远程登录”，可使用华为CloudShell远程登录如图所示。后续安装Docker、获取镜像、构建镜像等操作均在该ECS上进行。
PC的方式，使得专属资源池和已绑定EIP的弹性云服务器处于同一VPC内，实现专属资源池访问外网。 前提条件 已拥有需要部署SNAT的弹性云服务器。 待部署SNAT的弹性云服务器操作系统为Linux操作系统。 待部署SNAT的弹性云服务器网卡已配置为单网卡。 步骤一：打通VPC 通
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
