检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
主流开源大模型基于Lite Server适配PyTorch NPU推理指导（6.3.911） 推理场景介绍 部署推理服务 推理性能测试 推理精度测试 推理模型量化 Eagle投机小模型训练 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录：大模型推理常见问题 父主题：
准备工作 准备环境 准备代码 准备镜像 父主题： 主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导（6.3.911）
准备工作 准备资源 准备权重 准备代码 准备镜像 准备Notebook 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.911）
量化 W4A16量化 W8A8量化 W8A16量化 kv-cache-int8量化 父主题： 推理关键特性使用
附录 各模型支持的最小卡数和最大序列 Ascend-vLLM推理常见问题 父主题： 主流开源大模型基于Lite Server适配Ascend-vLLM PyTorch NPU推理指导（6.3.912）
准备工作 准备环境 准备代码 准备数据 准备镜像 父主题： 主流开源大模型基于Lite Server适配ModelLink PyTorch NPU训练指导（6.3.908）
准备工作 准备环境 准备代码 准备镜像环境 准备数据（可选） 父主题： 主流开源大模型基于Lite Server适配LlamaFactory PyTorch NPU训练指导（6.3.909）
常见错误原因和解决方法 显存溢出错误 网卡名称错误 工作负载Pod异常 父主题： 主流开源大模型基于Lite Cluster适配ModelLink PyTorch NPU训练指导（6.3.909）
准备工作 准备环境 准备代码 准备数据 准备镜像 父主题： 主流开源大模型基于Lite Server适配ModelLink PyTorch NPU训练指导（6.3.910）
常见错误原因和解决方法 显存溢出错误 网卡名称错误 保存ckpt时超时报错 Git下载代码时报错 父主题： 主流开源大模型基于Lite Server适配ModelLink PyTorch NPU训练指导（6.3.910）
准备工作 准备环境 准备代码 准备数据 准备镜像 父主题： 主流开源大模型基于Lite Server适配ModelLink PyTorch NPU训练指导（6.3.911）
获取，能通过SSH登录，不同机器之间网络互通。 购买Server资源时如果无可选资源规格，需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主
检查运行过程中输入的内容是否正确，格式是否与提示信息中要求的一致。 根据具体报错信息定位到报错的代码行，分析上下文逻辑。 历史SDK包常见的报错如下 服务部署节点运行报错 输入服务相关的参数后，执行报错如下： 解决方案 以上两种常见报错均可通过升级最新的SDK包解决。 父主题： Standard Workflow
B、4096B） 创建文件越快，越容易触发（机制大概是：有一个缓存，这块大小和上面的1和2有关，目录下文件数量比较大时会启动，使用方式是边用边释放） 处理方法 可以参照日志提示"write line error"文档进行修复。 如果是分布式作业有的节点有错误，有的节点正常，建议提工单请求隔离有问题的节点。
发布和管理AI Gallery镜像 托管镜像到AI Gallery 发布镜像到AI Gallery 管理AI Gallery镜像 父主题： AI Gallery（新版）
AI Gallery（旧版） AI Gallery简介 免费资产和商用资产 入驻AI Gallery 我的Gallery介绍 订阅使用 发布分享 参加活动 合作伙伴 需求广场
模型管理 模型调试 导入模型 查询模型列表 查询模型对象列表 查询模型详情 删除模型
导出任务管理 查询导出任务列表 创建导出任务 查询导出任务状态 父主题： 数据管理
Manifest管理 Manifest管理概述 解析Manifest文件 创建和保存Manifest文件 解析Pascal VOC文件 创建和保存Pascal VOC文件 父主题： 数据管理
训练作业 创建训练作业 训练作业调测 查询训练作业列表 查询训练作业详情 更新训练作业描述 删除训练作业 终止训练作业 查询训练日志 查询训练作业的运行指标 父主题： 训练管理
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
