检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.907） 场景介绍 准备工作 在Notebook调试环境中部署推理服务 在推理生产环境中部署推理服务 推理精度测试 推理性能测试 推理模型量化 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录：大模型推理standard常见问题
主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.908） 场景介绍 准备工作 在Notebook调试环境中部署推理服务 在推理生产环境中部署推理服务 推理精度测试 推理性能测试 推理模型量化 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录：Standard大模型推理常见问题
主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.909） 场景介绍 准备工作 在Notebook调试环境中部署推理服务 在推理生产环境中部署推理服务 推理精度测试 推理性能测试 推理模型量化 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录：Standard大模型推理常见问题
SDXL基于Standard适配PyTorch NPU的Finetune训练指导（6.3.905） SDXL基于DevServer适配PyTorch NPU的Finetune训练指导（6.3.905） SDXL基于DevServer适配PyTorch NPU的LoRA训练指导（6.3.905） SD1
服务管理权限 表1 服务管理细化权限说明 权限 对应API接口 授权项 依赖的授权项 IAM项目 企业项目 部署模型服务 POST /v1/{project_id}/services modelarts:service:create - √ √ 查询模型服务列表 GET /v1/
规格限制 是否支持sudo提权？ 是否支持apt-get？ 是否支持Keras引擎？ 是否支持caffe引擎？ 是否支持本地安装MoXing？ Notebook支持远程登录吗？ 父主题： Standard Notebook
主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.905） 推理场景介绍 部署推理服务 推理性能测试 推理精度测试 附录：大模型推理常见问题 父主题： LLM大语言模型训练推理
主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.908） 推理场景介绍 部署推理服务 推理性能测试 推理精度测试 推理模型量化 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录：大模型推理常见问题 父主题： LLM大语言模型训练推理
AARCH64：ARM体系架构。 create_at Long 镜像创建的时间，UTC毫秒。 description String 该镜像所对应的描述信息，长度限制512个字符。 dev_services Array of strings 镜像支持的服务。枚举值如下： NOTEBOOK：镜像支持通过https协议访问Notebook。
AARCH64：ARM体系架构。 create_at Long 镜像创建的时间，UTC毫秒。 description String 该镜像所对应的描述信息，长度限制512个字符。 dev_services Array of strings 镜像支持的服务。枚举值如下： NOTEBOOK：镜像支持通过https协议访问Notebook。
主流开源大模型基于Server适配PyTorch NPU推理指导（6.3.910） 推理场景介绍 部署推理服务 推理性能测试 推理精度测试 推理模型量化 eagle投机小模型训练 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录：大模型推理常见问题 父主题： LLM大语言模型训练推理
主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.906） 推理场景介绍 部署推理服务 推理性能测试 推理精度测试 推理模型量化 附录：大模型推理常见问题 父主题： LLM大语言模型训练推理
通过VS Code远程使用Notebook实例 VS Code连接Notebook方式介绍 安装VS Code软件 VS Code一键连接Notebook VS Code ToolKit连接Notebook VS Code手动连接Notebook 在VS Code中上传下载文件 父主题：
主流开源大模型基于Server适配PyTorch NPU推理指导（6.3.909） 推理场景介绍 部署推理服务 推理性能测试 推理精度测试 推理模型量化 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录：大模型推理常见问题 父主题： LLM大语言模型训练推理
API/SDK 安装ModelArts SDK报错“ERROR: Could not install packages due to an OSError” ModelArts SDK下载文件目标路径设置为文件名，部署服务时报错 调用API创建训练作业，训练作业异常 用户执行huaweicloud
主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导（6.3.911） 推理场景介绍 准备工作 部署推理服务 推理性能测试 推理精度测试 推理模型量化 Eagle投机小模型训练 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录：大模型推理常见问题
主流开源大模型基于Server适配PyTorch NPU推理指导（6.3.911） 推理场景介绍 部署推理服务 推理性能测试 推理精度测试 推理模型量化 Eagle投机小模型训练 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录：大模型推理常见问题 父主题： LLM大语言模型训练推理
主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.907） 推理场景介绍 部署推理服务 推理性能测试 推理精度测试 推理模型量化 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录：大模型推理常见问题 父主题： LLM大语言模型训练推理
创建Workflow数据集导入节点 创建Workflow数据集版本发布节点 创建Workflow训练作业节点 创建Workflow模型注册节点 创建Workflow服务部署节点 父主题： 开发Workflow命令参考
主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导（6.3.909） 推理场景介绍 准备工作 部署推理服务 推理性能测试 推理精度测试 推理模型量化 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录：大模型推理常见问题 附录：工作负载Pod异常问题和解决方法
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
