华为云首页用户手册

AI开发平台MODELARTS-昇腾能力应用地图:多模态模型

AI开发平台MODELARTS-昇腾能力应用地图:多模态模型

时间：2025-03-12 09:40:00

AI开发平台MODELARTS

多模态模型

ModelArts针对以下主流的多模态模型进行了基于昇腾NPU的适配工作，可以直接使用适配过的模型在NPU上进行推理或训练。

表4 多模态模型基于Ascend-vLLM框架的推理
支持模型	支持模型参数量	应用场景	软件技术栈	指导文档
internVL2	internVL2-8B internVL2-26B internVL2-40B internVL2-Llama3-76B	推理	Ascend-vLLM	主流开源大模型基于Lite Server适配Ascend-vLLM PyTorch NPU推理指导（6.3.912）主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.911）主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导（6.3.911）
MiniCPM	MiniCPM-v2.6	推理	Ascend-vLLM
qwen2-vl	qwen2-vl-2B qwen2-vl-7B qwen2-vl-72B	推理	Ascend-vLLM
llava	llava-1.5-7b llava-1.5-13b llava-v1.6-7b llava-v1.6-13b llava-v1.6-34b	推理	Ascend-vLLM
llava-onevision-qwen2	llava-onevision-qwen2-0.5b-ov-hf llava-onevision-qwen2-7b-ov-hf	推理	Ascend-vLLM

表5 多模态模型基于PyTorch的训练推理
模型名称	应用场景	软件技术栈	指导文档
Qwen-VL	训练推理	PyTorch	Qwen-VL基于Standard+OBS+SFS适配PyTorch NPU训练指导（6.3.912） Qwen-VL模型基于Standard+OBS适配PyTorch NPU训练指导（6.3.912） Qwen-VL基于Lite Server适配PyTorch NPU的Finetune训练指导(6.3.912) Qwen-VL基于Lite Server适配PyTorch NPU的推理指导（6.3.909）
MiniCPM-V2.6	训练	PyTorch	MiniCPM-V2.6基于Lite Server适配PyTorch NPU训练指导（6.3.912）
MiniCPM-V2.0	训练推理	PyTorch	MiniCPM-V2.0推理及LoRA微调基于Lite Server适配PyTorch NPU指导（6.3.910）
InternVL2	训练	PyTorch	InternVL2基于LIte Server适配PyTorch NPU训练指导（6.3.912）
LLaVA-NeXT	训练	PyTorch	LLaVA-NeXT基于Lite Server适配PyTorch NPU训练微调指导（6.3.912）
LLaVA	训练推理	PyTorch	LLaVA模型基于Lite Server适配PyTorch NPU预训练指导（6.3.912） LLaVA模型基于Lite Server适配PyTorch NPU推理指导（6.3.906）
LLama 3.2-Vision	训练	PyTorch	Llama 3.2-Vision基于Lite Server适配Pytorch NPU训练微调指导（6.3.912）
LLaMA-VID	推理	PyTorch	LLaMA-VID基于Lite Server适配PyTorch NPU推理指导（6.3.910）
moondream2	推理	PyTorch	moondream2基于Lite Server适配PyTorch NPU推理指导

上一篇：AI开发平台MODELARTS-使用大模型在ModelArts Standard创建模型部署在线服务:背景说明

下一篇：AI开发平台MODELARTS-ModelArts Standard的WebSocket在线服务全流程开发:使用镜像创建模型

开年采购季抽奖赢万元免单

立即前往

续费同价 L实例 2核2G 4M

98元/年

企业专享 X实例 2核4G 5M

198元/年

热门域名 1元随心购

1元/年起

AI开发平台MODELARTS-昇腾能力应用地图:多模态模型

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题