华为云首页用户手册

AI开发平台MODELARTS-昇腾能力应用地图

AI开发平台MODELARTS-昇腾能力应用地图

时间：2024-08-18 05:14:44

AI开发平台MODELARTS

昇腾能力应用地图

ModelArts支持如下开源模型基于Ascend卡进行训练和推理。

表1 LLM模型训练能力
支持模型	支持模型参数量	应用场景	软件技术栈	指导文档
Llama2	Llama2-7b Llama2-13b Llama2-70b	预训练、SFT全参微调、LoRA微调	ModelLInk	主流开源大模型基于DevServer适配PyTorch NPU训练指导（6.3.906）主流开源大模型基于Standard适配PyTorch NPU训练指导（6.3.906）
Llama3	Llama3-8b Llama3-70b	预训练、SFT全参微调、LoRA微调	ModelLInk
Qwen	qwen-7b qwen-14b qwen-72b	预训练、SFT全参微调、LoRA微调	ModelLInk
Qwen1.5	qwen1.5-7b qwen1.5-14b qwen1.5-32b qwen1.5-72b	预训练、SFT全参微调、LoRA微调	ModelLInk
Qwen2	qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-72b	预训练、SFT全参微调、LoRA微调	ModelLInk
Yi	yi-6b yi-34b	预训练、SFT全参微调、LoRA微调	ModelLInk
ChatGLMv3	glm3-6b	预训练、SFT全参微调、LoRA微调	ModelLInk
GLMv4	glm4-9b	预训练、SFT全参微调、LoRA微调	ModelLInk
Baichuan2	baichuan2-13b	预训练、SFT全参微调、LoRA微调	ModelLInk

表2 LLM模型推理能力
支持模型	支持模型参数量	应用场景	软件技术栈	指导文档
Llama	Llama-7b Llama-13b Llama-65b	推理	Ascend-vLLM	主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.906）主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.906）
Llama2	Llama2-7b Llama2-13b Llama2-70b	推理	Ascend-vLLM
Llama3	Llama3-8b Llama3-70b	推理	Ascend-vLLM
Yi	yi-6b yi-9b yi-34b	推理	Ascend-vLLM
deepseek	deepseek-llm-7b deepseek-llm-67b deepseek-coder-instruct-33b	推理	Ascend-vLLM
Qwen	qwen-7b qwen-14b qwen-72b	推理	Ascend-vLLM
Qwen1.5	qwen1.5-0.5b qwen1.5-7b qwen1.5-1.8b qwen1.5-14b qwen1.5-32b qwen1.5-72b qwen1.5-110b	推理	Ascend-vLLM
Qwen2	qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-72b	推理	Ascend-vLLM
Baichuan2	baichuan2-7b baichuan2-13b	推理	Ascend-vLLM
gemmma	gemmma-2b gemmma-7b	推理	Ascend-vLLM
ChatGLM2	chatglm2-6b	推理	Ascend-vLLM
ChatGLM4	chatglm3-6b	推理	Ascend-vLLM
GLMv4	glm4-9b	推理	Ascend-vLLM
mistral	mistral-7b mistral-8x7b	推理	Ascend-vLLM

表3 AIGC模型
模型名称	应用场景	软件技术栈	指导文档
Stable Diffusion 1.5 Stable Diffusion XL	SFT全量微调训练 LoRA微调训练	Diffusers训练、PyTorch	SD1.5基于DevServer适配PyTorch NPU Finetune训练指导（6.3.904） SDXL基于DevServer适配PyTorch NPU的Finetune训练指导（6.3.905） SDXL基于Standard适配PyTorch NPU的Finetune训练指导（6.3.905） SDXL基于DevServer适配PyTorch NPU的LoRA训练指导（6.3.905）
	WebUI推理	WebUI推理、PyTorch	SDXL WebUI基于Devserver适配PyTorch NPU推理指导（6.3.902） SDXL&SD1.5 WebUI基于Lite Cluster适配NPU推理指导（6.3.906）
	ComfyUI推理	WebUI推理、PyTorch	SDXL&SD1.5 ComfyUI插件基于DevServer适配PyTorch NPU推理指导（6.3.906） SDXL&SD1.5 ComfyUI基于Lite Cluster适配NPU推理指导（6.3.906）
	Diffusers推理	diffusers推理、PyTorch	SDXL Diffusers框架基于Devserver适配PyTorch NPU推理指导（6.3.902）
Open-Sora	训练	PyTorch	Open-Sora 1.0基于DevServer适配PyTorch NPU训练指导（6.3.905）
Qwen-VL	训练推理	PyTorch	Qwen-VL基于DevServer适配Pytorch NPU的Finetune训练指导(6.3.906) Qwen-VL基于DevServer适配Pytorch NPU的推理指导(6.3.906)
LLaVA	训练推理	PyTorch	LLaVA模型基于DevServer适配PyTorch NPU预训练指导（6.3.906） LLaVA模型基于DevServer适配PyTorch NPU推理指导（6.3.906）
Open-clip	训练推理	PyTorch	Open-Clip基于DevServer适配PyTorch NPU训练指导

表4 数字人模型
模型名称	应用场景	软件技术栈	指导文档
Wav2Lip	训练	PyTorch	Open-Sora 1.0基于DevServer适配PyTorch NPU训练指导（6.3.905）
Wav2Lip	推理	PyTorch	Wav2Lip基于DevServer适配PyTorch NPU推理指导（6.3.906）

上一篇：华为云会议 MEETING-SDK维护周期

下一篇：AI开发平台MODELARTS-Tensorboard的使用:Step2 上传Summary数据

AI开发平台MODELARTS-昇腾能力应用地图

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题