AI开发平台MODELARTS-场景介绍:训练支持的模型列表

时间：2024-11-12 16:42:43

AI开发平台MODELARTS 主流开源大模型基于DevServer适配LlamaFactory PyTorch NPU训练指导（6.3.909）

训练支持的模型列表

本方案支持以下模型的训练，如表1所示。

表1 支持的模型列表及权重文件地址
支持模型	支持模型参数量	权重文件获取地址
Llama2	llama2-7b	https://huggingface.co/meta-llama/Llama-2-7b-chat-hf
	llama2-13b	https://huggingface.co/meta-llama/Llama-2-13b-chat-hf
	llama2-70b	https://huggingface.co/meta-llama/Llama-2-70b-chat-hf
Llama3	llama3-8b	https://huggingface.co/meta-llama/Meta-Llama-3-8B-Instruct
Llama3	llama3-70b	https://huggingface.co/meta-llama/Meta-Llama-3-70B-Instruct
Llama3.1	llama3.1-8b	https://huggingface.co/meta-llama/Meta-Llama-3.1-8B-Instruct/tree/main
Llama3.1	llama3.1-70b	https://huggingface.co/meta-llama/Meta-Llama-3.1-70B-Instruct/tree/main
Qwen1.5	qwen1.5-0.5b	https://huggingface.co/Qwen/Qwen1.5-0.5B
	qwen1.5-1.8b	https://huggingface.co/Qwen/Qwen1.5-1.8B-Chat
	qwen1.5-4b	https://huggingface.co/Qwen/Qwen1.5-4B
	qwen1.5-7b	https://huggingface.co/Qwen/Qwen1.5-7B-Chat
	qwen1.5-14b	https://huggingface.co/Qwen/Qwen1.5-14B-Chat
Yi	yi-6b	https://huggingface.co/01-ai/Yi-6B-Chat
Yi	yi-34b	https://huggingface.co/01-ai/Yi-34B-Chat
Qwen2	qwen2-0.5b	https://huggingface.co/Qwen/Qwen2-0.5B-Instruct
	qwen2-1.5b	https://huggingface.co/Qwen/Qwen2-1.5B-Instruct
	qwen2-7b	https://huggingface.co/Qwen/Qwen2-7B-Instruct
	qwen2-72b	https://huggingface.co/Qwen/Qwen2-72B-Instruct
Qwen2_VL（支持多模态数据集）	qwen2_vl-2b	https://huggingface.co/Qwen/Qwen2-VL-2B-Instruct/tree/main
Qwen2_VL（支持多模态数据集）	qwen2_vl-7b	https://huggingface.co/Qwen/Qwen2-VL-7B-Instruct/tree/main
Falcon2	falcon-11B	https://huggingface.co/tiiuae/falcon-11B
GLM-4	glm4-9b	https://huggingface.co/THUDM/glm-4-9b-chat 说明： glm4-9b模型必须使用版本4b556ad4d70c38924cb8c120adbf21a0012de6ce