AI开发平台MODELARTS-昇腾能力应用地图

时间:2024-08-18 05:14:44

昇腾能力应用地图

ModelArts支持如下开源模型基于Ascend卡进行训练和推理。

表1 LLM模型训练能力

支持模型

支持模型参数量

应用场景

软件技术栈

指导文档

Llama2

Llama2-7b

Llama2-13b

Llama2-70b

预训练、SFT全参微调、LoRA微调

ModelLInk

Llama3

Llama3-8b

Llama3-70b

预训练、SFT全参微调、LoRA微调

ModelLInk

Qwen

qwen-7b

qwen-14b

qwen-72b

预训练、SFT全参微调、LoRA微调

ModelLInk

Qwen1.5

qwen1.5-7b

qwen1.5-14b

qwen1.5-32b

qwen1.5-72b

预训练、SFT全参微调、LoRA微调

ModelLInk

Qwen2

qwen2-0.5b

qwen2-1.5b

qwen2-7b

qwen2-72b

预训练、SFT全参微调、LoRA微调

ModelLInk

Yi

yi-6b

yi-34b

预训练、SFT全参微调、LoRA微调

ModelLInk

ChatGLMv3

glm3-6b

预训练、SFT全参微调、LoRA微调

ModelLInk

GLMv4

glm4-9b

预训练、SFT全参微调、LoRA微调

ModelLInk

Baichuan2

baichuan2-13b

预训练、SFT全参微调、LoRA微调

ModelLInk

表2 LLM模型推理能力

支持模型

支持模型参数量

应用场景

软件技术栈

指导文档

Llama

Llama-7b

Llama-13b

Llama-65b

推理

Ascend-vLLM

Llama2

Llama2-7b

Llama2-13b

Llama2-70b

推理

Ascend-vLLM

Llama3

Llama3-8b

Llama3-70b

推理

Ascend-vLLM

Yi

yi-6b

yi-9b

yi-34b

推理

Ascend-vLLM

deepseek

deepseek-llm-7b

deepseek-llm-67b

deepseek-coder-instruct-33b

推理

Ascend-vLLM

Qwen

qwen-7b

qwen-14b

qwen-72b

推理

Ascend-vLLM

Qwen1.5

qwen1.5-0.5b

qwen1.5-7b

qwen1.5-1.8b

qwen1.5-14b

qwen1.5-32b

qwen1.5-72b

qwen1.5-110b

推理

Ascend-vLLM

Qwen2

qwen2-0.5b

qwen2-1.5b

qwen2-7b

qwen2-72b

推理

Ascend-vLLM

Baichuan2

baichuan2-7b

baichuan2-13b

推理

Ascend-vLLM

gemmma

gemmma-2b

gemmma-7b

推理

Ascend-vLLM

ChatGLM2

chatglm2-6b

推理

Ascend-vLLM

ChatGLM4

chatglm3-6b

推理

Ascend-vLLM

GLMv4

glm4-9b

推理

Ascend-vLLM

mistral

mistral-7b

mistral-8x7b

推理

Ascend-vLLM

表4 数字人模型

模型名称

应用场景

软件技术栈

指导文档

Wav2Lip

训练

PyTorch

Open-Sora 1.0基于DevServer适配PyTorch NPU训练指导(6.3.905)

推理

PyTorch

Wav2Lip基于DevServer适配PyTorch NPU推理指导(6.3.906)

support.huaweicloud.com/bestpractice-modelarts/modelarts_04_0235.html