AI开发平台MODELARTS-使用MaaS压缩模型:模型压缩时长估算

时间:2024-12-25 19:47:59

模型压缩时长估算

表4 模型压缩时长估算

模型名称

SmoothQuant-W8A8

AWQ-W4A16

Llama2-13B

5~10分钟

60分钟

Llama2-70B

20~30分钟

3小时

Llama2-7B

5~10分钟

40分钟

Llama3-70B

20~30分钟

3小时

Llama3-8B

5~10分钟

40分钟

Qwen1.5-14B

5~10分钟

60分钟

Qwen1.5-72B

20~30分钟

3小时

Qwen1.5-7B

5~10分钟

40分钟

Qwen2-72B

20~30分钟

-

Qwen2-72B-1K

20~30分钟

-

Qwen2.5-72B

40分钟

-

Qwen2.5-32B

20~30分钟

2小时

support.huaweicloud.com/usermanual-maas-modelarts/maas-modelarts-0009.html