AI开发平台MODELARTS-使用AWQ量化工具转换权重:Step2 权重格式转换

时间:2024-05-22 19:26:25

Step2 权重格式转换

AutoAWQ量化完成后,使用int32对int4的权重进行打包。昇腾上使用int8对权重进行打包,需要进行权重转换。

进入vllm代码目录下执行以下脚本:

python vllm/model_executor/layers/quantization/convert_awq_to_npu.py --model /home/ma-user/Qwen1.5-72B-Chat-AWQ --version 2

参数说明:

  • model:模型路径。
  • version:权重格式,传2。

执行时间预计10分钟。

support.huaweicloud.com/bestpractice-modelarts/modelarts_10_1908.html