AI开发平台MODELARTS-准备W8A8权重:W8A8量化权重生成

时间：2025-02-08 14:09:14

AI开发平台MODELARTS

介绍如何将BF16权重量化为W8A8的权重，具体操作步骤如下。

在Server机器上创建权重量化后的存放目录${path-to-file}/deepseekV3-w8a8或${path-to-file}/deepseekR1-w8a8目录。

下载msit源码，可以使用

git clone -b br_noncom_MindStudio_8.0.0_POC_20251231 https://gitee.com/ascend/msit.git

进入到msit/msmodelslim的目录；并在进入的msmodelslim目录下，运行安装脚本install.sh
```
cd msit/msmodelslim
bash install.sh
```
进入到msit/msmodelslim/example/DeepSeek目录，执行转换命令。
BF16权重路径是${path-to-file}/deepseekV3-bf16，例如：/home/data/deepseekV3-bf16，将量化后的W8A8权重输出到${path-to-file}/deepseekV3-w8a8，例如：/home/data/deepseekV3-w8a8，可以使用以下命令，此处以deepseekV3为例。
```
cd example/DeepSeek
python3 quant_deepseek_w8a8.py --model_path ${path-to-file}/deepseekV3-bf16 --save_path ${path-to-file}/deepseekV3-w8a8
```
量化后的权重文件再复制到另外一台机器的相同目录。