AI开发平台MODELARTS-SFT全参微调权重转换:HuggingFace权重转换操作

时间：2024-11-05 09:54:16

AI开发平台MODELARTS

HuggingFace权重转换操作

下载Llama2-70B的预训练权重和词表文件，并上传到/home/ma-user/ws/tokenizers/Llama2-70B目录下。具体下载地址请参见表1。如果已下载，忽略此步骤。

创建权重转换后的输出目录/home/ma-user/ws/processed_for_ma_input/Llama2-70B/converted_weights/。

cd /home/ma-user/ws/  #进入/home/ma-user/ws/目录
mkdir -p processed_for_ma_input/Llama2-70B/converted_weights

进入代码目录/home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/ModelLink，在代码目录中执行util.py脚本。xxx-Ascend请根据实际目录替换。

#加载ascendspeed及megatron模型
export PYTHONPATH=$PYTHONPATH:/home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/AscendSpeed
export PYTHONPATH=$PYTHONPATH:/home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/ModelLink
#进入到ModelLink目录下
cd /home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/ModelLink
# 权重格式转换
python tools/checkpoint/util.py --model-type GPT \
        --loader llama2_hf \
        --saver megatron \
        --target-tensor-parallel-size 8 \
        --target-pipeline-parallel-size 8 \
        --load-dir /home/ma-user/ws/tokenizers/Llama2-70B \
        --save-dir /home/ma-user/ws/processed_for_ma_input/Llama2-70B/converted_weights \
        --tokenizer-model /home/ma-user/ws/tokenizers/Llama2-70B/tokenizer.model

参数说明如下：