AI开发平台MODELARTS-SFT全参微调权重转换:HuggingFace权重转换操作

时间：2024-04-30 18:09:28

AI开发平台MODELARTS SFT全参微调

HuggingFace权重转换操作

下载Llama2-13b的预训练权重和词表文件，并上传到/home/ma-user/ws/tokenizers/llama2-13b-hf目录下。具体下载地址请参见表1。如果已下载，忽略此步骤。

创建权重转换后的输出目录/home/ma-user/ws/weight/llama2-13b-ckpt/。

cd /home/ma-user/ws/  #进入/home/ma-user/ws/目录
mkdir -p weight/llama2-13b-ckpt

进入代码目录/home/ma-user/ws/AscendCloud-3rdLLM-6.3.902/llm_train/AscendSpeed/，在代码目录中执行convert_weights_from_huggingface.py脚本。

export PYTHONPATH=$PYTHONPATH:/home/ma-user/ws/AscendCloud-3rdLLM-6.3.902/llm_train/AscendSpeed/ModelLink
cd /home/ma-user/ws/AscendCloud-3rdLLM-6.3.902/llm_train/AscendSpeed/ModelLink
# 权重格式转换
python tools/ckpt_convert/llama/convert_weights_from_huggingface.py \
 --input-model-dir /home/ma-user/ws/tokenizers/llama2-13b-hf \     # 输入权重文件夹
 --output-model-dir /home/ma-user/ws/weight/llama2-13b-ckpt \ #转换之后的权重输出路径
 --tensor-model-parallel-size 8 \  #tp需要与训练脚本中的配置一样
 --pipeline-model-parallel-size 1 \   # pp需要与训练脚本中的配置一样
 --type 13B \    #模型类型（13B）
 --merge-mlp