AI开发平台MODELARTS-增量预训练权重转换:HuggingFace权重转换操作

时间：2024-04-30 18:09:26

AI开发平台MODELARTS

HuggingFace权重转换操作

下载Llama2-13b的预训练权重和词表文件，并上传到OBS桶对应目录下。具体下载地址请参见表1。如果已下载，忽略此步骤。
设置“tokenizers/llama2-13b-hf”目录挂载权重目录“obs://standard-llama2-13b/llama-2-13b-chat-hf/”。

图1 挂载权重目录
单击输出目录“weight/llama2-13b-ckpt/”右侧的“设为输出”完成OBS桶中文件夹的挂载。

图2 挂载OBS桶中文件夹

设置启动命令。

export PYTHONPATH=$PYTHONPATH:${MA_JOB_DIR}/6.3.902-Ascend/llm_train/AscendSpeed/ModelLink/ &&
python ${MA_JOB_DIR}/6.3.902-Ascend/llm_train/AscendSpeed/ModelLink/tools/ckpt_convert/llama/convert_weights_from_huggingface.py
    --input-model-dir ${MA_JOB_DIR}/6.3.902-Ascend/tokenizers/llama2-13b-hf 
    --output-model-dir ${MA_JOB_DIR}/6.3.902-Ascend/weight/llama2-13b-ckpt 
    --tensor-model-parallel-size 8 
    --pipeline-model-parallel-size 1 
    --type 13B
    --merge-mlp