AI开发平台MODELARTS-训练的权重转换说明:用户自定义执行权重转换参数修改说明

时间：2024-11-12 16:42:21

AI开发平台MODELARTS

同样以 llama2 为例，用户可在Notebook直接编辑scripts/llama2/2_convert_mg_hf.sh脚本，自定义环境变量的值，并在Notebook运行该脚本。其中环境变量详细介绍如下：

表1 权重转换脚本中的环境变量
参数	示例	参数说明
$1	hf2hg、mg2hf	运行 2_convert_mg_hf.sh 时，需要附加的参数值。如下： hf2hg：用于Hugging Face 转 Megatron mg2hf：用于Megatron 转 Hugging Face
TP	8	张量并行数，一般等于单机卡数
PP	1	流水线并行数，一般等于节点数量
ORIGINAL_HF_WEIGHT	/home/ma-user/work/model/Llama2-13B	原始Hugging Face模型路径
CONVERT_MODEL_PATH	/home/ma-user/work/llm_train/processed_for_ma_input/llama2-13b/converted_weights_TP8PP1	权重转换完成之后保存路径
TOKENIZER_PATH	/home/ma-user/work/model/llama-2-13b-chat-hf	tokenizer路径，即：原始Hugging Face模型路径
MODEL_SAVE_PATH	/home/ma-user/work/llm_train/saved_dir_for_output/llama2-13b	训练完成后保存的权重路径。