AI开发平台MODELARTS-训练的权重转换说明:Megatron转HuggingFace参数说明

时间：2024-12-09 20:36:11

AI开发平台MODELARTS

Megatron转HuggingFace参数说明

训练完成的权重文件默认不会自动转换为Hugging Face格式权重。若用户需要自动转换，则在运行脚本，例如0_pl_pretrain_13b.sh中，添加变量CONVERT_MG2HF并赋值TRUE。若用户后续不需要自动转换，则在运行脚本中必须删除CONVERT_MG2HF变量。

Megatron转HuggingFace脚本具体参数如下：

--model-type：模型类型。
--save-model-type：输出后权重格式。
--load-dir：训练完成后保存的权重路径。
--save-dir：需要填入原始HF模型路径，新权重会存于../Llama2-13B/mg2hg下。
--target-tensor-parallel-size：任务不同调整参数target-tensor-parallel-size，默认为1。
--target-pipeline-parallel-size ：任务不同调整参数target-pipeline-parallel-size，默认为1。

输出转换后权重文件保存路径：

权重转换完成后，在/home/ma-user/work/llm_train/saved_dir_for_output/llama2-13b/saved_models/pretrain_hf/目录下查看转换后的权重文件。

注意：权重转换完成后，需要将例如saved_models/pretrain_hf中的文件与原始Hugging Face模型中的文件进行对比，查看是否缺少如tokenizers.json、tokenizer_config.json、special_tokens_map.json等tokenizer文件或者其他json文件。若缺少则需要直接复制至权重转换后的文件夹中，否则不能直接用于推理。

上一篇：AI开发平台MODELARTS-训练的权重转换说明:用户自定义执行权重转换参数修改说明

下一篇：AI开发平台MODELARTS-训练的权重转换说明:HuggingFace转Megatron参数说明