AI开发平台MODELARTS-训练的权重转换说明:Megatron转HuggingFace参数说明

时间：2024-12-09 20:36:35

AI开发平台MODELARTS

Megatron转HuggingFace参数说明

如果用户需要自动转换，则在训练作业中，添加变量CONVERT_MG2HF并赋值True。如果用户后续不需要自动转换，则在环境变量中必须删除CONVERT_MG2HF变量。

Megatron转HuggingFace脚本具体参数如下：

--model-type：模型类型。
--save-model-type：输出后权重格式。
--load-dir：训练完成后保存的权重路径。
--save-dir：需要填入原始HF模型路径，新权重会存于../Llama2-13B/mg2hg下。
--target-tensor-parallel-size：任务不同调整参数target-tensor-parallel-size，默认为1。
--target-pipeline-parallel-size ：任务不同调整参数target-pipeline-parallel-size，默认为1。

权重转换完成后，需要将转换后的文件与原始Hugging Face模型中的文件进行对比，查看是否缺少如tokenizers.json、tokenizer_config.json、special_tokens_map.json等tokenizer文件或者其他json文件。如果缺少则需要直接复制至权重转换后的文件夹中，否则不能直接用于推理。

上一篇：AI开发平台MODELARTS-训练的权重转换说明:用户自定义执行权重转换参数修改说明

下一篇：AI开发平台MODELARTS-训练的权重转换说明:用户自定义执行权重转换参数修改说明