AI开发平台MODELARTS-LoRA微调训练:Step2 LoRA微调权重转换

时间:2024-11-05 09:54:16

Step2 LoRA微调权重转换

LoRA微调训练前,需要先把训练权重文件转换为Megatron格式。

LoRA微调训练和SFT全参微调使用的是同一个HuggingFace权重文件,转换为Megatron格式后的结果也是通用的。

如果在SFT微调任务中已经完成了HuggingFace权重转换操作,此处无需重复操作,可以直接使用SFT微调中的权重转换结果。

如果前面没有执行HuggingFace权重转换任务,可以参考SFT全参微调权重转换章节完成。

support.huaweicloud.com/bestpractice-modelarts/modelarts_10_1615.html