AI开发平台MODELARTS-LoRA微调权重转换

时间:2024-04-28 15:48:03

LoRA微调权重转换

LoRA微调训练前,需要先把训练权重文件转换为AscendSpeed格式。

  • 基于预训练或SFT全参微调生成的权重文件已经是AscendSpeed格式,进行LoRA微调训练时,不需要再单独做权重转换,可以跳过此章节。
  • 基于原始HuggingFace权重进行LoRA微调训练时,需要将Huggingface格式权重转换为AscendSpeed格式。

    LoRA微调训练和SFT全参微调使用的是同一个HuggingFace权重文件,转换为AscendSpeed格式后的结果也是通用的。如果在SFT全参微调任务中已经完成了HuggingFace权重转换操作,此处无需重复操作,可以直接使用SFT全参微调中的权重转换结果。如果前面没有执行HuggingFace权重转换任务,可以参考SFT全参微调权重转换章节完成。

support.huaweicloud.com/bestpractice-modelarts/modelarts_10_1561.html