AI开发平台MODELARTS-LoRA微调权重转换

时间:2024-04-30 18:09:26

LoRA微调权重转换

LoRA微调训练前,需要先把训练权重文件转换为AscendSpeed格式。

  • 基于预训练或增量预训练生成的权重文件已经是AscendSpeed格式,进行LoRA微调训练时,不需要再单独做权重转换,可以跳过此章节。
  • 基于原始HuggingFace权重进行LoRA微调训练时,需要将Huggingface格式权重转换为AscendSpeed格式。

    LoRA微调训练和增量预训练使用的是同一个HuggingFace权重文件,转换为AscendSpeed格式后的结果也是通用的。如果在增量预训练任务中已经完成了HuggingFace权重转换操作,此处无需重复操作,可以直接使用增量预训练中的权重转换结果。如果前面没有执行HuggingFace权重转换任务,可以参考增量预训练权重转换章节完成。

support.huaweicloud.com/bestpractice-modelarts/modelarts_10_1825.html