华为云首页用户手册

AI开发平台MODELARTS-LoRA微调权重转换

AI开发平台MODELARTS-LoRA微调权重转换

时间：2024-04-28 15:48:03

AI开发平台MODELARTS LoRA微调训练

LoRA微调权重转换

LoRA微调训练前，需要先把训练权重文件转换为AscendSpeed格式。

基于预训练或SFT全参微调生成的权重文件已经是AscendSpeed格式，进行LoRA微调训练时，不需要再单独做权重转换，可以跳过此章节。
基于原始HuggingFace权重进行LoRA微调训练时，需要将Huggingface格式权重转换为AscendSpeed格式。
LoRA微调训练和SFT全参微调使用的是同一个HuggingFace权重文件，转换为AscendSpeed格式后的结果也是通用的。如果在SFT全参微调任务中已经完成了HuggingFace权重转换操作，此处无需重复操作，可以直接使用SFT全参微调中的权重转换结果。如果前面没有执行HuggingFace权重转换任务，可以参考SFT全参微调权重转换章节完成。

父主题： LoRA微调训练

上一篇：AI开发平台MODELARTS-预训练权重合并及转换

下一篇：AI开发平台MODELARTS-示例：从 0 到 1 制作自定义镜像并用于训练（MindSpore+GPU）:Step2 创建数据集并上传至OBS

AI开发平台MODELARTS-LoRA微调权重转换

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题