AI开发平台MODELARTS-LoRA微调训练:Step2 LoRA微调权重转换
Step2 LoRA微调权重转换
LoRA微调训练前,需要先把训练权重文件转换为Megatron格式。
LoRA微调训练和SFT全参微调使用的是同一个HuggingFace权重文件,转换为Megatron格式后的结果也是通用的。
如果在SFT微调任务中已经完成了HuggingFace权重转换操作,此处无需重复操作,可以直接使用SFT微调中的权重转换结果。
如果前面没有执行HuggingFace权重转换任务,可以参考SFT全参微调权重转换章节完成。
- 华为云盘古大模型_华为云AI大模型_盘古人工智能
- ModelArts模型训练_模型训练简介_如何训练模型
- 电力RPA_RPA自动化测试_RPA发展阶段
- ModelArts模型训练_创建训练作业_如何创建训练作业
- 图片文字识别转换_图片识别转换文字_文字语音转换
- TMS开发_金蝶TMS系统_TMS技术系统_信息化管理_视频
- ModelArts是什么_AI开发平台_ModelArts功能
- GaussDB数据库怎么转换类型_GaussDB安装_高斯数据库转换类型
- 个人网站搭建_手把手搭建个人网站教程_建立个人网站视频_如何自己建立一个网站
- ModelArts推理部署_纳管Atlas 500_边缘服务-华为云