AI开发平台MODELARTS-权重合并和转换介绍

时间:2024-04-28 15:48:04

权重合并和转换介绍

模型训练完成后,训练的产物包括模型的权重、优化器状态、loss等信息。这些内容可用于断点续训、模型评测或推理任务等。

在进行模型评测或推理任务前,需要将训练后生成的多个权重文件合并,并转换成Huggingface格式的权重文件。

权重文件的合并转换操作都要求在训练的环境中进行。
  • 预训练或SFT全参微调产生的权重文件的合并与转换操作,请参考多卡权重合并进行操作。
  • LoRA微调训练产生的权重文件的合并与转换操作,请参考LoRA权重合并进行操作。
support.huaweicloud.com/bestpractice-modelarts/modelarts_10_1566.html