盘古大模型 PANGULARGEMODELS-数据量和质量均满足要求,Loss也正常收敛,为什么微调后的效果不好

时间:2024-09-05 15:00:12

数据量和质量均满足要求,Loss也正常收敛,为什么微调后的效果不好

这种情况可能是由于以下几个原因导致的,建议您依次排查:

  • Prompt设置:请检查您使用的Prompt,对于同一个目标任务,建议在推理阶段使用和训练数据相同或相似的PROMPT,才能发挥出模型的最佳效果。
  • 模型规格:理论上模型的参数规模越大,模型能学到的知识就越多,能学会的知识就更难,若目标任务本身难度较大,建议您替换参数规模更大的模型。
support.huaweicloud.com/pangulm_faq/pangulm_07_0027.html