盘古大模型 PANGULARGEMODELS-基于NL2JSON助力金融精细化运营:评估和优化模型

时间：2024-12-03 10:23:59

盘古大模型 PANGULARGEMODELS

模型评估：

您可以从平台的训练日志中获取到每一步的Loss，并绘制成Loss曲线。本场景的一个Loss曲线示例如下：

图1 Loss曲线

通过观察，Loss曲线随着迭代步数的增加呈下降趋势直至稳定，证明整个训练状态是正常的。

模型持续优化：

本场景采用了下表中的推理参数进行解码，您可以在平台部署后参考如下参数调试：

部署推理服务后，可以采用人工评测的方案来评估模型效果。如下提供了本场景可能存在的常见问题，若在评测过程中出现如下问题，可以参考解决：

问题一：JSON字段缺失、JSON字段或值错误。
解决方案：对于这几种情况，需要在微调数据中增大该缺失字段的数据比例，同时也可以在Prompt中加入对该字段的强调。
问题二：JSON格式错误、JSON内容发散。
解决方案：对于这种情况，可以尝试修改推理参数。例如降低“温度”参数的值，可以起到规范模型输出，使结果不再多样化。