盘古大模型 PANGULARGEMODELS-打造短视频营销文案创作助手:评估和优化模型

时间：2024-10-18 10:48:53

盘古大模型 PANGULARGEMODELS

模型评估：

您可以从平台的训练日志中获取到每一步的Loss，并绘制成Loss曲线。本场景的一个Loss曲线示例如下：

图1 Loss曲线

通过观察，该Loss曲线随着迭代步数的增加呈下降趋势直至稳定，证明整个训练状态是正常的。若Loss曲线呈现轻微阶梯式下降，为正常现象。

模型持续优化：

本场景采用了下表中的推理参数进行解码，您可以在平台部署后参考如下参数调试：

部署推理服务后，可以采用人工评测的方案来评估模型效果。若评测过程中出现如下问题，可以参考解决方案进行优化：

问题一：模型答案没有按照Prompt要求回答。例如，要求文案在300字以内，但是模型回答字数仍然超出300字。
解决方案：在数据质量要求中提到要求训练数据的输出（target字段）需要符合业务场景需求。因此，针对该问题，需要严格控制数据质量。若输入（context字段）要求文案300字以内，则输出必须要满足300字以内。
问题二：模型生成的文案中重复讨论一个相同的话题。
解决方案：对于这种情况，可以尝试修改推理参数。例如，降低“话题重复度控制”参数的值。若调整推理参数不生效，则检查数据质量，确认数据中不存在重复数据和高度相似数据。