盘古大模型 PANGULARGEMODELS-考察模型逻辑

时间:2024-12-03 10:23:59

考察模型逻辑

虽然模型的思考过程是个黑盒,但可以通过反问模型答案生成的逻辑或提问模型是否理解任务要求,考察模型生成的逻辑,提升模型思维过程的可解释性。

  • 对于模型答案的反问

    如果模型给出了错误的答案,可以反问模型回答的逻辑,有时可以发现错误回答的根因,并基于此修正提示词。

    在反问时需要指明“上面的xxx”。例如:“为什么你认为上面的xxx是xxx类别?为什么上面的xxx不是xxx类别?”,否则模型会认为用户反问是个新问题,而非多轮并回复“您并没有给我xxx问题,请给我具体的xxx问题,以便我更好地解答。”

  • 复述任务要求

    可以让模型复述prompt中的要求,考察模型是否理解。

    比如“现在有一个xxx任务,我会给你xxx,你需要xxxx。\n\n现在你充分理解这个任务了吗?详细解释一遍,不用举例子/请举例说明。”

support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0019.html