识别大模型过度自信的新方法

一种更好识别过度自信大语言模型的方法

这种衡量不确定性的新指标可以标记出模型幻觉，帮助用户判断是否应该信任人工智能模型。

某机构的研究人员引入了一种新方法，用于衡量一种不同类型的 Uncertainty（不确定性），该方法能更可靠地识别出自信但错误的大语言模型（LLM）响应。

该方法将一个目标模型的响应与一组相似 LLM 的响应进行比较。研究发现，衡量跨模型的不一致性，比传统方法更能准确捕捉这类不确定性。

研究人员将这种方法与 LLM 自洽性的衡量标准相结合，形成了一个总不确定性指标，并在 10 项实际任务（如问答和数学推理）中进行了评估。该总不确定性指标始终优于其他衡量方法，并且能更好地识别不可靠的预测。

“自洽性被用于许多不确定性量化的不同方法中，但如果对不确定性的估计仅依赖于单个模型的结果，那并不一定是可信的。我们回溯到起点，理解当前方法的局限性，并以此为起点设计了一种互补的方法，能够在经验上改进结果。”该论文的领衔作者表示。

理解过度自信

许多流行的 Uncertainty 量化方法涉及向模型索要一个置信度分数，或测试其对同一提示响应的一致性。这些方法估计的是偶然不确定性，即模型对其自身预测的内部置信度。

然而，LLM 在完全错误时也可能很自信。研究表明，认知不确定性，即关于自己是否在使用正确模型的不确定性，可能是评估模型过度自信时真实不确定性的更好方式。

某机构的研究人员通过衡量一组相似的 LLM 之间的不一致性来估计认知不确定性。

“如果我多次向同一个聊天模型提问同一个问题，它反复给我相同的答案，那并不代表答案一定是正确的。如果我换用另外两个不同机构的模型，问它们同样的问题，却得到了不同的答案，这就会让我对认知不确定性有所感知。”该研究作者解释。

认知不确定性试图捕捉目标模型与该任务的理想模型之间的偏差。但由于无法构建理想模型，研究人员使用替代或近似方法，而这些方法往往依赖于有缺陷的假设。为了改进不确定性量化，研究人员需要一种更准确的认知不确定性估计方法。

一种集成方法

他们开发的方法涉及衡量目标模型与一小群具有相似规模和架构的模型之间的差异。他们发现，比较语义相似性，即响应含义的匹配程度，可以更好地估计认知不确定性。

为了获得最准确的估计，研究人员需要一组 LLM，这些模型能覆盖多样化的响应，不能与目标模型过于相似，并且需要基于可信度进行加权。

“我们发现，满足所有这些属性的最简单方法是采用由不同机构训练的模型。我们尝试了许多更复杂的不同方法，但最终这种非常简单的方法效果最好。”研究作者说。

一旦开发出这种估计认知不确定性的方法，他们就将其与衡量偶然不确定性的标准方法相结合。这个总不确定性指标提供了关于模型置信度是否可信的最准确反映。

“不确定性取决于给定提示的不确定性，也取决于我们的模型与最优模型的接近程度。这就是为什么将这两种不确定性指标相加能给我们带来最佳估计。”研究作者表示。

TU 能更有效地识别出 LLM 产生幻觉的情况，因为认知不确定性可以标记出偶然不确定性可能遗漏的自信但错误的输出。它还能使研究人员在训练过程中强化 LLM 正确且有信心的答案，从而可能提升性能。

他们使用多个 LLM 在 10 项常见任务（如问答、摘要、翻译和数学推理）上测试了 TU。该方法比单独使用任何一种指标都更有效地识别了不可靠的预测。

衡量总不确定性通常比计算偶然不确定性所需的查询次数更少，这可以降低计算成本并节省能源。

他们的实验还表明，认知不确定性在有唯一正确答案的任务（如事实性问答）上最为有效，但在更开放式的任务上表现可能较差。

未来，研究人员可以调整他们的技术，以提高其在开放式查询上的性能。他们还可能在此工作的基础上，探索其他形式的偶然不确定性。FINISHED