大模型会把错误答案说得很笃定:CoCHI在推理时屏蔽少量注意力头,五个选择题基准校准误差下降
核心概要
大语言模型常给错误预测配上高置信度,而温度缩放一类方法只在输出端调整置信度。CoCHI把预测按对错与置信高低分成四类,用门控优化找出与“高置信错误”因果相关的注意力头,推理时只屏蔽其中少量头、不改参数。在LLaMA-3.1-8B、Gemma-2-9B和Mistral-7B上,五个四选一问答基准的校准指标改善,准确率保持竞争水平。
深度剖析
校准不再只当作输出端问题处理,而是通过屏蔽模型内部少数注意力头来减少“答错却高置信”的情况。 温度缩放及其变体、学习型校准器和推理时干预都在输出或表示层面调整,不触及产生过度自信的内部机制。 在LLaMA-3.1-8B、Gemma-2-9B和Mistral-7B三个开源模型、五个四选一问答基准的零样本设置下,CoCHI在保持竞争性准确率的同时降低了期望校准误差、负对数似然和Brier分数。
做法是先把预测按正确与否和置信高低分成四类,再分别找出对每一类行为有因果作用的注意力头。 因果头门控原本用于解释注意力头的功能角色,这里改为按校准类别分别施加,并比较稀疏与保留两种正则下的门控值。 从“高置信错误”类中取促进性头、从“高置信正确”类中取非促进性头,合并后按归因强度排序,只保留前若干个头构成掩码;掩码在推理时统一施加,不需要真实标签或逐样本分类。
启示与展望
演示范围限于四选一问答:置信度在固定答案空间上定义,实验覆盖LLaMA-3.1-8B、Gemma-2-9B和Mistral-7B三个开源模型与MMLU、MedMCQA、OpenBookQA、MedQA-USMLE、SciQ五个基准,全部为零样本设置。校准阶段需要GPU,掩码仅40字节,推理时无额外开销,且被屏蔽的头可永久剪除。原文对校准耗时的报告并不一致:效率对比表给出69.9秒,附录按模型分别给出Mistral-7B约39秒、LLaMA-3.1-8B约58秒、Gemma-2-9B约88秒,因此这里不给出统一的单模型耗时。
开放生成、长程推理和多轮交互中正确性与置信度更难定义,方法能否延伸尚待研究;干预只作用于注意力头,可能覆盖不到MLP层、残差流或跨层交互带来的失准。阈值敏感性分析显示过高阈值会使校准变差,中等阈值取得最好的折中。
