跳到主要内容
返回时间线
arXiv来源发表:

模型学会新知识后却判不准自己会不会答:把“知道感”单独训练,更新后判断AUROC回到0.809

核心概要

大模型经过知识微调后,答案变多了,但它对自己“这题答不答得出”的判断往往还停在更新前。这项研究把知识更新与“知道感”判断拆成两条可训练通道,用在线监督微调、跨知识状态的知道感训练和知道感引导的策略优化三步,让判断跟着当前知识走。在Qwen2.5-7B的TriviaQA知识更新上,完整流程把留出集知道感AUROC从普通知识微调后的0.519提到0.809,留出集答案准确率也从0.546升到0.692。

Source-provided article image: Feeling of Knowing in Large Language Models
arXiv

深度剖析

知识微调会改变模型能答什么,却不一定同步改变它对自己能否作答的判断,这项研究把这种错位当作一个可训练的目标来处理。 此前的知道感估计器多在固定参数下校准和评估,知识微调、低秩适配、知识编辑或持续学习之后判断是否仍然对齐,此前缺少系统考察。 在Qwen2.5-7B的TriviaQA知识更新上,普通知识微调把更新集准确率从0.680提到0.874,但留出集准确率降到0.546、低于基座模型的0.672,留出集知道感AUROC也从0.688降到0.519。

做法是把知识通道和知道感通道分开训练,再让判断与随后的回答一起优化。 在线监督微调只对模型自己采样回答中被纠正的答案片段计算损失,以减少对原有知道感的干扰;跨知识状态的知道感训练则在微调过程中的多个检查点上学习“当前状态能否答对”。 在Qwen2.5-7B的TriviaQA设置上,仅在线监督微调后留出集AUROC为0.603,加入跨状态知道感训练后升到0.770,再加入知道感引导的策略优化后为0.809,留出集准确率为0.692。

知道感判断被训练成生成过程的一部分:模型先写出简短推理,再给出是或否的判断,然后作答或解释为何答不了。 此前的做法多把置信度当作回答之后的独立打分,或只训练模型说出“我不知道”。 在Qwen3-8B上改变判断阈值时,基座模型与普通知识微调的覆盖率—准确率曲线几乎平坦,在线监督微调加跨状态知道感训练恢复了单调权衡,而策略优化后的判断接近二值、阈值不再起作用。

启示与展望

已展示的范围是短答案事实问答上的梯度式知识更新,主实验用Qwen2.5-7B-Instruct,另在Qwen3-8B上做覆盖率—准确率评估,并包含三轮顺序更新与SelfAware、Natural Questions、WebQuestions的跨数据集测试。

知道感在这里只是行为层面的可答性判断,不涉及主观体验;因果追踪给出的层位依赖提示、词元位置和干预方式,不能证明存在唯一或类人的元认知机制;线索分析没有匹配的预训练对照,无法区分训练是诱导还是保留了线索敏感性;在没有知识更新时,强估计器仍然有竞争力。