跳到主要内容
检索

# CoCHI框架

1 篇关联报道

订阅更新
  1. arXiv

    大模型会把错误答案说得很笃定:CoCHI在推理时屏蔽少量注意力头,五个选择题基准校准误差下降

    大语言模型常给错误预测配上高置信度,而温度缩放一类方法只在输出端调整置信度。CoCHI把预测按对错与置信高低分成四类,用门控优化找出与“高置信错误”因果相关的注意力头,推理时只屏蔽其中少量头、不改参数。在LLaMA-3.1-8B、Gemma-2-9B和Mistral-7B上,五个四选一问答基准的校准指标改善,准确率保持竞争水平。

已读完全部报道