跳到主要内容
返回时间线
arXiv来源发表:

冻结视觉语言模型答错却指得准:SEE不训练、不借检测器,小目标基准五个骨干全部提升

核心概要

冻结的视觉语言模型常能指出问题所需细节的位置,却在直接作答时漏掉这些细节。SEE把这一现象变成一种无需训练的重看流程:当初始答案置信度低时,让同一模型自行提出若干候选区域,在放大裁剪图上重新作答,并把模型对整图的转写文本与问题一起输入,最后按答案词概率的置信度加权投票,原始答案保留一票。在V*Bench、HR-Bench 4K与8K三个小目标基准上,SEE让五个冻结骨干的每一组模型–基准都提升2.3至13.1点,小目标平均从72.4%升到78.2%,并高于五个免训练基线。

Source-provided article image: SEE: Unlocking the Hidden Perception of Frozen VLMs
arXiv

深度剖析

冻结的视觉语言模型在直接答错时,往往仍能框出回答所需的区域,SEE正是利用这一错位,让模型在低置信度时重看自己指出的位置。 此前的免训练做法要么依赖注意力图、外部检测器或迭代式图块搜索,要么让第二次作答单独决定结果,一次错误的裁剪就可能推翻原本正确的答案。 在Qwen3.5-4B答错的V*Bench题目上,五次定位请求的中位框与标注目标有重叠,作者称之为启发差距;把SEE的模型自选区域换成同尺寸随机裁剪后,SEE反而低于直接作答,换成固定网格只找回SEE增益的一部分。

SEE不改动模型权重,只增加两类视图:放大模型自己指出的区域,以及把整图转写文本放在问题之前,再让所有视图连同原始答案按置信度投票。 置信度取答案各词概率的几何平均,低于阈值才触发重看,因此高置信度问题直接返回,不产生额外调用。 在4B骨干上,单独加入放大在V*Bench提升11.6点却拉低InfographicVQA,单独加入转写则相反;两者合并投票后四个基准平均从77.9升到84.1,再加置信度门控为84.4,耗时约为直接作答的5.9倍。

启示与展望

演示范围是五个冻结骨干上的高分辨率视觉问答与文档理解:V*Bench、HR-Bench 4K与8K、InfographicVQA,全部为免训练推理期增强,不涉及权重更新。作者指出,SEE适用于细节小、模型冻结且词概率可得的场景;把基于注意力的放大与SEE结合而不放弃黑盒访问,被列为下一步。

作者报告增益集中在单目标上,在HR-Bench的部分单元格中大于关系类问题的增益,因为放大可能裁掉被比较的第二个物体;门控与投票受制于置信度质量,思考模式下的GLM-4.1V几乎每题都高置信,SEE很少触发,而一个自信的错误视图可能推翻正确答案。投票规则与阈值是在完整评测集上比较的,作者指出需要一个不受任何选择影响的测试集来确定其影响程度;多图输入、视频与长答案尚未测试。