视觉语言模型的“意识”探针:MC-Lens 读出图像概念,还能改写多步推理答案
核心概要
视觉语言模型能看图答题,但答案本身不说明概念在内部何处出现。MC-Lens 把视觉编码器与语言解码器的中间状态映射到解码器词表空间,用词表排名读出概念,并沿概念方向做反事实替换。在国旗—首都问答上,用贪心选出的概念方向集做一步推理干预,几乎每个答案都被改写;同一方向集在直接问答中也能改写答案,但一步推理中这些成分同时通过必要性与充分性检验的比例约为15%。
深度剖析
视觉语言模型内部的概念信息可以被读出,并且能按提问被选择性地调取。 此前基于雅可比矩阵的词表读出方法只用于纯语言模型,且以单个词元作为概念的读出载体。 在 Qwen3-VL-8B 上,对 A-OKVQA 的100个单字答案案例,图像证据、文本证据或两者同时给出,都能把目标概念词元推入读出排名前列;滑板案例中目标词元从第9位升到第1位。
读出到的概念不只是显示在中间状态里,改动它会改变下游答案。 单靠读出排名无法判断这些概念是否参与后续计算。 在 Noto Color Emoji 的50张国旗图像上,把国家相关成分从加拿大替换为澳大利亚,直接问首都时答案由“Ottawa”变为“Canberra”;一步推理中,最小的贪心方向集几乎改写全部答案,而最宽的字形集合改写不到一半。
同一组概念方向可以影响多个下游问题,而不只影响被直接询问的那一项。 此前对中间概念的反事实干预多集中在单个问答关系上。 在51对国旗源—目标案例上,覆盖国名、ISO-3 代码、首都、货币代码、大洲、互联网域名和电话区号七类问题,贪心方向集在一步任务上的目标答案率高于字形集合,电话区号即使最大的贪心集也较难改写。
启示与展望
这里的“意识”仅指全局工作空间理论中与意识通达相关的功能性质,不涉及模型是否具有主观体验。实验对象是 Qwen3-VL、DeepSeek-VL2 与 Gemma 3 三个家族的视觉语言模型,读出与干预集中在视觉问答与国旗知识问答这类受控任务上。
结果尚未识别出把被选信息广播给不同下游过程的机制,而这正是全局工作空间理论的核心性质之一。一步推理中,多数被恢复的答案并未同时通过必要性检验,提示其他成分也可能支撑原答案。工作空间区间由方向几何、有效维度和读出曲线人工估计,这些曲线本身不构成对边界位置的独立验证。
