几何信息不再只是对齐目标:GeoReader让视觉语言模型真正用上相机位姿与深度
核心概要
视觉语言模型在相机运动、视角变化和物体距离这类度量空间问题上一直吃力,而把几何基础模型的特征对齐进模型潜空间,并不保证模型会使用这些信息。GeoReader把几何先转成冻结视觉语言模型能读懂的连续几何token,再冻结这一接口、用问题条件化的几何注入微调模型做空间问答。在MindCube-Tiny上,Qwen3-VL-4B骨干的GeoReader取得该基准成绩;在六项空间基准上,Qwen3.5-9B骨干的平均成绩达到报告值。
深度剖析
GeoReader把相机位姿和深度这类逐视图几何信号变成视觉语言模型可以直接读取的连续输入token,让几何信息进入回答过程,而不是只停留在中间表示里。 此前的两条路线各有缺口:一条把几何基础模型的特征与视觉token融合,只靠问答监督让模型学会使用;另一条把视觉语言模型的潜表示对齐到几何特征,但捕获几何并不等于使用几何。 已发布的特征对齐模型3DThinker第一阶段检查点,在MindCube-Tiny上把对齐潜变量置零后准确率基本不变,说明其答案几乎不依赖这些潜变量;而GeoReader在同样固定RGB与问题的条件下,去掉几何残差会使准确率下降。
做法分两步:先训练轻量几何读取器,把每个视图的几何编码成一个连续token,再由冻结的视觉语言模型预测几何描述来监督这些token,使几何以目标模型已有的语言能力可读的形式表达。 几何描述只在第一阶段作为训练目标使用,推理时模型直接依据连续几何token作答,不生成几何思维链。 第二阶段冻结读取器以保住这一接口,只微调语言模型和几何注入器;注入器根据图像与问题为每种几何信号设定强度,训练使用约13.5万条多源空间问答样本,读取器预训练使用约6.5万条来自ScanNet与ScanNet++训练场景的几何描述。
几何干预实验显示答案确实依赖所供几何的内容及其与视图的对应关系。 在MindCube-Tiny的受控实验中,使用标注相机几何时,移除几何内容会使准确率下降,打乱各视图之间的位姿对应会使准确率进一步下降。 与普通监督微调在相同问答数据和训练设置下相比,增益集中在需要度量三维理解的问题上,其余问题保持不变。
启示与展望
演示范围是七个空间推理基准与三个视觉语言模型家族,主模型使用Depth Anything 3从RGB预测的相机位姿与深度,消融实验则使用标注几何以排除估计误差。读者对象是研究视觉语言模型空间推理与几何接口的研究人员和工程师。
几何由RGB预测时,位姿与深度估计误差会传导到答案,报告中的失败案例包括参考系混淆;基准成绩不构成导航或机器人控制等安全关键场景的可靠性依据,这类使用需要针对应用的验证与防护。
