Vantage 让 VLM 先“找视角”再推理,六个模型在五个空间基准上免微调平均提升 6.7%
该工作提出 Seek-and-View 范式与免训练、模型无关的 Vantage 框架:VLM 先分析问题并规划一个相对参考视角的相机动作,再由 3D 基础模型重建场景并重投影合成该视角,连同推理上下文一起送入最终答题;在六个 VLM、五个空间推理基准上无需微调即取得一致提升,平均准确率增益 6.7%。
该工作提出 Seek-and-View 范式与免训练、模型无关的 Vantage 框架:VLM 先分析问题并规划一个相对参考视角的相机动作,再由 3D 基础模型重建场景并重投影合成该视角,连同推理上下文一起送入最终答题;在六个 VLM、五个空间推理基准上无需微调即取得一致提升,平均准确率增益 6.7%。
该工作提出 SpatialSpeak 两阶段框架:第一阶段以问答形式联合训练局部标记点 3D 坐标与全局物体中心重建(QA-RP),第二阶段用带视觉补偿的空间思维链(CoT-VC)监督模型表达并运用几何估计,在 ReVSI 上把 CoT-VC 带来的增益从 2.6 分提升到 6.9 分,并以 4B 参数在 ReVSI(62.8)、VSI-Bench(73.0)和 SPAR-Bench(76.0)上取得所比较方法中的最好结果。
已读完全部报道