SpatialScout-V2把主动建图搬进真实住宅:七个前沿视觉语言智能体里六个全目标平均IoU不足20%
核心概要
SpatialScout-V2把主动物体中心建图任务从仿真场景扩展到100个真实住宅拍摄场景,覆盖29类共3171个目标物体,智能体需在120轮交互预算内自行选择已记录视点、采集校准RGB图像并提交或修正三维中心。评测七个前沿视觉语言模型时,六个全目标平均IoU低于20%,表现最好的Claude Opus 5.5也只有22.52%,且仅18.36%的目标IoU超过0.5。
深度剖析
主动三维建图的评测对象从仿真渲染图像换成了真实住宅的实拍全景,智能体要在保留原始遮挡与非目标物体的场景里自己找视点、自己估物体中心。 此前的SpatialScout在仿真室内场景中做同一套基于清单的建图任务,渲染时还会隐藏未被选中的候选物体。 新基准取自Realsee3D真实住宅子集的100个测试场景,参考标注由多视角自动流程生成并逐框人工复核,共3171个目标、29个类别。
智能体拿到一份固定目标清单和一组已记录的相机位置,通过移动、转向、拍照和三角测量逐步把每个目标的三维中心写进地图。 三角测量工具用智能体自己标记的多视角对应点做最小二乘射线求交,要求至少一对相机间距不小于5厘米,并返回射线残差与最大夹角作为一致性诊断。 每个场景最多120个模型轮次,深度图、分割掩码和参考框都不对智能体开放,评分用参考尺寸包围盒平移到预测中心后计算三维IoU,并区分全目标与已提交目标两套口径。
高分并不等于定位准:提交覆盖广的模型仍可能把中心放偏,而漏交目标会进一步拉低全目标分数。 GPT-6 Astra已提交目标平均IoU为21.65%,接近Opus的22.58%,但纳入遗漏后全目标只有15.50%,比Opus低7.02个百分点。 Opus从已提交到全目标只下降0.06个百分点,Astra下降6.15个百分点;MiMo、Qwen、DeepSeek两套口径数值相同,但平均IoU分别只有8.68%、4.87%和5.49%。
启示与展望
评测范围限于Realsee3D真实住宅子集的100个测试场景与3171个目标物体,智能体只能从已记录的扫描位置中选择视点,深度图与参考标注不进入交互接口。
结果只覆盖七个以xhigh推理设置运行的前沿视觉语言模型,且只统计最终成功调用finish_mapping并通过清单校验的轨迹;作者对10个场景共70条轨迹的人工分析显示,缺少三角测量支撑的位置估计是最常见的失败模式。
