DeepBA把光束法平差学成图网络:2.04M参数从冷启动解出相机位姿,视角越多越快过COLMAP
核心概要
DeepBA把多视图重建里逐场景求解的光束法平差换成一个可学习的图神经网络迭代精化器,只吃现成匹配器给出的二维匹配,从冷启动同时恢复相机绝对位姿、内参和场景结构。它用尺度不变的监督在度量单位各异的数据集上混合训练,2.04M参数下在CO3Dv2与RealEstate10K上领先此前的基于匹配学习式SfM,在中等精度阈值上与经典SfM相当,并随视角数增长在耗时上反超。
深度剖析
多视图重建的求解环节多了一个可学习的替代品:DeepBA不再对每个场景单独求解非线性最小二乘,而是用共享权重的图神经网络在相机与匹配构成的视图图上反复修正估计。 经典光束法平差在良好初始化下接近最优,但依赖增量式SfM用启发式和逐场景调参获得初值,这些启发式在弱基线和平面结构上会失效。 在CO3Dv2与RealEstate10K上,DeepBA取得RRA@15° 97.4、RTA@15° 89.2、AUC@30° 78.6与84.0,领先同样使用eLoFTR匹配的GASfM(AUC@30° 71.2与82.8),并在两个基准的全部指标上超过COLMAP与GLOMAP。
每次迭代都从当前状态重新计算几何特征,再由预测头输出状态增量并复合回状态,因此测试时的迭代次数可以独立于训练计划自由选择。 此前的学习式SfM多先用网络回归重建、最后仍接一次经典光束法平差,部分方法还要在测试场景上微调网络。 网络只读取二维匹配,同一套训练权重可直接跑在SIFT、SuperPointLightGlue、ALIKEDLightGlue、eLoFTR和DKM五种前端上而无需重训,在四个多视图基准上评测。
监督信号被设计成不依赖度量尺度:旋转用弦距离、平移只比较方向,再配合重投影与三维自一致损失,使度量单位互不兼容的数据集可以混合训练。 绝对位姿不直接接受真值监督,而是通过成对相对位姿的共识被拉动,类似位姿图优化,从而跟随相对位姿的逐步精化。 训练混合了MegaDepth、CO3Dv2、ScanNet、BlendedMVS、DL3DV和Calle,无需逐场景归一化;在DTU结构评测中,DeepBA是学习式匹配SfM里唯一在全部扫描上产出非空重建的方法,15/15成功。
启示与展望
评测覆盖CO3Dv2、RealEstate10K、ETH3D、DTU、Mip-NeRF 360和IMC2021六个基准,其中五个不在训练混合中,用于衡量跨数据集泛化;相机模型限定为针孔模型,图像集合按无序、内参未知处理。
作者列出四项遗留限制:平面场景上的焦距—深度歧义、学习式更新在部分场景上的漂移、紧阈值下的精度,以及针孔相机模型;在bonsai场景上,即使从真值出发,DeepBA仍会把相机持续倾斜。
