驾驶场景4D重建不再依赖数据集标注:FreeForward4D只用RGB视频,在Waymo上全图PSNR超过STORM等标注方法
核心概要
FreeForward4D把训练和推理都改为只使用RGB驾驶视频,不再需要数据集提供的相机参数、LiDAR深度或3D框标注。它把预训练视觉模型给出的相机、深度和物体轨迹校准到同一个米制坐标系,再据此关联跨相机目标并建模运动。在Waymo上,它的全图PSNR为27.66 dB,高于依赖标注的STORM、SLARM-F、UFO、DGGT和StreetForward;但深度误差为7.06 m,高于部分使用标注的方法。
深度剖析
驾驶场景的前馈4D重建现在可以只靠RGB视频完成,训练和推理都不再需要数据集相机、LiDAR深度或3D框标注。 此前的无位姿方法虽然在推理时不需要相机位姿,训练阶段仍依赖数据集标注;Flux4D避开了3D框,却仍需要数据集相机和LiDAR作为输入。 在Waymo上,FreeForward4D的全图PSNR为27.66 dB,分别比需要数据集相机的STORM、SLARM-F和UFO高1.81、0.68和0.40 dB,也比训练时使用标注的DGGT和StreetForward高0.25和0.65 dB。
做法是先把几类预训练视觉先验统一到同一个米制坐标系,再在这个几何上做目标关联和运动建模。 多视角模型只在短时间窗内给出相对深度,且每个窗口各有自己的参考系;单目模型给出逐图像的米制深度;两者的尺度、坐标系和图像网格互不一致。 以重叠窗口共享的图像为锚点,用单目米制深度联合拟合每个窗口的尺度和逐图像偏移,再用重叠相机估计的刚体变换把各窗口配准到同一场景坐标系,并把预测内参换算到重建网格。
物体运动由跨相机共享的速度加上局部高阶高斯修正来描述,渲染时按各源时刻的观测对不透明度加权。 2D目标轨迹原本逐相机独立产生,缺少跨相机对应关系和3D运动,而每个时刻只能看到运动物体的一部分表面。 在Waymo 2秒设置下,去掉物体运动使动态区域PSNR下降1.59 dB,其中共享速度贡献1.35 dB,局部运动头再补上0.24 dB;去掉逐目标归一化后,动态区域PSNR从24.36降到24.04 dB。
启示与展望
演示范围是Waymo验证集上三路前视相机、10 Hz、2秒与8秒时间窗的重建与渲染,以及用RGB微调迁移到nuScenes和Argoverse2;深度精度与动态效果受冻结先验限制。
深度误差7.06 m同时包含尺度、相机和深度误差,且米制尺度来自训练数据含Waymo LiDAR的MoGe-2先验;跨相机关联在标签匹配轨迹上的成对精确率与召回率为0.867和0.647。
