跳到主要内容
返回时间线
arXiv来源发表:

IGRecon4D把动态车辆从静态背景里分出来:Waymo全图PSNR比DGGT高2.58 dB

核心概要

前馈式4D驾驶场景重建此前容易把行人、车辆等交通参与者混进静态表示,并在不同视角间出现高斯位置漂移。IGRecon4D在训练阶段用实例级语义分支蒸馏出动态掩码先验,同时用稀疏LiDAR引导稠密深度、反投影锚定高斯位置。在Waymo Open Dataset上,其全图PSNR为29.51 dB,比最强基线DGGT高2.58 dB,LPIPS从0.116降到0.102;零样本nuScenes上交通参与者区域指标最优,但全图指标并非最高。

Source-provided article image: IGRecon4D: Dynamic-Object-Aware Feed-Forward Reconstruction of Driving Scenes
arXiv

深度剖析

IGRecon4D把驾驶场景的前馈4D重建拆成两件互相牵制的事:哪些像素属于可能移动的交通参与者,以及每个高斯点该放在哪里。 此前的静态前馈重建方法主要面向静态场景,而DGGT等前馈动态方法在复杂驾驶场景中仍难以同时保证几何准确、多视角一致和交通参与者区域定位。 在Waymo Open Dataset验证集上,IGRecon4D的全图PSNR为29.51 dB,DGGT为26.93 dB,相差2.58 dB;LPIPS由DGGT的0.116降至0.102,SSIM为0.869,略高于DGGT的0.868。

动态掩码不是从运动标签学来的,而是由一条与重建共享特征的实例语义分支提供先验,再通过一致性约束传给动态掩码头。 该分支用可学习实例查询预测实例掩码,训练分两阶段:第一阶段用伪实例标注训练语义分支,第二阶段冻结它,并把其预测实例掩码的并集作为动态掩码的监督目标。 消融中,去掉该约束、改用DGGT预训练动态头后,交通参与者区域PSNR从26.76降到23.81,该区域SSIM从0.858降到0.774。

高斯位置不直接由图像回归,而是由稀疏LiDAR投影得到的深度图经预训练深度网络补密后反投影确定。 直接回归3D位置在大规模驾驶场景中不稳定,而稀疏LiDAR只覆盖部分像素,需要先恢复稠密深度。 消融中,把LiDAR引导深度换成DGGT采用的DPT式稠密深度预测后,全图PSNR从29.51降到25.20,LPIPS从0.102升到0.213,D-RMSE从4.610升到11.584。

启示与展望

评估覆盖Waymo Open Dataset验证集202个场景,以及nuScenes上的零样本测试;输入为三前视相机、稀疏LiDAR和20帧连续片段,推理在单张RTX Pro 6000上完成。作者把更长时序窗口、更多相机配置和更大规模场景列为后续方向。

实例级先验是语义而非运动状态监督,因此无法区分同一类别中的静止与运动对象,例如停放与行驶的车辆。零样本nuScenes上全图PSNR、SSIM和LPIPS由AnySplat取得更好结果,IGRecon4D的优势集中在交通参与者区域。作者还报告夜间路灯照明场景的重建未能复现灯光投射。