PanDWM把六路环视拼成一条360度全景带:四步生成,比多相机基线快8到46倍
核心概要
PanDWM把自动驾驶世界模型原本分开生成的六路环视视频,改成一条360度全景带,让相机边界落在同一张图内,跨视角一致性问题变成图像内部的空间连续性问题。它用块因果扩散模型逐窗口生成,四步学生模型在自身生成的历史上训练,再沿标定光线把每帧提升为3D高斯并补成4D场景。在nuScenes的统一全景视图评分中,它的FID与FVD低于多相机基线,速度为后者的8到46倍,并保持其50步教师模型的FID、把FVD降低22%到25%。
深度剖析
环视视频不再按六个相机分别生成,而是拼成一条360度全景带,相机边界因此落在同一张图像内部。 此前的布局条件生成器把环视场景表示为六路透视视频,各相机光心不同、重叠很小,跨边界的内容被拆到两张分别生成的图像里,一致性要靠视角间注意力、条件依赖或拼画布来维持。 在nuScenes上按同一条拼接后的360度视图评分,PanDWM的FID与FVD低于UniMLVG、OpenDWM、DreamForge、DiST-4D和OmniNWM,每帧1.96秒,比这些基线快8到46倍。
生成过程按窗口因果推进,每个窗口只由四步学生模型去噪完成,学生模型在训练时就以自己生成的帧作为历史。 长视频通常逐片段生成,每片段需要数十次去噪评估,且训练时看到的是录制历史、推理时看到的是自己生成的历史,两者存在落差。 学生模型由50步教师经因果一致性蒸馏初始化,再用分布匹配蒸馏和对抗损失在自生成历史上训练;在Val-150上它的FID为10.1,教师为9.93,而每窗口去噪评估从100次降到4次。
每帧全景潜变量沿标定源相机光线一次性提升为像素对齐的3D高斯,相邻帧的静态高斯按自车运动对齐后补成4D场景。 此前把生成视频提升为3D或4D场景的方法从逐相机视频重建,会继承相机之间的接缝。 在Test-S录制片段的重建上,4D高斯在两种分辨率下的PSNR和SSIM均优于对比方法,AbsRel在仅用相机的方法中最低;在其中一个分辨率下比ReconDrive高1.1 dB,AbsRel为0.298对0.663。
启示与展望
演示范围是nuScenes的150个验证场景及其长时推演子集,评分在统一拼接的360度视图与六路真实相机视图两套空间中进行,高斯部分在Test-S录制片段与生成片段上评估。读者对象是从事驾驶世界模型与场景重建的研究者。作者提出用累积静态高斯的渲染作为更长记忆,并把运动物体的4D补全留作后续工作。
每个窗口只看到最近三帧生成历史,Test-L的FVD从窗口3至5的86.6升到窗口9至11的126.6。4D补全只覆盖静态内容,运动物体未被观测的部分仍为空。在只给条件、不给录制历史的设置G下,PanDWM的FVD-1高于UniMLVG与MagicDrive-V2,作者说明它主要是预测模型。与UniMLVG相比,六相机视图中的FID差异不显著,FVD-1反而更高。
