跳到主要内容
返回时间线
arXiv来源发表:

OccSplat补上被遮挡的几何:环视单帧重建在nuScenes把PSNR提到23.50 dB

核心概要

前馈式高斯泼溅能从环视图像直接重建驾驶场景,但只在有观测像素的位置放置高斯,车辆前进后新露出的区域因此出现空洞和拉伸。OccSplat把这一问题改写为遮挡感知的高斯致密化:先用双背景渲染找出缺少高斯支撑的区域,再为这些区域预测新的三维高斯并并入原表示。在nuScenes验证集上,OccSplat取得23.50 dB PSNR,高于DrivingForward的21.76 dB,LPIPS从0.194降到0.182。

Source-provided article image: Quo Vadis, Driving Scene Reconstruction? Occlusion-Aware Gaussian Densification
Fig. 1 · arXiv · 第 2 页

深度剖析

OccSplat把驾驶场景新视角合成的缺口当作三维几何缺失来处理,而不是在渲染出的图像上做修补。 此前的像素对齐前馈方法只在有观测像素的位置生成高斯,当前帧被树木、杆件、围栏或建筑边缘挡住的表面没有任何基元。 在nuScenes验证集上,OccSplat取得23.50 dB PSNR、0.767 SSIM和0.182 LPIPS,对比DrivingForward的21.76 dB、0.767和0.194。

方法在基础高斯表示之上增加一次前馈致密化,先定位无支撑区域,再为这些区域生成并融合新基元。 高斯遮挡映射利用同一表示在两种互补背景色下的两次渲染差异来判定覆盖不足,不需要额外的分割网络或可学习参数。 高斯遮挡补全先用U-Net像素精修器恢复初步渲染的结构,再由深度注意力和特征注意力两条线性注意力分支分别推断几何与外观,并复用基础重建训练好的高斯头生成新基元。

致密化必须限制在真正缺少支撑的区域,否则会在已重建区域引入冗余高斯。 把补全不加定位地施加到整幅图像时,PSNR从21.76 dB降到19.92 dB,SSIM从0.767降到0.747。 仅加入遮挡映射而不加精修器,PSNR已升到22.27 dB;三者齐备时达到23.50 dB,遮挡阈值取0.7时最好,0.99时为22.91 dB,0.5时降到22.55 dB。

启示与展望

评测限定在nuScenes验证集、分辨率下的单帧环视设定,即只观测当前帧、合成下一帧的环视视图;方法面向驾驶场景前馈重建的研究与工程读者。

像素精修器工作在图像空间,无法显式约束跨视角的三维几何一致性,在严重遮挡或大幅自运动揭示未观测内容时可能出现纹理过度平滑;作者提出后续引入显式三维几何与语义先验以及连续帧的时间信息。