高斯泼溅的细节被自身足迹抹平:AGSR 收缩协方差、多孔径渲染,在退化表示上把 PSNR 拉高 4.34 dB
核心概要
三维高斯泼溅能实时合成新视角,但每个高斯在屏幕上的投影足迹相当于低通滤波,细边界和纹理会被抹掉。AGSR 在推理时收缩投影协方差,得到一组孔径由大到小的渲染图,再用一个仅 21K 至 139K 参数的小网络按不确定度、透射率和深度线索逐级融合,作为预训练 3DGS 模型的插件使用。在 Mip-NeRF 360 上,训练图像降采样到 8 倍时,AGSR 比双三次上采样高 1.69 dB PSNR,比原生 3DGS 高 4.34 dB。
深度剖析
高斯泼溅渲染出的画面,其高频细节受限于每个高斯在屏幕上的投影足迹大小,而不是场景表示里根本没有这些信息。 此前的做法要么增加高斯数量做致密化,要么在场景层面重新优化并引入学习到的超分先验,前者带来内存、存储和渲染开销,后者增加优化时间与训练成本。 在 Mip-NeRF 360 上,训练图像分辨率从 2 倍降采样降到 8 倍时,原生 3DGS 的 PSNR 从 28.74 dB 降到 21.15 dB,AGSR 的增益随表示退化而增大。
AGSR 不改动也不致密化底层高斯表示,只在推理阶段把低分辨率渲染放大成高分辨率视图。 它用协方差收缩生成多孔径渲染序列,孔径指渲染图元在屏幕上的有效足迹尺度,收缩后足迹变小、有效带宽变宽,被原生渲染抹掉的结构以跨孔径差异的形式重新出现。 这些差异被汇成一张无参数的结构不确定度场,标出可能欠分辨的区域;网络再以透射率和位置编码深度作为几何门控,分三级逐步注入更高带宽的观测,最终由亚像素重建头输出高分辨率图。
在表示严重欠分辨时,先低分辨率渲染再上采样可以优于直接高分辨率光栅化。 双三次上采样在严重退化下能在 PSNR 和 SSIM 上超过原生 3DGS,因为低分辨率渲染本身引入了更强的低通滤波,压住了退化表示产生的不稳定高频和混叠。 Bonsai 场景的消融把最小投影足迹从 0.3 提到 1.2,原生渲染与双三次上采样之间的 PSNR 差距从 1.75 dB 缩小到 0.22 dB。
启示与展望
评测在 Mip-NeRF 360 基准上进行,底层 3DGS 表示保持冻结,AGSR 输入在固定评测目标分辨率之下再降一档渲染,训练图像按 2、4、8 倍降采样生成不同退化程度的检查点,超分倍率取 2 倍和 4 倍。作者提出后续将研究自适应孔径选择、运行时效率改进以及严重退化表示下的更强复原。
在低退化、2 倍超分的设置下,SAFMN 的 SSIM 为 0.830、LPIPS 为 0.281,略优于 AGSR 的 0.827 和 0.287;作者解释为原生表示已足够高保真时,协方差收缩暴露的额外结构有限、判别性引导变弱。推理速度随激活级数下降,4 倍任务三级配置在 FP32 下为 64 FPS,2 倍任务三级配置为 22 FPS。
