高斯泼溅学会按预算取舍:BudgetSplat 一个模型在测试时调保留比例,5% 预算仍守住渲染质量
核心概要
前馈式三维高斯泼溅从每张输入图像逐像素生成高斯,表示体积随图像分辨率和视角数迅速膨胀,且跨视角重复。BudgetSplat 把压缩写成重要性、空间覆盖与跨视角冗余的联合问题,用同一个训练好的模型在测试时按用户给定的保留比例调整高斯数量,无需按预算重训或逐场景后处理。在 ScanNet 与 Replica 上,它在不同视角数和保留比例下给出稳定的质量—体积折中,5% 预算下仍保持渲染质量。
深度剖析
同一个前馈模型现在可以在推理时按用户给定的保留比例决定最终保留多少高斯,而不必为每个预算重新训练,也不必对每个场景单独做压缩。 此前的固定容量方法把表示大小绑定在特定的场景 token 或解码器配置上,场景更大或更复杂时可能需要重训更高容量的模型;后处理压缩方法则要对已重建的高斯集合再做一次逐场景处理或优化。 在 ScanNet 上,同一训练模型在 2、3、10 个上下文视角下评测,并支持任意保留比例;25% 预算下与 EcoSplat 的高斯数量相同,渲染指标全面更高。
压缩不再只是按不透明度排序截断,而是同时考虑哪些高斯重要、保留后空间是否铺得开、以及不同视角是否在重复观测同一块三维区域。 直接对常规训练的逐像素模型套用与预算无关的 Top-K 规则,会把高斯过度分配给显著或高不透明度区域,让弱纹理区域覆盖不足。 在 ScanNet 上固定 25% 预算、保留 147k 高斯的消融中,仅用逐视角不透明度 Top-K 的基线 PSNR 为 13.02,加入帧内结构与覆盖监督后升到 24.80,完整组合达到 26.77。
预算信息被注入到高斯预测的特征里,使不透明度和高斯属性随请求的保留比例一起变化,而不是对同一组预测施加不同的截断。 若只改变选择预算,等于对与预算无关的高斯预测施加不同强度的截断,预测本身不会随预算调整。 保留比例经轻量卷积嵌入成预算特征,加到基础特征后再预测不透明度、协方差与颜色;训练第二阶段随机采样保留比例并逐步向低比例偏移,用 top-k 渲染联合优化。
选择阶段先在每个视角内分块预选,再在同一视角的候选池内按不透明度统一排序,最后用三维非极大值抑制去掉几何冗余。 只在单块内排序会让保留的高斯聚集在显著区域,平滑或弱纹理区域留下空洞。 消融中在帧内监督与 alpha 补全之上加入覆盖感知预算选择,PSNR 从 26.14 升到 26.75,原文称这一提升大于加入跨帧冗余加权的提升。
启示与展望
演示范围是 ScanNet 室内重建与 Replica 上的零样本跨数据集泛化,覆盖 2、3、10 个上下文视角和多个测试时保留比例;10 视角对比统一在 25% 预算下进行,因为若干逐像素基线在 RTX 4090 上以 100% 预算会显存不足。
方法依赖图像梯度与估计几何构造伪监督,图像质量下降或深度误差可能在非常紧的预算下影响选择;它压缩的是最终表示与渲染开销,逐像素的稠密预测骨干仍然保留。
