跳到主要内容
返回时间线
arXiv来源发表:

相隔数天的稀疏回访也能精确回放:ReScene 每次只存不可变增量,历史存储省 2.5–4.8 倍

核心概要

同一场景隔数小时或数天再拍,物体可能移动、消失或变形,而每次回访只有少量图像。ReScene 把每次回访存成一份不可变的紧凑更新,按顺序叠加即可精确还原任一早期回访,无需保留旧图像;它按合成权重把新旧渲染的像素分歧归到单个高斯上,据此压制过时高斯、细化持续表面,并用学习到的多视图深度初始化新暴露表面。在 Multi-State、WAT 与 ChronoScene 上,其重建质量与 3DGS 逐次检查点相当或更高,未压缩历史存储减少 2.5–4.8 倍。

Source-provided article image: ReScene: Incremental Scene Chronology from Sparse Revisits
arXiv

深度剖析

场景编年不再需要为每次回访保存一份完整模型:每次回访只存一份紧凑更新,按顺序施加即可精确恢复任一早期回访,且不需要保留过去的图像。 逐次微调并保存检查点的做法会把未变化的部分重复存一遍,存储随回访次数冗余增长;而只维护一个共享模型并持续更新,则会改动早先的状态。 在 Multi-State、WAT 和 ChronoScene 上,重建质量与 3DGS 逐次检查点相当或更高,未压缩历史存储减少 2.5–4.8 倍;逐次更新的 ChronoGS 在最终召回时于早期回访上损失 4.16–8.67 dB。

更新只落在真正变化的高斯上,未变化表面基本不动,因此后续回访不会把先前状态改坏。 稀疏视角下,新旧图像的分歧既可能来自场景变化,也可能来自重建误差,而咬掉一口番茄这类局部变化只占很小区域,定位不准就会漏更新或误改持续表面。 在 Multi-State 真实场景上,把光度变化掩码换成 CL-Splats 的 DINOv2 掩码或 LTGS 的 SAM 掩码,PSNR 分别下降 0.55 和 2.01 dB;对 CL-Splats 自己的掩码改用其投影中心投票而非合成权重归因,PSNR 再下降 2.70 dB。

新暴露的表面由跨视角一致的学习深度初始化,而不是依赖需要较大视角重叠的三角化。 打开烤架盖露出的内壁这类表面在旧模型中没有对应高斯,稀疏回访又难以提供三角化所需的视角重叠。 在 Multi-State 合成场景上,与逐次 ChronoGS 到达时 PSNR 仅差 0.64 dB 的情况下,前景深度误差为 44.59 mm,而后者为 144.19 mm,约为其三分之一。

启示与展望

演示范围是每次回访至多 24 张训练图像,且每次回访内部场景保持静止、不同回访之间状态发生变化;评测覆盖 Multi-State 的 4 个真实场景与 4 个合成场景、WAT 的 10 个场景和 ChronoScene 的 12 个场景,合成场景提供每次状态的几何真值,真实场景的相机位姿为离线估计并对齐。

当引导更新的证据不可靠时,渲染可能出现重影:遮挡和外观变化会污染变化支持并误导压制,深度误差会错放新生成的高斯,使其与已有表面重复。消融为单种子比较,描述的是观察到的差异而非统计确立的效应;细化并非在每个场景都有益,Plant 场景上去掉细化反而使 PSNR 从 30.07 升到 31.04 dB。