跳到主要内容
返回时间线
arXiv来源发表:

多机位不必同时按快门:OffBeat 只改各相机何时触发,动态区PSNR比4DSloMo全流程高3.04 dB

核心概要

多机位4D重建通常让所有相机在同一时刻曝光,帧与帧之间的快速运动因此丢失。OffBeat把错峰触发的相机阵列当作空间分布的多陪集采样器,仅凭标定决定哪些相机同组、按什么顺序触发,并给出原语时间窗至少一个相机帧间隔的下界。在N3DV的模拟错峰采集中,它的动态区PSNR比带视频扩散的4DSloMo全流程高3.04 dB,在首末同步帧之间比各场景最好的同步方法高1.98 dB。

Source-provided article image: OffBeat: Multicoset Sampling for 4D Capture Beyond the Camera Frame Rate
arXiv

深度剖析

相机阵列可以不改帧率、不加相机,只改每台相机何时触发,就让重建跟上同步采集漏掉的快速运动。 同步机位在每个相机帧间隔只记录一次,增加相机只增加同一时刻的视角,时间带宽仍停在一个相机帧率;4DSloMo虽已错峰,但其模调度让每一排相机按位置顺序依次触发。 在N3DV六个场景的模拟错峰采集上,OffBeat的动态区PSNR比带视频扩散的4DSloMo全流程高3.04 dB,全帧PSNR高4.35 dB。

按位置顺序依次触发的一排相机,在行为上等同于一台匀速移动的相机,深度与运动因此纠缠在一起。 这种退化与单相机观测匀速运动目标时的深度—速度模糊同源,重复扫描只能对保持速度的点起作用,对火焰、翻动食物这类快速非刚性运动无效。 对一条直线上依次触发的相机,任意数量相机的费舍尔信息都是奇异的;在N3DV上,只有两排之间的垂直偏移让信息保持非奇异。

触发分组与触发顺序可以只从标定算出,不需要采集任何视频。 此前错峰采集的调度是人为设定的模偏移,没有按可辨识性挑选分组,也没有按新视角预测方差挑选顺序。 分组最大化工作体积内信息矩阵最小特征值的平均,顺序最小化新视角的预测方差,两者在CPU上数秒内完成局部搜索;模调度在N3DV各场景的预测方差是OffBeat的2.2至2.4倍。

要让一个原语不偏向任何触发组,它的时间窗必须至少持续一个相机帧间隔。 此前Spacetime Gaussians用高斯型时间不透明度,窄窗会偏向某一组,使该组共享的颜色或标定误差被只在那些时刻出现的内容精确拟合,在新视角中表现为相机帧率上的闪烁。 命题证明:对所有组数、所有中心都等权的时间窗,恰是长度为一个相机帧间隔的盒函数的卷积;据此构造的闭式平滑盒窗在几乎相同PSNR下比高斯窗闪烁更少。

启示与展望

演示范围是对30 fps视频下采样得到的模拟错峰采集,覆盖N3DV六个场景与PanopticSports六个序列,测试视角为留出的相机0;调度需要在采集前完成标定。在PanopticSports首末同步帧之间,OffBeat的动态区PSNR与带插值的同步采集相当。

在4DSloMo的真实错峰录制上只测试了寿命下限,用于其重建阶段,未发现可靠增益;周期窗在该阶段会降低一个N3DV验证场景的动态区PSNR。OffBeat比同步STG更敏感于模拟的触发时刻误差与光度误差,而真实机架会引入这类误差。短于一个相机帧间隔的内容无法表示,一组相机两次触发之间最快的运动仍然模糊。