跳到主要内容
返回时间线
arXiv来源发表:

高斯流式重建改按物体分配锚点:OCLDA-GS在N3DV上比IGS高0.169 dB,关键帧间画质跌落少9.2%

核心概要

在线高斯流式重建此前把锚点均匀铺在整幅场景上,靠邻域插值传播运动,物体边界附近容易混入不属于该物体的运动。OCLDA-GS改为按物体分组:用光流把固定锚点预算更多分给运动大的物体,插值只在同组内进行,再用每个物体的刚体运动估计去学习逐锚点的局部形变修正。在相同细化预算下,它在N3DV、Meeting Room和Google Immersive上分别比Instant Gaussian Stream高0.169 dB、0.202 dB和0.199 dB,并把关键帧之间的平均PSNR跌落分别减少9.2%和13.8%。

Source-provided article image: OCLDA-GS: Object-Centric Local Deformation-Aware Gaussian Streaming
arXiv

深度剖析

在线流式高斯重建开始按物体而不是按整幅场景分配运动锚点,物体边界附近的运动传播被限制在同一物体组内。 此前的IGS、ReConGS一类方法假定相邻高斯共享同一条三维形变轨迹,并用最远点采样或层级采样挑选锚点,在锚点预算有限时可能把过多支持分给静止区域。 在N3DV、Meeting Room和Google Immersive三个动态多视角数据集上,与IGS使用相同的初始化和细化预算时,OCLDA-GS的PSNR分别为33.046 dB、30.290 dB和23.798 dB,对应比IGS高0.169 dB、0.202 dB和0.199 dB。

每个物体先估一个整体刚体变换,再在这个基础上学习逐锚点的小幅形变修正,因此衣服褶皱这类非刚体细节不必靠逐帧细化来补。 此前的方法只做锚点运动特征插值,不区分物体共享的刚体分量和物体内部的局部非刚体形变。 刚体变换由Kabsch算法对每个物体锚点的预测对应位置做最小二乘拟合得到,残差网络以冻结的光流模型特征、锚点运动特征、位置编码、刚体相对位移、语义特征和时间偏移为输入;在N3DV与Meeting Room上,从关键帧起第0到第4帧的平均PSNR跌落由0.622 dB降到0.565 dB、由1.927 dB降到1.662 dB。

启示与展望

评估覆盖N3DV、Meeting Room和Google Immersive三个动态多视角视频数据集,在线对比对象为IGS、ReConGS、3DGStream和QUEEN,离线方法仅作参照;重建时间不含初始高斯重建。

方法依赖物体分组质量,分组不准会限制物体感知的运动传播;刚体机制假定每个物体组存在一个有用的主导刚体变换,对关节型物体可能不准确;学习到的局部形变修正只更新高斯位置,不修正朝向、尺度和外观。