跳到主要内容
返回时间线
arXiv来源发表:

3R-Adapter只训练2.8M参数:低光三维重建的Chamfer距离比最强PEFT基线降约27%

核心概要

前馈三维重建模型在低光、人体与场景联合重建、测试时自适应等长尾场景中,跨视角注意力会弥散,导致对应关系失效。3R-Adapter把适配改写为跨视角关系恢复:冻结主干,只插入可变形检索、关系重连和一致性精修三个轻量模块。在Oxford Day&Night上以CUT3R为骨干,它用2.8M可训练参数把Chamfer距离相对最强PEFT基线降低约27%。

Source-provided article image: 3R-Adapter: Retrieval, Rewiring, and Refinement for Efficient Adaptation of 3D Reconstruction Model
arXiv

深度剖析

前馈三维重建模型在分布偏移下失效,原因被定位到跨视角关系结构崩塌,而不是局部特征表示不足。 此前的参数高效微调方法如LoRA和Adapter主要做通道级特征调整,依赖注意力隐式更新跨视角依赖,对关系路由控制有限。 在Oxford Day&Night的夜间图像上,冻结模型的Match@1在精确token匹配下从白天的18.49%降到11.14%,说明跨视角匹配确实变弱。

适配被改写为关系恢复问题,由三个模块协作完成。 可变形检索先在视角维度的滑动窗口内为每个查询token预测偏移和采样权重,把稠密全对全注意力换成稀疏候选。 关系重连用双线性采样取出候选并按学习权重聚合,一致性精修再以残差方式注入冻结主干特征;在Oxford Day&Night、CUT3R骨干上,三模块全开时Chamfer距离为0.581,仅开检索为1.152,检索加重连为0.842。

在低光重建上,3R-Adapter以最少的可训练参数取得所比较PEFT方法中最好的结果。 在CUT3R骨干上,它用2.8M可训练参数,Chamfer距离比最强PEFT基线低约27%。 在更强的置换等变骨干上,它用3.2M参数把Chamfer距离相对原骨干降低约32%;测试时自适应中,它在7-Scenes和NRGBD上分别比最强PEFT基线降低约9%和约7%。

启示与展望

演示范围限于Oxford Day&Night低光重建、BEDLAM人体与场景联合重建,以及7-Scenes和NRGBD上的测试时自适应,主干为DUSt3R、CUT3R和置换等变模型;适配模块在对应训练划分上训练,测试时自适应则对每个测试场景单独用自监督重建损失优化。

方法仍依赖预训练主干学到的表示与几何先验,只重组已有的跨视角关系而非从头学习重建能力;当主干提取不到有意义的视觉特征或输入远离预训练分布时,检索与重连可能受限。滑动窗口提升效率,但可能限制极长序列或大视角变化场景中的远距离关系建模。