跳到主要内容
返回时间线
arXiv来源发表:

近红外引导去噪不再要求对齐:UGD-FM 用一两步推理处理二维大位移错位

核心概要

UGD-FM 把跨模态引导去噪改写为条件流匹配:从带噪 RGB 出发,沿一条渐进路径把图像分布推向干净图像分布,同时逐步聚合未对齐的近红外引导。此前多数引导去噪方法要求两幅图空间对齐,少数放宽到小基线水平校正立体对;UGD-FM 面向严重噪声与二维大范围错位并存的设置,在 FANVID、RGB-NIR Scene 和 MS2 上优于所比较的单图去噪与引导去噪基线,且只需一到两步推理。

Source-provided article image: Unaligned Image Guided Denoising via Cross-modal Conditional Flow Matching
arXiv

深度剖析

引导去噪的输入条件被放宽:带噪 RGB 与近红外引导可以来自不同相机、存在二维大范围空间错位,而不必先做对齐或只处理水平校正的小基线立体对。 此前的引导去噪方法大多假定带噪 RGB 与引导图空间对齐,近期工作虽扩展到跨模态立体对,但仍限于水平校正、小基线的图像对。 在 FANVID、RGB-NIR Scene 和 MS2 三个数据集、三种噪声设置下,UGD-FM 在 NAFNet、Uformer、Restormer 三种主干上均优于五种单图去噪与五种引导去噪基线;消融中把错位从对齐逐步加大,NAID 仅在 aligned 或轻微错位时表现良好,UGD-FM 随错位增大仍保持较强性能。

去噪被组织成一条渐进轨迹:图像越干净,跨模态对应越容易建立,聚合到的引导又反过来改善下一步的速度预测。 直接回归式方法要从高度损坏的目标状态中一次性估计可靠的跨模态对应,在严重噪声与错位下效果受限。 在 FANVID 的 Poisson-Gaussian 噪声设置下,以 Restormer 为主干,标准流匹配的一步 PSNR 为 30.28,与直接回归的 30.27 相当或略好,而标准流匹配的两步推理把 PSNR 提升到 30.34。

少步推理靠训练与推理状态对齐实现:训练时间步集中在两个关键阶段,并用求解器实际到达的状态替代插值状态。 标准流匹配增加求解步数会带来额外计算,并可能在迭代更新中累积预测误差。 在 FANVID 消融中,累加阶段聚焦采样与推理一致状态构造后,两步 PSNR 分别升到 30.42 和 30.58;标准流匹配到 8 步时 PSNR 与 SSIM 反而下降。

大范围匹配只保留少量高置信候选并逐级细化,避免在每个解码尺度做稠密搜索。 稠密大范围匹配在高分辨率下计算代价过高,全局注意力在该设置下直接出现显存不足。 在 FANVID 消融中,无注意力时一步 PSNR 为 28.97,窗口注意力为 29.64,稀疏传播为 30.29;全局注意力报告显存不足。

启示与展望

评测覆盖 FANVID、RGB-NIR Scene、MS2 三个数据集与 RNS 真实双相机数据集;噪声设置包括高斯噪声与两种 Poisson-Gaussian 噪声,其中训练用的退化观测由向干净 RGB 随机加入 Poisson-Gaussian 噪声合成;错位在 FANVID 与 RGB-NIR Scene 上由三维高斯表示渲染的虚拟视角构造,MS2 与 RNS 为真实多相机采集;推理时间与峰值显存在单张 NVIDIA RTX 4090 上测量。

严重三维视差下遮挡与跨视角观测不完整会让局部引导变得模糊或不可靠;联合修复与跨模态对齐也带来额外计算开销。作者还提示恢复图像可能包含看似合理但不准确的细节,用于安全攸关场景需要额外验证与不确定性评估。