跳到主要内容
返回时间线
arXiv来源发表:

Mamba图像修复不再用固定扫描:CoScan按图像内容学遍历顺序,三个骨干上指标齐升

核心概要

Mamba类图像修复模型要把二维特征图压成一维序列,扫描顺序固定时,退化图像上的相邻像素容易被拆散。CoScan把扫描顺序改为按图像内容学习:用可微代理评估器监督扫描质量,从细尺度最小生成树粗化出多尺度遍历,并用频域显著性选择起点。接入MambaIR、EAMamba、MaIR三个骨干后,在低光增强、去模糊、去雨滴、去雾和超分基准上均取得提升,且不增加额外计算开销。

Source-provided article image: CoScan: Multi-Scale Content-Adaptive Space-Filling Scans for Causal State-Space Image Restoration
arXiv

深度剖析

图像修复用的因果状态空间模型不再依赖固定的空间填充扫描,扫描路径改为随输入图像内容变化。 此前的Z形、蛇形、窗口、对角和希尔伯特曲线等扫描都遵循空间填充原则,但顺序固定、与内容无关,在退化条件下容易出现频繁跨边界或长距离跳变,使上下文碎片化。 在LOL低光增强上,CoScan接入MaIR后PSNR比MaIR骨干高0.87 dB,接入MambaIR高1.07 dB,接入EAMamba高0.89 dB;CoScan+MaIR的PSNR比表现最好的非Mamba基线Restormer高0.66 dB。

扫描顺序由一个可微的学习流程生成,而不是在推理时临时搜索。 最小生成树构造本身不可微,无法直接用梯度优化扫描质量,因此引入一个评估器来预测扫描质量目标,作为可微的代理信号。 评估器以Dafner权重和生成器权重两种配置产生的真实目标向量为回归目标训练;生成器在评估器固定后通过代理预测反向传播更新,并只对自相关项施加相对Dafner参考的边际约束。

多尺度遍历由细尺度最小生成树粗化得到,起点由频域显著性决定。 直接对曲线降采样会引入断点和跳变,而每个尺度单独生成曲线计算代价高且可能跨尺度不一致。 在LOL上以MaIR扫描替换为生成曲线为基线,逐步加入多尺度扫描缩放、频率引导起点选择和前缀全局token,分别带来0.45 dB、0.54 dB和0.19 dB的PSNR提升。

启示与展望

演示范围是低光增强、去模糊、雨滴去除、去雾和超分辨率五类修复任务,覆盖LOL及四个真实低光数据集、GoPro与HIDE、Raindrop、RESIDE-6K,以及Set5、Set14、B100、Urban100、Manga109等超分测试集;CoScan作为扫描替换模块接入MambaIR、EAMamba和MaIR三个骨干。对高分辨率图像,扫描生成与推理按图像块分别进行。

高分辨率下按图像块独立生成扫描顺序,可能限制跨远处图像区域的极长程依赖建模;高层次视觉任务上的结果只被描述为有希望,未给出具体数值。消融中移除小批量权重平均反而带来0.34 dB的PSNR提升,这一项与其余组件的方向不同。