复合退化不再按加法拆开:PROBE沿退化轴探测交叉响应,CDD-11平均PSNR达30.77 dB
核心概要
复合图像复原长期把低照、雾、雨、雪等退化拆成独立因子分别处理,但同一退化在不同共存状态下的表现并不相同。PROBE把退化表示为可探测的坐标轴,沿轴施加双向扰动并对照同等强度的单一退化参考,从而量化因子之间的非加性偏差。在CDD-11上,PROBE平均达到30.77 dB/0.898 SSIM,高于CART的29.95 dB/0.894,并在全部七种复合条件下两项指标均领先。
深度剖析
复合退化被当作可加因子的做法不再够用,复原模型需要同时知道每种退化有多重、以及一种退化如何改变另一种退化的响应。 此前的全能复原与复合复原方法用场景级或因子级描述刻画退化内容与组成,隐含地把共存退化视为可加或可分离。 在SCD-15的雾–雪与雾–雨样例上,把两种单一退化相对同一干净图的变化相加,其预测与复合退化实际变化之间的均方根误差分别达到观测复合潜空间位移的33.0%和35.7%。
PROBE把退化状态写成坐标,并测量沿某一退化方向轻推特征时其他坐标如何变化,用这组响应指导复原。 语义锚定的退化轴把文本中退化与干净提示的嵌入差对齐到视觉特征残差方向,坐标头再沿这些轴读出每种退化的相对严重程度。 在CDD-11的11种条件上做宏平均消融,仅加入坐标条件即从基线28.98 dB升到30.17 dB,坐标、归一化响应与参考相对偏差三者合用达到30.77 dB/0.898 SSIM。
交叉响应要减去同等强度的单一退化参考,剩下的才是多退化耦合带来的非加性部分。 由于任何输入都会沿所有轴探测,单一退化本身也会产生跨坐标响应,直接使用响应矩阵会把这种固有敏感度误记为耦合。 在200个CDD-11低照–雪测试场景中,对雨到雪的响应预测与加雨后重编码得到的雪坐标变化比较,逐场景符号一致率为99.2%,200个场景中有196个场景内Spearman相关为正。
启示与展望
演示范围是CDD-11、AWMM-100K与SCD-15三个复合复原数据集,其中SCD-15用2000张Cityscapes干净图合成15种非空退化组合、每种三档强度,并以CDD-11的11种条件训练、在全部15种条件上测试,雨–雪、低照–雨–雪、雾–雨–雪与四因子组合在训练中被留出。读者对象是从事全能复原与复合复原的研究人员和工程师。
坐标被明确描述为相对程度而非概率或绝对物理量;交叉响应预测在与重编码坐标变化比较时,温和与较强变暗下的场景内Spearman相关均值分别为0.537与0.564,属于中等相关;在AWMM-100K的雨–雪条件上,MoCE-IR以36.50 dB高于PROBE的35.49 dB。
