跳到主要内容
返回时间线
arXiv来源发表:

PUMA把语义与噪声证据的匹配质量留在交互里:COVERAGE与NIST16上超过所列代表性方法

核心概要

图像篡改定位通常把语义特征与噪声取证特征做跨分支融合,但常用的Softmax归一化只保留相对权重,丢掉了两组特征整体匹配程度这一线索。PUMA在局部邻域内改用非平衡最优传输,允许传输量随匹配质量变化,并在归一化前保留带符号的质量残差;这些残差再逐位置决定两种传播顺序的混合比例。在四个测试集上,PUMA在COVERAGE和NIST16上的得分超过其对比列表中代表性方法的已发表结果。

Source-provided article image: PUMA: Probability-Constrained Sequential Interaction for Forensic Localization
arXiv

深度剖析

跨分支交互不再只输出归一化后的聚合权重,而是把语义与噪声特征之间的匹配质量本身作为可用信号保留下来。 此前的语义—取证融合方法多用Softmax归一化产生聚合权重,只保留特征间的相对分配,不保留两组特征整体匹配程度的信息。 在四个测试集上,PUMA在COVERAGE和NIST16上的得分超过其对比列表中代表性方法的已发表结果。

交互模块在共享空间网格上先做特征对齐,再用空间约束的非平衡最优传输建立跨分支对应关系。 非平衡最优传输放松了质量守恒约束,使传输的特征量可以随双边匹配质量变化,而不是强制搬运全部信息。 匹配只在每个噪声位置周围半径2的截断RGB邻域内进行,候选位置最多25个,以允许小范围偏移并控制错误对应与计算开销。

两种传播顺序的结果由逐位置门控按质量残差混合,噪声特征经门控残差路径更新。 已有方法通常固定分支内聚合与跨分支传输的执行顺序,无法适应正常区域与篡改边界之间的位置差异。 模块插在预融合接口,骨干网络与预测通路保持不变,更新后的噪声特征与原语义特征一起送入基线原有的融合与定位头。

启示与展望

演示范围是像素级图像篡改定位:在四个测试集上评估,并覆盖若干后处理条件;模块插在预融合接口,骨干网络与定位头沿用基线。

实验支持局部匹配状态与自适应顺序交互对跨来源定位及若干后处理条件有用,但这一结论限于所报告的测试集与对比列表。