跳到主要内容
返回时间线
arXiv来源发表:

视觉定位模型被隐形扰动打回零召回:ARAFT 在 5 点干净精度预算内把鲁棒 R@1 提到 47.3

核心概要

当前基于 DINOv2 的视觉位置识别模型在查询图像受到不可见扰动时几乎丧失全部 top-1 召回:在排序攻击下,SuperVLAD 与 BoQ 在四个基准上的 R@1 至多 0.2%。ARAFT 在预训练模型上联合使用干净图像的原度量学习损失、针对最难正样本的列表式排序损失,以及把对抗描述子拉回冻结预训练模型干净描述子的锚定项,并在事先固定的干净精度预算下挑选检查点。在验证集 5 点干净 R@1 预算内,普通对抗训练没有可用检查点,ARAFT 把鲁棒 R@1 从零提高到 SuperVLAD 的 47.3 和 BoQ 的 55.3。

Source-provided article image: Anchored Rank-Adversarial Fine-Tuning Pretrained Visual Place Recognition Models
arXiv

深度剖析

已发布的视觉位置识别基础模型在查询图像被微小扰动后基本无法定位:攻击者只需改动查询,就能让系统报出错误地点。 此前的视觉位置识别鲁棒性研究关注城市、季节和光照等自然变化,针对对抗扰动的已有工作报告了脆弱性并提出检测,但没有为视觉位置识别训练防御。 在排序攻击下,SuperVLAD 与 BoQ 在 MSLS、Pitts30k、SPED 和 Nordland 四个基准上的 top-1 召回至多 0.2%,更大的扰动预算下为 0.0。

ARAFT 把鲁棒性与保持预训练几何变成同一个目标,使防御能落在很小的干净精度代价之内。 普通对抗训练使用同样的攻击、正样本和训练日程,但没有锚定项,并以合页损失替代列表式排序损失。 在验证集 5 点干净 R@1 预算内,普通对抗训练在两个模型上都没有可用检查点,其预算内模型即未修改的预训练模型、鲁棒性为零;ARAFT 的最鲁棒检查点落在预算内,SuperVLAD 为 47.3 鲁棒 R@1、干净下降 4.6 点,BoQ 为 55.3、干净下降 4.7 点。

在测试集上,ARAFT 用更少的干净精度换取与普通对抗训练相当的鲁棒性,但只在训练预算附近成立。 不加预算、各取最鲁棒检查点时,普通对抗训练平均多放弃约十个干净 R@1 点。 在扰动预算 2 下两者平均持平(SuperVLAD 46.1 对 46.4,BoQ 49.8 对 47.2);在预算 4 下普通对抗训练领先 9.2 和 5.6 个平均点,且在每个数据集上经配对 McNemar 检验显著。

启示与展望

演示范围是数字扰动下的白盒、仅查询端威胁模型:攻击者掌握模型权重和干净数据库描述子,只改动查询图像,数据库离线构建且只读;物理攻击、补丁攻击和针对数据库图像的攻击不在范围内,所报告的鲁棒性均为经验性的,不构成认证保证。评估覆盖 SuperVLAD 与 BoQ 两个架构和 MSLS、Pitts30k、SPED、Nordland 四个基准,训练数据为 GSV-Cities,检查点按 MSLS-val 上事先固定的 5 点干净 R@1 预算选取。

鲁棒性只是经验性的:虽然用多个优化器和预算测试且未发现梯度掩蔽迹象,但没有对 ARAFT 模型运行无梯度攻击或迁移攻击,认证保证不在范围内。梯度掩蔽检查、干净对照模型和第二个随机种子只在 SuperVLAD 上提供,BoQ 只用单一随机种子和两种主要攻击训练与评估。在 Nordland 上扰动预算 4 时,所有训练方法的鲁棒性都接近零,该基准上只有预算 2 的结果表明防御有意义。5 点预算在 MSLS-val 上执行,迁移到强分布偏移的 SPED 和 Nordland 时干净代价达 17–24 点。