跳到主要内容
返回时间线
arXiv来源发表:

视觉检索聚合不再一次成型:BiSA把同一亲和度读成两轴,迭代三轮后六项地点识别基准五项领先

核心概要

视觉检索要把密集的图像块特征压成一个紧凑描述子,以往聚合头在一次前向中固定映射,结构与细节只能靠外挂模块协调。BiSA把聚合改成迭代耦合系统:同一份图像块—槽位亲和度沿竞争轴和选择轴分别归一化,前者决定槽位归属、后者用槽位专属温度控制响应宽窄,再用两轴给出的可靠性线索逐轮筛除不可靠图像块。在DINOv2-B骨干下,BiSA在六项地点识别基准中的五项R@1领先,并在无人机—卫星跨视角检索的16项指标上全部居首。

Source-provided article image: One Affinity, Two Axes: Bidirectional Slot Attention for Iterative Aggregation across the Structure--Detail Spectrum in Visual Retrieval
arXiv

深度剖析

视觉检索的聚合头从一次前向映射变成可迭代的耦合过程,同一份图像块—槽位亲和度被沿两个方向读取,分别负责场景分解和响应粒度。 此前的聚合头把图像块到描述子的复杂映射固定在单次前向中,图像块分配决定描述子分量,却没有反馈回路来逐步修正这一映射;结构与细节的协调则交给聚合头之外的模块,例如分割掩码、结构蒸馏或局部区域挖掘。 在Baidu Mall、Nordland∗和MSLS-val三项地点识别基准上,完整BiSA相对无竞争的基线把R@1分别提高5.9、6.0和4.9个点,说明两轴与迭代反馈合起来才产生这一幅度。

实现方式是让一组可学习的槽位充当不断更新的聚合状态,每一轮都用竞争与选择的共识结果重写槽位,并按可靠性重新加权图像块。 竞争轴在所有槽位共享一个温度的条件下沿槽位归一化,决定每个图像块归谁所有;选择轴沿图像块归一化,每个槽位有自己的温度,温度小则聚焦稀疏局部线索,温度大则覆盖大范围布局。 消融显示,仅增加20个可学习标量的选择轴在Baidu Mall、Nordland∗和MSLS-val上分别带来3.2、2.9和2.2个点的R@1提升,平均2.8个点,是消融表中最大的单项增益。

启示与展望

演示范围是视觉检索中的三类任务:地点识别在Baidu Mall、SPED、Nordland∗、MSLS-val、Pitts30k和SVOX-Overcast上评测,跨视角地理定位在University-1652上训练并零样本迁移到SUES-200的80场景测试划分,实例级检索在SfM-120k上训练并在Revisited Oxford与Revisited Paris上按Medium和Hard协议评测。所有实验使用DINOv2-B并只微调最后三个Transformer块,在单张NVIDIA RTX A6000上训练,默认配置为20个槽位、3次迭代和5120维描述子。

槽位数量从8增到20持续提升,增到32不再提升;迭代次数从1增到3持续提升,第4次迭代没有明显改善,因此默认取20个槽位和3次迭代。Nordland∗采用VPR-Bench的2760张夏季查询对27592张冬季参考序列划分,与按帧评测的27592查询划分结果不可比。