VIBRA让新编码器直接查旧图库:50个设置全胜,延迟只多不到1毫秒
核心概要
跨模态检索升级编码器时,旧图库的数十亿向量通常要重新编码,代价是数百GPU小时。VIBRA把新、旧和一个辅助编码器的查询合成一个“重心”作为教师,再让新编码器通过低秩更新继承这一共识,部署时只跑一个编码器。在五个基准、六种CLIP、MetaCLIP与SigLIP2骨干之间的五次升级共50个设置中,它都是兼容方法里最好的,Recall@1比最强基线最多高5.6点、比旧模型最多高18.0点,延迟比新编码器多不到1毫秒。
深度剖析
升级跨模态检索的查询编码器时,旧图库可以原样保留,新编码器仍能直接检索旧模型已编码的条目。 此前的兼容方法要么把新查询拟合到旧查询上,精度因此停留在旧模型附近,要么在每次查询时同时运行新旧两个编码器。 在五个基准、五次升级共50个设置中,VIBRA在兼容方法里全部排第一,Recall@1比最强基线最多高5.6点、比旧模型最多高18.0点,平均比旧模型高6.5点、比运行两个编码器的SLERP高2.3点。
训练目标不再模仿旧查询,而是由检索损失的最优性条件给出:查询加权的图库重心应与相关条目的重心重合。 拟合旧查询的目标最多复现旧模型的排序,连它的错误一起继承下来。 相关性由配对标题与模型自身排序两项估计混合而成,两项缺一都会下降:只用标签低1.2到4.1点,只用新模型排序低0.6到1.7点。
教师是三个视图的重心,即新模型、旧模型和一个辅助编码器在旧空间中的查询按噪声模型定权后的合成,它本身仍是旧空间里的一个查询。 单个模型对它有把握排错的条目,任何由它导出的查询都会排错;不同视图在不同条目上出错时,合并才能纠正。 在88.4%到93.0%的测试查询上三视图的最难无关条目不同,重心在这些查询上纠正了新视图10.0%到13.4%的错误,是共享最难条目查询上4.0%到4.5%的两倍多。
新编码器通过注意力查询与值投影上的低秩更新来复现重心,更新在部署前合并进权重,因此每次查询只跑一个编码器。 教师需要旧编码器和辅助编码器,而部署不允许运行它们。 图像查询的延迟与新编码器相差不超过0.5毫秒,文本查询多0.4到0.9毫秒,而SLERP每次查询比VIBRA多花7.4到8.2毫秒;训练耗时0.22到0.71个A100小时。
启示与展望
演示范围是视觉语言检索:旧图库固定,五次升级发生在CLIP、MetaCLIP与SigLIP2骨干之间,训练只用CC3M,评测覆盖Flickr30k、COCO、NoCaps、CxC与XM3600五个基准。
重心只在各视图的最难无关条目不同时带来增益,三视图共享该条目时任何加权都无法纠正;噪声模型会高估增益的绝对幅度三到四倍,且学生只能学到重心在训练图像上体现的那部分增益。
