VIBRA让新编码器直接查旧图库:50个设置全胜,延迟只多不到1毫秒
跨模态检索升级编码器时,旧图库的数十亿向量通常要重新编码,代价是数百GPU小时。VIBRA把新、旧和一个辅助编码器的查询合成一个“重心”作为教师,再让新编码器通过低秩更新继承这一共识,部署时只跑一个编码器。在五个基准、六种CLIP、MetaCLIP与SigLIP2骨干之间的五次升级共50个设置中,它都是兼容方法里最好的,Recall@1比最强基线最多高5.6点、比旧模型最多高18.0点,延迟比新编码器多不到1毫秒。
跨模态检索升级编码器时,旧图库的数十亿向量通常要重新编码,代价是数百GPU小时。VIBRA把新、旧和一个辅助编码器的查询合成一个“重心”作为教师,再让新编码器通过低秩更新继承这一共识,部署时只跑一个编码器。在五个基准、六种CLIP、MetaCLIP与SigLIP2骨干之间的五次升级共50个设置中,它都是兼容方法里最好的,Recall@1比最强基线最多高5.6点、比旧模型最多高18.0点,延迟比新编码器多不到1毫秒。
已读完全部报道