跳到主要内容
返回时间线
arXiv来源发表:

AntEmbed让检索模型一套索引跑两种模式:8B生成式嵌入在MMEB-v2拿到81.5

核心概要

多模态检索此前要在两种嵌入之间取舍:判别式嵌入编码快但难抓住细粒度证据,生成式嵌入先做推理再编码,语义更丰富却带来额外延迟。AntEmbed把同一候选的原始形式与推理增强形式当作同一实例的两个等价视图,用单一嵌入标记和多正例对比学习对齐到统一空间,再用跨模式自蒸馏把推理分支的细粒度信息迁移给原始分支。在MMEB-v2上,AntEmbed-8B的生成式嵌入取得81.5的总分,比最强基线DME-9B高3.1分;其判别式嵌入无需额外推理,AntEmbed-2B的base模式总分70.2。

Source-provided article image: AntEmbed: Dual-Mode Multimodal Embedding Model for Efficient and Fine-Grained Retrieval
arXiv

深度剖析

AntEmbed让一个多模态检索模型同时提供快速编码和推理增强两种嵌入,并且两者共用同一套候选索引。 此前的UME-R1用两个独立嵌入标记分别建模两种模式,同一实例在两种模式下的表示相似度低,检索系统必须预先指定模式并为不同模式各存一份语料表示。 在MMEB-v2上,AntEmbed-8B的生成式嵌入总分81.5,超过最强基线DME-9B的78.4共3.1分,也超过Qwen3-VL-Embedding-8B的77.8共3.7分;图像、视频、视觉文档三类分别为83.9、74.8、82.7。

训练分两步:先让原始输入和推理增强输入在同一个嵌入空间里互相匹配,再把推理分支学到的细粒度信息蒸馏给原始分支。 多正例对比学习把每个查询对应的原始候选和推理增强候选同时放进正例集,并要求每个正例都排在负例之前,而不是只提高正例集合的总概率。 消融中,仅用第一阶段多正例训练的平均分为69.1,加入第二阶段跨模式自蒸馏后升到70.2;只开相似度分布蒸馏或只开查询表示对齐都优于第一阶段,两者同时开启最好。

推理内容由外部推理模型生成,围绕查询意图和易混淆候选之间的区分证据展开。 候选的推理增强形式不是孤立描述自身,而是先由Qwen3-VL-Embedding-8B检索出5个最相似候选组成混淆集,再让推理模型指出能把该候选与这些近邻区分开的属性、关系和视觉或文本证据。 换用不同推理模型时,经微调的Qwen3-VL-8B-Instruct把平均分从base模式的73.3提到78.1,Qwen3-VL-30B-A3B-Instruct为79.3,Gemini-3.1-Pro-Preview为80.2。

启示与展望

评测集中在MMEB-v2的图像、视频和视觉文档检索任务,指标为图像与视频的Hit@1和视觉文档的NDCG@5;MMEB-v3的扩展评测中,AntEmbed不支持音频输入,11个音频任务按0分计入V3-All。

生成式嵌入仍需额外的自回归推理,延迟与算力开销高于判别式编码;判别式嵌入在base模式下与生成式模式之间仍有明显分数差距,AntEmbed-2B为70.2对77.2。MMEB-v3的V3-All分数因音频任务计零而受影响。后续计划把AntEmbed接入智能体系统,利用智能体产生的推理轨迹和任务上下文改进检索,这部分尚未给出结果。