跳到主要内容
检索

# Matryoshka对比学习

1 篇关联报道

订阅更新
  1. arXiv

    Omni-Embed-Mini 用冻结文本主干把语音、音频、图像、视频与视觉文档并入同一余弦空间,0.9B 文本检索保持 49.57 nDCG@10 不变

    MBZUAI 提出 Omni-Embed-Mini:把跨模态对齐改写为“共享冻结主干的自蒸馏”,每个媒体样本配一段密集级联描述、教师目标就是同一冻结主干对该描述的嵌入,仅训练投影器与分阶段 LoRA,0.9B 版本在文本权重逐位不变的前提下把文本、语音、音频、图像、视频和视觉文档映射进同一余弦空间,MTEB-v2 BEIR-8 保持 49.57 nDCG@10,2.3B 版本在总体模态平均上以 51.39 对 49.51 略高于闭源 gemini-embedding-2。

已读完全部报道