跳到主要内容
返回时间线
arXiv来源发表:

三模态对比学习换了负样本:CHORD 在需要三路证据的样本上比最强基线高 21.2 个百分点

核心概要

三模态对比学习的高阶目标本应捕捉只有三路同时出现才有的信息,但常规负样本由替换模态构成,任意一对就能把它排除,高阶项因此几乎拿不到梯度。CHORD 改为从校准过的成对模型里抽取“诱饵”负样本,让成对模型自己认为合理,再训练一个残差去区分它们。在每十个训练样本只有一个真正需要三模态的 M3-Mix 上,CHORD 在这类样本上的准确率比八个基线中最强者高 21.2 个百分点。

Source-provided article image: Learning What Pairs Miss for Higher-Order Multimodal Alignment
arXiv

深度剖析

三模态对比学习里,用多线性乘积、体积或融合头给整个三元组打分的“高阶”目标,实际表现仍像成对模型的拼装;问题出在负样本上,而不是打分函数表达力不够。 此前的做法是把其他样本的模态换进来构造负样本,这样的负样本至少破坏三对中的两对,一次成对检查就能把它排除;当多数样本靠成对证据即可解决时,高阶项分到的梯度趋近于零。 在每十个训练样本只有一个需要三模态的 M3-Mix 上,CHORD 在这类样本上的准确率比八个基线中最强者高 21.2 个百分点;而在纯协同的 XOR 与 Symile-M3 上,乘积类打分本已接近满分,CHORD 与之持平。

CHORD 把高阶部分拆成“校准的成对桥”加“残差”,残差只针对成对桥认为合理的诱饵负样本训练。 成对桥用固定权重把三对相似度相加,权重在二选一任务上拟合,用来消除模态互相重复时的重复计数;诱饵从记忆库上的 softmax 抽取,每次查询只需一次内积。 在四个 MultiBench 数据集上,CHORD 的二选一检索均为最好,且在一对一检索上不低于 Tri-CLIP;冻结编码器时一对一检索与成对桥完全相同。

启示与展望

演示范围是三模态对比对齐与检索,覆盖 XOR、XOR-Mix、Synthetic-XNOR、Symile-M3 与 M3-Mix 等受控任务,以及 MultiBench 情感数据、音视频零样本分类和视频检索共 15 个基准;残差按设计只覆盖到三阶交互,四模态时需另加四路乘积项才能解决纯四阶任务。

残差的目标是数据与成对桥的对数比,与真实交互结构相差桥的失配量,因此在真实数据上 BPI 只是诊断量而非严格上界;增益大小随数据中成对模型遗漏的信息量变化,在 YouCook2 这类跨域设置上残差几乎不带来提升。