三模态对比学习换了负样本:CHORD 在需要三路证据的样本上比最强基线高 21.2 个百分点
三模态对比学习的高阶目标本应捕捉只有三路同时出现才有的信息,但常规负样本由替换模态构成,任意一对就能把它排除,高阶项因此几乎拿不到梯度。CHORD 改为从校准过的成对模型里抽取“诱饵”负样本,让成对模型自己认为合理,再训练一个残差去区分它们。在每十个训练样本只有一个真正需要三模态的 M3-Mix 上,CHORD 在这类样本上的准确率比八个基线中最强者高 21.2 个百分点。
三模态对比学习的高阶目标本应捕捉只有三路同时出现才有的信息,但常规负样本由替换模态构成,任意一对就能把它排除,高阶项因此几乎拿不到梯度。CHORD 改为从校准过的成对模型里抽取“诱饵”负样本,让成对模型自己认为合理,再训练一个残差去区分它们。在每十个训练样本只有一个真正需要三模态的 M3-Mix 上,CHORD 在这类样本上的准确率比八个基线中最强者高 21.2 个百分点。
已读完全部报道