融合模块不再只靠强势模态:InfMasking在融合前随机遮挡特征,协同任务比CoMM高5.6个百分点
多模态融合常被强势模态或冗余信息主导,只在模态共同出现时才存在的协同信息因此用不上。InfMasking在融合前对每个模态的特征token随机遮挡,要求遮挡后的融合表示与未遮挡视图或类别代理保持一致,并把对无穷多遮挡的期望化为高斯模型下的变分界。在受控Trifeature基准上,协同任务准确率为77.0%,比CoMM高5.6个百分点,独有信息任务为90.6%。
多模态融合常被强势模态或冗余信息主导,只在模态共同出现时才存在的协同信息因此用不上。InfMasking在融合前对每个模态的特征token随机遮挡,要求遮挡后的融合表示与未遮挡视图或类别代理保持一致,并把对无穷多遮挡的期望化为高斯模型下的变分界。在受控Trifeature基准上,协同任务准确率为77.0%,比CoMM高5.6个百分点,独有信息任务为90.6%。
三模态对比学习的高阶目标本应捕捉只有三路同时出现才有的信息,但常规负样本由替换模态构成,任意一对就能把它排除,高阶项因此几乎拿不到梯度。CHORD 改为从校准过的成对模型里抽取“诱饵”负样本,让成对模型自己认为合理,再训练一个残差去区分它们。在每十个训练样本只有一个真正需要三模态的 M3-Mix 上,CHORD 在这类样本上的准确率比八个基线中最强者高 21.2 个百分点。
已读完全部报道