融合模块不再只靠强势模态:InfMasking在融合前随机遮挡特征,协同任务比CoMM高5.6个百分点
多模态融合常被强势模态或冗余信息主导,只在模态共同出现时才存在的协同信息因此用不上。InfMasking在融合前对每个模态的特征token随机遮挡,要求遮挡后的融合表示与未遮挡视图或类别代理保持一致,并把对无穷多遮挡的期望化为高斯模型下的变分界。在受控Trifeature基准上,协同任务准确率为77.0%,比CoMM高5.6个百分点,独有信息任务为90.6%。
多模态融合常被强势模态或冗余信息主导,只在模态共同出现时才存在的协同信息因此用不上。InfMasking在融合前对每个模态的特征token随机遮挡,要求遮挡后的融合表示与未遮挡视图或类别代理保持一致,并把对无穷多遮挡的期望化为高斯模型下的变分界。在受控Trifeature基准上,协同任务准确率为77.0%,比CoMM高5.6个百分点,独有信息任务为90.6%。
已读完全部报道