跳到主要内容
返回时间线
arXiv来源发表:

融合模块不再只靠强势模态:InfMasking在融合前随机遮挡特征,协同任务比CoMM高5.6个百分点

核心概要

多模态融合常被强势模态或冗余信息主导,只在模态共同出现时才存在的协同信息因此用不上。InfMasking在融合前对每个模态的特征token随机遮挡,要求遮挡后的融合表示与未遮挡视图或类别代理保持一致,并把对无穷多遮挡的期望化为高斯模型下的变分界。在受控Trifeature基准上,协同任务准确率为77.0%,比CoMM高5.6个百分点,独有信息任务为90.6%。

Source-provided article image: InfMasking: A Unified Variational Framework for Synergistic Multimodal Learning
arXiv

深度剖析

多模态模型在融合前先对每个模态的特征token随机遮挡,再要求遮挡后的融合表示与参照目标保持一致,使融合模块必须在各种不完整的跨模态证据组合下仍然可用。 此前的跨模态对比学习主要对齐不同视图共享的信息,监督训练中强势模态又可能主导梯度更新,使只在模态联合出现时才有的协同信息得不到利用。 在受控Trifeature基准上,InfMasking的协同任务准确率为77.0%,比CoMM的71.4%高5.6个百分点,独有信息任务为90.6%、比CoMM高3.8个百分点,冗余任务保持接近满分。

遮挡后的融合表示被当作高斯随机变量,训练目标改为对该分布的闭式变分界,从而不必枚举所有遮挡组合。 对无穷多个遮挡求期望无法精确计算,有限次采样的蒙特卡洛平均只是随机估计。 无监督设置下界对应未遮挡融合视图的负InfoNCE对齐,监督设置上界对应类别代理的交叉熵;在四个双模态MultiBench分类数据集上,线性探测平均准确率由CoMM的64.45%升至67.05%。

监督设置下,每个遮挡后的部分模态组合都要与任务标签的类别代理对齐,同时保留各单模态分支的辅助交叉熵。 仅平衡各模态的贡献并不要求部分模态证据本身支持任务决策。 在MOSI、MOSEI、MIMIC、MAMI、MUTE上,相对Vanilla MT骨干分别提升3.0、1.6、1.3、5.9和5.9个百分点,平均准确率从68.1%升至71.7%。

启示与展望

已验证范围包括受控Trifeature合成基准、MultiBench的双模态与三模态任务,以及MM-IMDb的多标签电影类型分类;监督实验覆盖MOSI、MOSEI、MIMIC、MAMI和MUTE,推理时只用全部模态的融合表示做预测。

变分界的紧致性在高斯模型下成立,间隙符号在更一般分布下需要沿类别代理方向的次高斯条件,蒙特卡洛间隙非负并不能确立该条件。训练多个遮挡视图需要更多计算与内存,超过三个模态时的性能与资源占用尚未测试,遮挡在何种条件下恢复协同交互仍待刻画。