跳到主要内容
检索

# 变分界

1 篇关联报道

订阅更新
  1. arXiv

    融合模块不再只靠强势模态:InfMasking在融合前随机遮挡特征,协同任务比CoMM高5.6个百分点

    多模态融合常被强势模态或冗余信息主导,只在模态共同出现时才存在的协同信息因此用不上。InfMasking在融合前对每个模态的特征token随机遮挡,要求遮挡后的融合表示与未遮挡视图或类别代理保持一致,并把对无穷多遮挡的期望化为高斯模型下的变分界。在受控Trifeature基准上,协同任务准确率为77.0%,比CoMM高5.6个百分点,独有信息任务为90.6%。

已读完全部报道