大模型融合反而更听文字:MR-Bench把语言捷径拆开,CoVeR在冲突样本上少错2.1个百分点
核心概要
以大型语言模型做多模态融合时,模型会在文字与非文字证据冲突时跟着文字走,即使它能从声音和画面读出相反答案。研究构建了MR-Bench:MR-Bench-A按单模态判断给四个情感基准的测试样本分类,MR-Bench-H收录900段经人工验证的片段(620段语言捷径、280段非语言捷径)。据此提出的CoVeR把反事实视图训练成单模态裁判,在裁判分歧处不施加融合监督;在MR-Bench-H上,准确率模式达到61.7%语言捷径与93.6%非语言捷径准确率,而基线LLM-Fusion为58.8%与93.1%。
深度剖析
以大型语言模型作融合引擎的多模态情感模型,在文字与声音、画面给出相反证据时会跟着文字走,即便它单独看声音或画面能答对。 此前的做法多靠重建缺失模态或从完整模态教师蒸馏,仍需要完整的训练观测;这类融合模型在模态一致的样本上表现很好,冲突样本上的表现此前没有被单独度量。 在MR-Bench-A上,LLM-Fusion在全部模态可见时对一致样本的正确率为90–98%,对冲突样本只有17–59%,而同一模型去掉文字后能解出63–87%的冲突样本。
修正发生在训练目标上,而不是推理阶段加一个门控。 推理时让分歧视图覆盖融合决策会牺牲一致样本的准确率与相关性,固定阈值的一致性差异门控几乎不改变捷径错误率。 CoVeR把每个样本展开为完整视图与单模态视图联合训练,视图用单模态标签监督,视图分歧时该样本不向融合路径传任务梯度;在CH-SIMS上,单模态监督单独带来2.6点相关性与2.6点冲突准确率提升,再加分歧门控又增加2.9点相关性与6.4点冲突准确率。
启示与展望
演示范围是CMU-MOSI、CMU-MOSEI、CH-SIMS、CH-SIMSv2与IEMOCAP上的多模态情感与情绪识别,训练时按动态模态掩码采样可用性模式,测试时评估全部可用性模式;MR-Bench-H的900段片段全部参与评分,融合模型按片段来源语料分别训练。作者说明MR-Bench的诊断工具用于审计模型,不建议把情感识别部署到涉及个人的高风险决策中。
作者列出的限制包括:MR-Bench-A在CMU-MOSI与CMU-MOSEI上的冲突集由模型判断且规模小,MR-Bench-H只收录模型可检测到的捷径,CoVeR需要单模态标签和已知的主导模态。稳健模式把语言捷径准确率提到63.0%的同时把非语言捷径准确率降到84.8%,两类捷径之间仍存在取舍。
