大模型融合反而更听文字:MR-Bench把语言捷径拆开,CoVeR在冲突样本上少错2.1个百分点
以大型语言模型做多模态融合时,模型会在文字与非文字证据冲突时跟着文字走,即使它能从声音和画面读出相反答案。研究构建了MR-Bench:MR-Bench-A按单模态判断给四个情感基准的测试样本分类,MR-Bench-H收录900段经人工验证的片段(620段语言捷径、280段非语言捷径)。据此提出的CoVeR把反事实视图训练成单模态裁判,在裁判分歧处不施加融合监督;在MR-Bench-H上,准确率模式达到61.7%语言捷径与93.6%非语言捷径准确率,而基线LLM-Fusion为58.8%与93.1%。