跳到主要内容
返回时间线
arXiv来源发表:

情感识别不再先推理再作答:UEmo-D1用一次决策输出概率,六项任务平均准确率75.6%

核心概要

多模态情感识别长期分成两条路:任务专用模型推理快但换任务就退化,多模态大模型泛化广却要显式推理、算力开销大。UEmo-D1把输入和候选选项直接映射成一次决策位置上的选项概率分布,不做中间推理;在覆盖六类任务、41个评测子集的UEmo-Data上,其平均准确率为75.6%,比第二名Gemini-3.5-Flash高13.3个百分点,平均ECE为4.7。

Source-provided article image: UEmo-D1: An Efficient and Calibrated Decision Model for Unified Multimodal Emotion Recognition
arXiv

深度剖析

多模态情感识别现在可以不做逐步推理,直接在候选选项上给出一次概率判断,同一个模型同时处理面部表情、语音、图文帖子和对话视频等不同输入。 此前的两条路线各有短板:任务专用模型计算省,但输入模态被打乱、标签空间改变或输入域偏移时性能明显下降;基于多模态大模型的方法泛化更广,却依赖显式推理并付出更高计算代价。 在UEmo-Data的41个评测子集上,UEmo-D1平均准确率为75.6%,比第二名Gemini-3.5-Flash的62.3%高13.3个百分点;在六项任务中,它相对各任务最强基线的准确率提升为4.8%至18.4%。

模型在读到指令和候选选项后只产生一个决策词元,该位置上的概率分布就是各选项的置信度,不再生成解释性文字。 做法是以Qwen2.5-Omni-3B为初始化,把预训练用的因果注意力换成双向注意力,让每个输入词元在每一层都能看到其他词元,从而加强跨模态的上下文建模。 训练只做一轮、在四块NVIDIA RTX 4090上约20小时完成,采用LoRA秩16、批大小64;概率归一化被限制在有效选项集合内,温度缩放只在留出验证集上拟合、不更新模型参数。

置信度校准是这套方案与推理式模型拉开差距的地方,模型给出的选项分布比多数对比模型更接近实际正确率。 对比模型在决策模式下从首词元logits导出选项概率,UEmo-D1的平均ECE为4.7,约为次优结果的三分之一;Brier分数为33.5,仅为次优分数的60%。 在选项顺序整体循环移位、指令与多模态内容不变的测试中,UEmo-D1平均准确率从75.6%变为75.6%,而AffectGPT、Nano-EmoX和OneEmo平均下降2.0至5.4个百分点。

启示与展望

评测范围是UEmo-Data的测试划分,共41个子集、19,072个样本,输入覆盖图像-文本、视频-文本、音频-文本和视频-音频-文本四种配置,候选类别数为2至25;结论限于这一数据集合与决策模式设定。

在CA-MER的模态冲突条件下,UEmo-D1在音频对齐样本上准确率为54.0%,在视频对齐样本上降至41.2%,说明模态冲突时仍偏向声学证据;在Abstract、ArtPhoto和UnbiasedEmo等视觉风格独特的子集上未取得领先,MUStARD子集也未领先;低置信度分箱的校准偏差更大。