多人对话里认错视线对象:Nunchi把说话人和台词写进提示,准确率86.7%
核心概要
多人对话中,人越多,单靠视线几何越难判断观察者到底在看谁。Nunchi把视线热图、说话人分数和台词统一写成文本提示,让视觉语言模型在同一次前向中比较这些线索并给每位候选打分。在新建的SORBET基准上,它达到86.7%的识别准确率,比在SORBET上微调过的最强现有方法高4.8个百分点;候选达到五人及以上时为76.0%,比次优方法高8.0个百分点。
深度剖析
多人对话中判断观察者看向哪位在场者,现在可以借助对话本身的信息,而不只依赖视线方向与人物位置的几何关系。 此前的视线跟随和社交视线方法都只靠视线几何,人一多,几位候选常落在观察者的相近方向上,方向估计的小误差就会改变被选中的人;在VAT数据集上,Gaze-LLE的准确率从两位其他在场者时的83.9%降到五人及以上时的64.3%。 在SORBET测试集上,Nunchi达到86.7%,高于在SORBET上微调解码器后的Gaze-LLE的81.9%,差距4.8个百分点;候选五人及以上时Nunchi为76.0%,比带对话线索但无视线先验的Qwen3-VL高8.0个百分点。
做法是把各类线索写成同一段文字,让一个视觉语言模型在一次前向中为每位候选打分。 视线几何由冻结的Gaze-LLE输出热图,说话人由冻结的活跃说话人检测器LR-ASD给出分数,台词取自转写文本;三者在图像上用同一套候选标签对齐,再作为提示的不同段落交给Qwen3-VL-8B,模型只对语言部分做LoRA微调。 在SORBET上,加入说话人线索使准确率从83.3%升到85.2%,再加台词升到86.7%;同样的说话人分数交给MTGS只带来0.8个百分点的提升,而Nunchi得到1.9个百分点。
增益来自对话线索而非单纯增加线索数量。 在基础输入上分别加入深度、互相注视、注视关系图和箭头四种视觉线索,准确率都没有提高,其中互相注视一项还从83.3%降到81.1%。 对话线索在三个视觉语言模型上都有效,单独加入提升5.0到6.7个百分点,与视线先验合用提升10.5到14.3个百分点;把人工转写换成Whisper自动转写,SORBET上只损失0.3个百分点。
启示与展望
已展示的范围是来自三部电视剧的SORBET基准,以及VGS和AVA-LAEO两个外部数据集上的跨数据集评测;每个样本取单张关键帧,并假定观察者看向某位候选者。
SORBET取自按剧本拍摄的电视剧,表演与镜头构图受剧本约束;视线转移、看向物体或画面外的人不在覆盖范围内;把台词中的名字对应到人脸需要场景中人物的角色身份;在VGS上基础输入为48.9%,低于零样本Gaze-LLE的51.5%,说明在SORBET上训练的模型并非总能迁移。
