跳到主要内容
返回时间线
arXiv来源发表:

第一人称视频字幕开始分清左右手:BiScopeNet在NVILA骨干上把动作识别从14.1%提到45.5%

核心概要

第一人称视频的动作字幕通常只写“有人在拿锅”,不说明哪只手端锅、哪只手扶盖。BiScopeNet不改动视觉编码器和语言模型,在两者之间的投影环节加入文本引导的注意力模块FocusAlign,并用屏蔽元数据、加权物体词的MetaLoss做监督,同时整理出含左右手角色与空间元数据的视频级数据集BiScopeCap。在BiScopeCap全集上,NVILA骨干接入后动作识别从14.1%升到45.5%,右手角色识别从17.2%升到44.9%,左手从28.7%升到41.2%,物体识别从39.7%升到58.9%。

Source-provided article image: Sub-actions in Action: Text-Guided Hand-Role Alignment for Sub-Action Recognition
arXiv

深度剖析

第一人称视频的字幕开始显式写出左右手各自在做什么,而不只是一句高层动作描述。 此前的动作识别与字幕工作主要停留在高层动作层面,EPIC-KITCHENS、Ego4D等数据集缺少手部角色标注,HOI-QA只有部分帧的稀疏手部标注,HD-Epic有较丰富字幕但没有把高层动作与逐手角色统一到视频级描述里。 在BiScopeCap全集上,NVILA骨干经BiScopeNet改造后动作识别为45.5%、右手角色44.9%、左手角色41.2%、物体识别58.9%,而同一NVILA骨干仅做常规监督微调时为44.0%、43.0%、39.1%、58.0%。

改造只发生在视觉编码器与语言模型之间的投影环节,两个骨干的视觉编码器和语言模型都保持冻结。 常规做法是用线性层或MLP投影把视觉特征统一送入语言模型,或用Q-Former一类查询把视觉token压缩成固定数量的潜变量。 FocusAlign让视频token与文本token通过注意力交换信息,再用可学习标量门控的残差连接保留原始视觉表示,最后经前馈网络对齐到语言模型的嵌入空间;MetaLoss按标注结构确定性地屏蔽< meta >区段并提高物体词权重,不需要辅助参考模型。

同一套模块换到较弱的VideoChatGPT骨干上仍然有效,并且几乎不增加计算开销。 在BiScopeCap全集上,VideoChatGPT原架构动作识别为14.3%、物体识别为30.1%,并产生488条结构不合规的输出。 接入BiScopeNet后,CLIP视觉编码器的VideoChatGPT动作识别升到30.7%、物体识别升到47.9%,不合规输出降到7条;换成DINOv3编码器后动作识别为33.4%、物体识别为53.5%。相比线性或MLP投影,FocusAlign增加不到0.3B参数和不到1%的TFLOPs。

启示与展望

演示范围是裁剪片段级的第一人称子动作识别:模型对每个片段固定采样若干帧,假定左右手角色在同一片段内并发存在,而不是做时间上的动作定位。数据集由EPIC-KITCHENS、EPIC-VISOR、Ego4D与HD-Epic整理而来,原始视频仍遵循各自许可。

固定帧采样限制了对长时间视频中手部角色演变的建模;重复的低幅度手部动作(如连续上下移动)会带来歧义,很短的片段叠加剧烈相机运动时字幕质量明显下降,这一现象在所有被评测的视觉语言模型上都出现。数据侧,200条随机抽样训练片段的人工审计发现少量描述不准确,并分别出现左右手幻觉。