跳到主要内容
检索

# 子动作检测

1 篇关联报道

订阅更新
  1. arXiv

    第一人称视频字幕开始分清左右手:BiScopeNet在NVILA骨干上把动作识别从14.1%提到45.5%

    第一人称视频的动作字幕通常只写“有人在拿锅”,不说明哪只手端锅、哪只手扶盖。BiScopeNet不改动视觉编码器和语言模型,在两者之间的投影环节加入文本引导的注意力模块FocusAlign,并用屏蔽元数据、加权物体词的MetaLoss做监督,同时整理出含左右手角色与空间元数据的视频级数据集BiScopeCap。在BiScopeCap全集上,NVILA骨干接入后动作识别从14.1%升到45.5%,右手角色识别从17.2%升到44.9%,左手从28.7%升到41.2%,物体识别从39.7%升到58.9%。

已读完全部报道