相机回到同一房间时不再重复计数:PlaceTally 先建地点图,再回答任何类别问题
视频里相机反复回到同一房间时,整段读视频的视觉语言模型只给出几个小数字,分段相加又会把同一物体重复计数。PlaceTally 在提问之前先为每段视频构建一张地点图,把片段按“是否回到同一地点”归并,再让冻结的视觉语言模型对每个地点只读至多 128 帧并计数。在真实房间重录基准 RevisitCount 上,同一模型的地点数法在测试房间达到 62.5% 平均相对准确率,整段读视频为 51.2%;在只评估一次的留出房间上为 61.2% 对 44.3%。