跳到主要内容
返回时间线
arXiv来源发表:

相机回到同一房间时不再重复计数:PlaceTally 先建地点图,再回答任何类别问题

核心概要

视频里相机反复回到同一房间时,整段读视频的视觉语言模型只给出几个小数字,分段相加又会把同一物体重复计数。PlaceTally 在提问之前先为每段视频构建一张地点图,把片段按“是否回到同一地点”归并,再让冻结的视觉语言模型对每个地点只读至多 128 帧并计数。在真实房间重录基准 RevisitCount 上,同一模型的地点数法在测试房间达到 62.5% 平均相对准确率,整段读视频为 51.2%;在只评估一次的留出房间上为 61.2% 对 44.3%。

Source-provided article image: PlaceTally: A Test-Time Memory Model for Constructing Place Graphs
arXiv

深度剖析

计数单位从整段视频或零散片段换成“地点”:相机回到同一房间时,同一批物体只在该地点被数一次,因此不需要事先知道要数哪一类物体。 整段读视频会把答案压在少数小整数上,测试集上 87% 的回答是 1、2 或 3;按片段相加则会在每个显示该物体的片段里重复计数,Cambrian-S 的 surprise 记忆在重复视频上预测的中位数是真值的 8.6 倍。 在 RevisitCount 的 ARKit-Revisit 测试划分上,同一冻结读取模型 Qwen3.5-9B 的整段读视频为 51.2%,PlaceTally 为 62.5%;在方法固定后只评估一次的留出划分上为 44.3% 对 61.2%。

地点图在提问之前就建好,因此同一份记忆可以服务任何类别,不需要类别词表,也不需要逐问题跟踪物体。 已有跟踪式方法要先知道目标:CountVid 需要先给定类别,StaMina 在流开始时注册目标,VideoAgent 和 DirectMe 依赖检测器词表。 每个片段只按最强的一条历史匹配决定:延续当前地点、并入最强匹配的旧地点,或新开一个地点;在 ARKit 测试流上地点 F1 为 96.9%,在 3RScan 测试流上为 75.3%。

每个地点最多保留 128 帧,读取模型的输入、内存占用和回答时间都由这一个数控制,地点图构建速度是实时的 15 倍。 整段读视频每分钟占 2.90 MB 内存、输入 69.1 千 token、每次查询 15.9 GPU 秒;PlaceTally 在 128 帧设置下为 0.52 MB、19.0 千 token、2.5 GPU 秒。 在 128 帧设置下 PlaceTally 得 50.1%,整段读视频得 51.2%;在 512 帧设置下得 62.6%,内存约为整段读视频的一半,回答快 2.2 倍。

启示与展望

演示范围是 ARKitScenes 真实房间重录拼成的流,每个流四到六个房间、约三分之一访问是回访,类别限于家具、固定设施和家电共 14 类;3RScan-Revisit 用相隔数月的重扫检验同一假设,MultiScan-Revisit 只评估地点划分。作者提出的下一步是按每个相机拟合延续模型,并用相似房间训练回访证据。

地点替代物体身份依赖物体在两次访问之间留在房间内,作者指出这一假设对应其 14 类物体。流是把真实录制按硬切拼接而成,其他回访率来自从已测房间中删去访问,而非连续行走的新录制。换相机时延续模型需重新拟合,3RScan 上自建片段的结果因此低于真值访问。