装配不再被跟踪器漏掉:Atlas 不靠首帧提示,在 OmniST 上找回的状态变化超过此前方法两倍
核心概要
现有物体跟踪与状态变化检测要求在第一帧给出目标掩码,因此只能发现目标被拆开的事件,遇到多个物体合成一个时往往静默结束轨迹或让轨迹穿过合成体。Atlas 把装配看作拆解的时间反演,同时构建正向与反向的时空划分,用空间关系联合判断新出现的轨迹是拆解产物还是装配产物,再由视觉语言模型确认事件、校正时刻并写出描述。在同时标注拆解与装配的新基准 OmniST 上,Atlas 找回的状态变化超过此前方法两倍,整体召回为 36.1,而 TubeletGraph-Bidir 加同一验证阶段为 23.2。
深度剖析
跟踪任务从“给定首帧目标掩码、只跟这一个物体”改为“只给一段视频,找回所有物体轨迹并标出每一次拆解与装配”。 此前的 TubeletGraph 等方法以首帧掩码为输入,只能检测被提示物体的拆解,装配事件不会被标注也不会被检出,先前拆解产物的再次拆解同样被漏掉。 在 OmniST 上,Atlas 的整体召回为 36.1、整体精确率为 48.2,TubeletGraph-Bidir 分别为 16.2 和 12.2;即使给 TubeletGraph-Bidir 加上同样的视觉语言模型验证与重对齐阶段,整体召回也只到 23.2。
做法是把装配当成拆解的时间倒放,正反两个方向各建一套时空划分,再联合判断新出现的轨迹来自哪一类事件。 所谓时空划分,就是把每帧分割出的实体沿时间串成轨迹片段;正向跟踪时装配不会产生新片段,反向跟踪时装配才会像拆解一样冒出新的片段。 候选事件交给 GPT-4.1 结合全片抽样帧和事件附近裁剪帧确认,并按拆解偏晚、装配偏早的规律非对称取帧;在 OmniST 的 97 段视频上,配对自助重采样 1 万次确认相对各基线的提升具有统计显著性。
新基准 OmniST 同时标注拆解与装配,使这类系统第一次能在同一套数据上比较两类事件。 此前的 VOST-TAS 只含拆解标注,装配事件在数据里根本没有标注。 OmniST 含 97 段视频、352 个物体、302 次变换,其中装配 144 次、拆解 158 次;在只评拆解的 VOST、VSCOS、M3-VOS 上,Atlas 的跟踪表现与基于提示的方法相当。
启示与展望
演示范围限于会拆分或合并物体的变换:Atlas 只在正向或反向出现新轨迹片段时判定事件,评测集中在作者构建的 OmniST 以及只含拆解的 VOST、VSCOS、M3-VOS 和 VOST-TAS 上。
不拆分也不合并的渐变式原地状态变化,例如融化或形变,不会产生新片段,因此不被检出;方法还依赖跟踪器在变换产物上可靠地漏检,才能让新片段出现。构建正反两套时空划分是主要开销,两套划分相互独立、可并行计算。
