跳到主要内容
返回时间线
arXiv来源发表:

端到端多目标跟踪换了检测查询的生成方式:TAQ-MOTR在DanceTrack测试集上把HOTA提到72.0

核心概要

端到端多目标跟踪里,检测查询过去在解码器之前生成,几乎不知道已有轨迹的状态,遮挡下的跟踪目标因此缺少当前帧的补充证据。TAQ-MOTR在解码前用混合查询生成器把当前帧图像特征、轨迹记忆和可学习记忆合成为检测查询,并加一条只在训练时启用的辅助检测分支提供额外检测监督。在DanceTrack测试集上它取得72.0 HOTA、63.1 AssA和76.6 IDF1,比MeMOTR分别高3.5、4.7和5.4个点。

Source-provided article image: TAQ-MOTR: Tracking-Aware Detection Query Formation for End-to-End Multiple Object Tracking
arXiv

深度剖析

检测查询在进入解码器之前就带上已有轨迹的状态,这是端到端跟踪中查询生成环节的一处改动。 此前的做法沿用单帧检测的查询初始化:MOTR用可学习的内容与位置嵌入,MOTRv2用外部检测器给出的框和置信度,两者都不以轨迹状态为条件,区分已跟踪与尚未跟踪的目标要留到解码器里与轨迹查询交互时才发生。 在DanceTrack测试集上,TAQ-MOTR取得72.0 HOTA、82.4 DetA、63.1 AssA、91.7 MOTA和76.6 IDF1,相对MeMOTR分别提高3.5、1.9、4.7、1.8和5.4个点;相对MOTRv2则HOTA高2.1、AssA高4.1、IDF1高4.9,DetA与MOTA略低。

做法是在解码之前先造出一批知道哪些目标已被跟踪的检测查询。 混合查询生成器以最低分辨率特征图投影出的图像检测提议作为查询,把轨迹记忆和可学习记忆作为注意力的键和值;轨迹记忆由上一帧传播来的轨迹查询更新后转换而来,携带内容、参考框和消失时间三类先验,可学习记忆则是一组跨层共享的可训练令牌,存放与具体轨迹无关的检测先验。 生成器输出经打分和Top-K选择后与更新后的轨迹查询拼接,一起送入六层DAB-Deformable DETR解码器;在DanceTrack验证集上,同时使用检测提议、轨迹记忆和可学习记忆的完整配置取得65.3 HOTA、76.5 DetA、56.0 AssA和70.3 IDF1,而只用检测提议与可学习记忆时为64.4 HOTA、77.1 DetA、53.9 AssA和69.1 IDF1。

训练时另开一条只做检测的辅助分支,让检测查询在标签被轨迹查询占去大半的情况下仍得到充分监督。 在保持身份的一对一匹配下,已有轨迹查询占用的真实目标标签归这些查询所有,主检测查询只能匹配当前尚未被跟踪的目标,检测一侧的监督因此偏少。 辅助分支复用同一批检测提议和生成器、解码器权重,但去掉轨迹记忆并用注意力掩码与主查询隔开,其输出独立匹配当前帧全部真实目标,推理时整条分支被移除;在DanceTrack验证集上,默认的分段辅助监督计划相对不使用该分支,HOTA、DetA、AssA和IDF1分别提高1.1、1.7、0.8和1.0个点。

启示与展望

演示范围是DanceTrack、SportsMOT和BFT三个多目标跟踪基准上的在线跟踪,不做离线轨迹连接、平滑或插值,主结果只用各基准官方训练划分,不依赖额外检测器;SportsMOT上另报的加入CrowdHuman数据的变体被排除在主排名之外。

混合查询生成器没有显式估计或门控先验的可靠性,密集重叠与相似外观下图像提议可能含糊、传播轨迹可能漂移;消融显示把近期丢失的轨迹纳入记忆会提高DetA却降低AssA与IDF1。步长为32的紧凑提议可能限制对小目标、局部重叠和形状突变的敏感度,辅助监督的开关时点由人工校准,其位置会影响检测与关联的平衡。