跳到主要内容
返回时间线
arXiv来源发表:

零样本检测不再先提候选再匹配:FOMO 单阶段端到端,BOP 均分 54.2、每图 0.23 秒

核心概要

零样本基于模型的目标检测此前普遍走“先提候选、再与模板匹配”的多阶段流程,候选与模板脱节,遮挡和杂乱场景下容易碎裂或错配。FOMO 把 CAD 模板信息提前注入检测流程,用可学习潜在令牌在模板与查询图像之间交替做双向注意力,直接解码出框和置信度。在 BOP-Classic-Core 上,FOMO 取得 54.2 平均 AP、每图 0.23 秒,比榜首方法低 3.8 个百分点而速度更快。

Source-provided article image: Fear of Memorizing Objects: End-to-End Zero-Shot Model-Based Object Detection
arXiv

深度剖析

零样本基于模型的目标检测从多阶段候选匹配改为单阶段端到端检测,模板信息在解码边界框之前就进入图像表示。 此前的做法先用与 CAD 无关的掩码提议生成候选,再经编码和相似度匹配得到结果,各阶段松散耦合,早期误差会向下游传播。 在 BOP-Classic-Core 的七个数据集上,FOMO 取得 54.2 平均 AP,与榜首 3PT-Det 相差 3.8 个百分点,单张查询图像耗时 0.23 秒。

模板与图像通过一组可学习潜在令牌反复交换信息,令牌先看多视角模板、再看查询图像,图像特征随后反过来查询这些令牌。 这种交错跨模态 Transformer 用潜在令牌作压缩瓶颈,避免让全部图像块直接对全部模板块做注意力。 在 Clutter6D 验证集上,完整模型平均 61.6 AP;去掉 ICMT 第三阶段的图像条件化后降到 55.4,去掉 Deformable DETR 编解码器后降到 47.0。

启示与展望

演示范围是仅用 RGB 图像、在 BOP-Classic-Core 七个数据集上对训练中未出现的物体做二维检测,推理时提供该数据集的 CAD 模型;Clutter6D 验证集与训练集在物体和场景上严格不重叠。

性能明显依赖准确的 CAD 模型,纹理或几何退化会拉低结果;在 T-LESS 这类含多个相似物体的场景中,ICMT 难以区分物体特征,即使有提示间通信也会给出错误预测。