跳到主要内容
返回时间线
arXiv来源发表:

局部预测不再只是辅助分支:LoCo只让互斥类别竞争,平均F1比TagCLIP高3.4%

核心概要

开放词汇多标签识别此前多从文本侧改进,局部预测通常只作为全局预测的空间重复补充。LoCo改用空间一致的视觉编码器提供局部特征,并用选择性Softmax只让局部互斥的类别相互竞争、保留可共存概念,再叠加多尺度推理。在四个多标签基准上,单独LoCo的平均F1和mAP分别比TagCLIP高3.4%和3.8%;与DualPrompt全局预测集成后,平均F1和mAP分别比TagCLIP高4.8%和5.2%。

Source-provided article image: LoCo: Selective Local Competition for Discriminative Open-Vocabulary Multi-Label Recognition
arXiv

深度剖析

局部预测可以成为开放词汇多标签识别中一个有判别力的独立分支,而不只是全局预测的补充。 此前的开放词汇多标签方法主要改进全局图文匹配或文本侧表示,局部预测多被实现为图像级预测的空间重复,仅作辅助分支。 在四个多标签基准上,单独LoCo的平均F1和mAP分别比TagCLIP高3.4%和3.8%;与DualPrompt全局预测集成后,平均F1和mAP分别比TagCLIP高4.8%和5.2%。

局部预测要有效,局部视觉特征需要空间一致,类别竞争也要区分互斥与可共存。 CLIP默认视觉编码器的局部特征在空间上碎片化、语义混杂,直接做局部预测响应不可靠;而对所有类别统一做softmax又会过度压制可共存概念。 消融中,在单尺度推理下把CLIP换成ClearCLIP和SC-CLIP,平均F1从46.4%升到52.5%和54.9%,mAP从55.0%升到59.8%和62.4%;在两种编码器与单/多尺度组合下,选择性Softmax使平均F1提高1.3–1.9%、mAP提高0.3–0.5%。

类别间的局部兼容关系可以由大语言模型离线生成,并固定复用于同一类别词表。 CLIP能度量图像区域与文本查询的相似度,但不直接给出类别名之间的兼容或互斥关系。 在相同局部模型和14裁剪推理下,GPT-5.5先验的选择性Softmax取得58.5%平均F1和66.0%mAP,高于无竞争的原始logit(53.1%、62.8%)和全softmax(56.6%、65.5%)。

启示与展望

评估覆盖Pascal VOC 2007、MS-COCO 2014、NUS-WIDE和Visual Genome 150四个多标签基准,统一采用ViT-B/16视觉骨干和相同类别集,报告测试集上的宏平均F1与mAP。方法面向需要在任意类别名下识别多个概念的开放词汇多标签场景,代码已公开。

每个类别词表使用一张固定的二元兼容图,这一先验只是对更丰富、依赖上下文的关系的近似,且目标词表必须提供兼容关系;多尺度推理以约14倍计算开销换取精度,可选的全局集成还会叠加另一个预测器的成本。