跳到主要内容
返回时间线
arXiv来源发表:

冻结的视觉语言模型也能用上人工标注:ACTOR 把延迟标签存成检索记忆,15 个数据集平均高 2.5 个百分点

核心概要

视觉语言模型的测试时适配通常完全依赖模型自己产生的伪标签或熵,在困难偏移样本上容易自我强化错误。ACTOR 把部署中少量人工标注当作延迟证据:先给出当前预测,再把返回的标签存入记忆,只在最近两个标注邻居标签一致且足够接近时才修正后续样本,模型参数保持冻结。在 15 个数据集上,它与使用同一批标注的在线提示微调相比平均准确率高出 2.50 和 2.45 个百分点,单样本额外推理开销低于 1 毫秒。

Source-provided article image: Training-Free Active Test-Time Adaptation for Vision-Language Models
arXiv

深度剖析

视觉语言模型在部署时遇到分布偏移,可以在流式推理中花一笔明确的标注预算,但当前样本必须先给出预测,查到的标签只能用于之后的样本。 此前的视觉语言模型测试时适配基本不借助外部标注,只靠模型自身的伪标签、置信度或熵来调整;另一端的监督式在线适配则假定标签可以直接训练或纠正模型。 这一设定被形式化为 Active VLM-TTA,并在 ImageNet 派生的分布外基准和十个跨域数据集上评测,标注预算按测试流的 10% 计入协议。

ACTOR 是一个免训练插件,对每个高熵样本做三路分流:直接用基础适配预测、花预算查询标签、或用已返回标签的记忆来修正。 修正规则刻意保守,只有当嵌入空间中最近的两个已标注样本标签一致、且与当前样本的平均余弦相似度超过阈值时才采纳检索标签。 在 CLIP-ViT-B/16 的 TDA 上,完整的一致性加可靠性规则在 Flowers102、DTD、Caltech101、IN-S、IN-V2 上平均 69.50%,高于基础 TDA 的 65.31% 和 5-NN 多数投票的 67.22%,有害修正率从 13.68% 降到 5.28%。

在标注预算耗尽后,ACTOR 改用放宽的 Top-5 合理性检查作为兜底,只有当检索标签落在基础预测概率最高的五个类别中才接受。 这一兜底不再做完整的空间可靠性检验,只保留标签空间上的合理性约束,避免无限制的最近邻修正。 该 Top-5 阈值在所有数据集上统一设定,沿用大规模图像分类中的常用判据。

启示与展望

演示范围是冻结的 CLIP 类视觉语言模型在单样本流式设置下的图像分类,标注预算为测试流的 10%,阈值在未见任何基准表现前统一固定并用于全部 15 个数据集和两种骨干。读者对象是研究测试时适配与主动学习的工程师;方法面向查询标注可靠、标注记忆能为后续样本提供局部证据的场景。

当返回标签含噪声、数据流类别覆盖高度不均,或预算耗尽后只能依赖 Top-5 合理性兜底时,方法效果可能下降。延迟分析显示,延迟占数据流比例较大时性能下降更明显,小数据集 DTD 与 Flowers-102 的降幅大于 5 万样本的 ImageNet-S;作者把噪声感知记忆过滤、类别均衡查询和距离感知兜底列为后续方向。