CLIP增量学习不再只看[CLS]与[EOS]:PACE把局部图块和词元拉进决策,九个基准上末次准确率领先
核心概要
基于CLIP的类增量学习此前主要用全局的视觉[CLS]与文本[EOS]表示做跨模态匹配,图像块级细节和词元级语义在最终匹配中被忽略。PACE从冻结的CLIP编码器中选出与全局表示最相关的top-k视觉图块和文本词元,用跨模态融合模块把局部信息注入全局表示,并以子空间投影约束共享融合权重的更新。在九个基准数据集上,PACE的末次准确率与平均准确率均高于所列对比方法,例如Cars B0 Inc10上末次准确率为93.94。
深度剖析
基于CLIP的类增量学习开始把图像块级视觉特征和词元级文本语义纳入分类决策,而不只依赖[CLS]和[EOS]两个全局表示。 此前的CLIP类增量方法沿用原始CLIP的全局对齐范式,优化可学习提示或精修全局[CLS]与[EOS]表示,图像块序列和词元序列在最终匹配阶段未被使用。 在九个基准数据集上,PACE的末次准确率与平均准确率均高于所列对比方法;Cars B0 Inc10设置下PACE末次准确率为93.94,高于PROOF的90.74和HERMAN的88.30。
方法先用全局表示给局部特征打分,再让两个模态的全局表示互相从对方的局部序列中取信息。 打分依据是每个图块或词元与全局表示的归一化亲和度,据此选出top-k个最具判别力的局部特征,图像侧每次前向重新计算,文本侧因提示模板固定可预先算好复用。 跨模态融合用单头注意力实现,全局视觉特征作查询去聚合局部文本词元,全局文本特征作查询去聚合局部视觉图块,融合后的全局与局部特征分别计算对比损失并加权合并。
共享的融合权重在增量任务间容易被子任务梯度改写,方法用子空间投影把旧任务的关键参数方向保护起来。 每个新任务只新增并训练自己的视觉与文本投影器,历史投影器冻结,输出累加后送入融合模块。 每完成一个任务后对融合权重做奇异值分解,取累计能量达到阈值0.9所需的最小秩构造正交投影矩阵,训练结束时把新权重在旧知识子空间及其正交补上加权组合;在Cars B0 Inc10上的消融显示,去掉子空间投影在早期影响较小,后期随新任务干扰累积而快速下降。
启示与展望
评测覆盖CIFAR100、CUB200、ObjectNet、ImageNet-R、FGVCAircraft、StanfordCars、Food101、SUN397和UCF101九个基准,采用B-Inc类划分与ViT-B/16骨干,主要结果基于LAION-400M预训练的CLIP权重,并在UCF B0 Inc10上补充了OpenAI预训练权重的对照。
文本分支使用固定提示模板,可能限制模型捕捉语义多样性;作者把更丰富的提示工程,例如可学习提示,列为后续工作。PACE++用GPT-5.4生成的类特定视觉描述替换固定模板后,整体表现与PACE相当,并在部分数据集上有提升。
