冻结CLIP也能持续学新类:TAP在九个数据集上把末阶段准确率推到83.05%
核心概要
类增量学习通常靠提示学习或适配器不断改动预训练表示,代价是优化开销和旧类特征结构被扰动。TAP把CLIP的图像与文本编码器都冻结,只在冻结嵌入空间里累积每类的均值与类内散布,并用当前任务图像学习各类的文本模板权重。在九个数据集、两种增量协议下,TAP取得所比较方法中最高的平均增量准确率与末阶段准确率,ImageNet-R的B0/Inc20设置下末阶段准确率为83.05%。
深度剖析
TAP让类增量识别不再依赖对CLIP编码器的持续适配,图像与文本两个编码器全程冻结,新类信息以类统计量和校准后的文本表示形式累积。 此前的CLIP类增量路线要么用提示学习或适配器引入任务信息,要么只用类均值原型代表一个类,前者会持续更新共享参数,后者不显式刻画类内变化。 在九个数据集、两种增量协议共18个数据集-协议设置中,TAP的平均增量准确率与末阶段准确率均为所比较方法中最高;B0协议下两项指标为86.08%和80.55%,分别比表中最强基线高2.21和2.93个百分点。
视觉一侧为每个类保存均值与类内散布,把类特定协方差向所有已见类共享的协方差收缩,再按高斯判别得分同时计入距离与分布体积。 类特定协方差能刻画类内变化方向,但训练样本相对特征维度较少时估计不可靠,收缩到共享协方差正是为压制这种采样噪声。 在ImageNet-R的B0/Inc20上做累积消融,加入共享协方差使平均增量准确率提升7.921个百分点,是各组件中最大的一项增益。
语义一侧为每个类学习一组文本模板权重,用当前任务图像监督新类的模板权重,再把视觉后验与语义后验按加权专家乘积融合。 CLIP常用预定义模板把类名转成文本描述,但不同模板对不同类的适配程度并不一致,且旧类文本表示保持不变。 同一消融中,视觉-语义后验融合在共享协方差基础上再提升1.343个百分点,类自适应语义校准再增加0.144个百分点;ImageNet-R末阶段融合把3.10%样本的视觉错误预测改为正确,扣除1.32%的反向变化后净增益1.78个百分点。
启示与展望
演示范围是九个图像分类数据集上的无样本回放类增量设定,使用冻结的CLIP ViT-B/16,图像与文本编码器均不更新,旧类图像在训练后不再保留。读者对象是关注持续学习与视觉-语言模型复用的研究人员和工程师。
方法依赖类条件高斯近似与共享协方差收缩,其收益在训练样本相对特征维度更少时如何变化,材料未给出结论。超参数分析只说明在ImageNet-R的B0设置下邻近取值仍保持较高准确率,属于所评估邻域内的局部稳健性。
