跳到主要内容
检索

# 类增量学习

4 篇关联报道

订阅更新
  1. arXiv

    冻结CLIP也能持续学新类:TAP在九个数据集上把末阶段准确率推到83.05%

    类增量学习通常靠提示学习或适配器不断改动预训练表示,代价是优化开销和旧类特征结构被扰动。TAP把CLIP的图像与文本编码器都冻结,只在冻结嵌入空间里累积每类的均值与类内散布,并用当前任务图像学习各类的文本模板权重。在九个数据集、两种增量协议下,TAP取得所比较方法中最高的平均增量准确率与末阶段准确率,ImageNet-R的B0/Inc20设置下末阶段准确率为83.05%。

  2. arXiv

    CLIP增量学习不再只看[CLS]与[EOS]:PACE把局部图块和词元拉进决策,九个基准上末次准确率领先

    基于CLIP的类增量学习此前主要用全局的视觉[CLS]与文本[EOS]表示做跨模态匹配,图像块级细节和词元级语义在最终匹配中被忽略。PACE从冻结的CLIP编码器中选出与全局表示最相关的top-k视觉图块和文本词元,用跨模态融合模块把局部信息注入全局表示,并以子空间投影约束共享融合权重的更新。在九个基准数据集上,PACE的末次准确率与平均准确率均高于所列对比方法,例如Cars B0 Inc10上末次准确率为93.94。

  3. arXiv

    后到的概念也能用上已丢弃的旧图像:RetroCBM 只存统计量,平均增量精度相对最强免样本基线提升 18.1%

    免样本类增量学习要求模型按顺序学新类、且不留旧训练图像,而概念瓶颈模型在概念词表扩张时,往往无法让新概念参与旧类预测。RetroCBM 在丢弃图像前保存冻结视觉特征与视觉语言模型嵌入之间的少量统计量,新概念到来后用这些统计量复原“在迄今所有图像上做类平衡岭回归”的同一预测器,并把统计量重投影回扩张后的概念空间以重估旧类权重。在六个数据集的 16 个设置上,它的平均增量精度均高于可解释方法,相对最强免样本基线 CI-CBM 的平均增量精度提升 18.1%。

  4. arXiv

    PatchAdaNet 不存旧样本也能增量分类:冻结小块特征加适配器,CIFAR-10 达 65.9%

    PatchAdaNet 把图像切成小块,先在外部数据上训练各自独立的小块自编码器并永久冻结,再用可学习适配器把小块特征拼成整图表示,从而在不保存任何旧样本的情况下做无监督类增量分类。它用固定大小的全局特征质心记录适配器输出的滑动平均来抑制表示漂移,并对适配器施加 EWC 约束。在 CIFAR-10 五段划分上,CNN 与 ViT 变体分别达到 65.9% 和 64.5%,均不使用回放缓冲。

已读完全部报道