跳到主要内容
返回时间线
arXiv来源发表:

PatchAdaNet 不存旧样本也能增量分类:冻结小块特征加适配器,CIFAR-10 达 65.9%

核心概要

PatchAdaNet 把图像切成小块,先在外部数据上训练各自独立的小块自编码器并永久冻结,再用可学习适配器把小块特征拼成整图表示,从而在不保存任何旧样本的情况下做无监督类增量分类。它用固定大小的全局特征质心记录适配器输出的滑动平均来抑制表示漂移,并对适配器施加 EWC 约束。在 CIFAR-10 五段划分上,CNN 与 ViT 变体分别达到 65.9% 和 64.5%,均不使用回放缓冲。

Source-provided article image: PatchAdaNet: Unsupervised class incremental learning using local patches and global adapters
arXiv

深度剖析

图像分类的类增量学习可以在完全不保存旧样本的前提下进行,共享特征与任务专属特征被拆成两层:一层冻结、一层可学。 此前的回放方法需要随任务数增长的记忆缓冲,且保留的样本带有任务专属噪声;知识蒸馏方法则要额外保存上一任务的教师模型。 在 CIFAR-10 五段划分上,CNN 变体达到 65.9%±0.7、ViT 变体达到 64.5%±0.4,两者均无回放缓冲,而对比的回放方法使用 100 个存储样本。

做法是先把每张图切成不重叠小块,每个空间位置配一个独立自编码器,只重建该位置的小块。 这些自编码器只在外部数据 TinyImageNet 上预训练一次,与所有评测数据集不相交,训练后编码器权重全部冻结,不接收任何任务损失梯度。 冻结后各层特征按小块网格位置拼回整图尺度,接上可学习适配器与解码器重建整图,线性分类器在冻结瓶颈特征与全局特征质心的拼接上训练。

防止漂移靠两个互补机制:特征空间用全局特征质心,权重空间用 EWC。 全局特征质心是每个编码深度一份的滑动平均张量,只由每个任务最后一个训练轮次的最后一个小批次更新,内存占用与任务数无关。 EWC 只施加在适配器与重建层上,冻结的小块编码器不受约束;在 CIFAR-10 消融中,CNN 完整配置为 65.9%,去掉全局特征质心降到 51.8%,ViT 对应为 64.5% 与 61.0%。

启示与展望

演示范围限于图像分类的类增量与任务增量设定,评测数据集为 CIFAR-10、CIFAR-100、miniImageNet 和由 MNIST、SVHN、notMNIST、Fashion-MNIST、CIFAR-10 组成的 5-Datasets 序列,小块自编码器只在 TinyImageNet 上预训练一次。

小块自编码器与全局特征质心都在较紧凑的模型上评估,CNN 为三层卷积编码器、ViT 为浅层 Transformer 块,预训练数据也相对小,这些低层特征在更高视觉复杂度或更大域多样性下是否同样通用尚不清楚。全局特征质心只由每个任务的最后一个小批次构造,可能引入依赖样本的噪声;CNN 变体在更长的 CIFAR-100 与 miniImageNet 序列上种子与类别顺序方差高于 ViT 变体。