后到的概念也能用上已丢弃的旧图像:RetroCBM 只存统计量,平均增量精度相对最强免样本基线提升 18.1%
核心概要
免样本类增量学习要求模型按顺序学新类、且不留旧训练图像,而概念瓶颈模型在概念词表扩张时,往往无法让新概念参与旧类预测。RetroCBM 在丢弃图像前保存冻结视觉特征与视觉语言模型嵌入之间的少量统计量,新概念到来后用这些统计量复原“在迄今所有图像上做类平衡岭回归”的同一预测器,并把统计量重投影回扩张后的概念空间以重估旧类权重。在六个数据集的 16 个设置上,它的平均增量精度均高于可解释方法,相对最强免样本基线 CI-CBM 的平均增量精度提升 18.1%。
深度剖析
概念瓶颈模型在免样本类增量学习中可以让后到的概念参与旧类打分,而不必保留任何旧训练图像。 此前的可解释增量方法要么正则化旧概念、冻结已学概念映射,要么用生成特征近似旧类,新概念在旧类预测中往往得不到充分利用。 在六个数据集的全部 16 个类增量设置上,RetroCBM 的平均增量精度都高于对比的可解释方法,相对最强免样本基线 CI-CBM 的平均增量精度提升 18.1%。
做法是在图像还在时记下冻结视觉特征与视觉语言模型图像嵌入之间的类平衡统计量,新概念到来后据此补出它的概念预测器。 这一回归规则称为回溯式概念回归,它给出的预测器与在迄今所有图像上做类平衡岭回归得到的预测器相同。 在 CUB、CIFAR-100 和 Aircraft 的十阶段实验末,与使用全部训练图像逐张特征的离线参照相比,概念权重与概念得分在数值上一致,分类器目标值与次梯度的最大偏差不超过数值精度范围。
旧类分类器在扩张后的概念空间里重新拟合,从而学到每个新概念对旧类分数应贡献多少。 这一步叫矩重投影,它把保存的视觉统计量变换到当前概念空间,等价于让旧图像通过更新后的概念层再算一次平方损失。 在 CUB、Aircraft 和 CIFAR-100 的九个设置中,重拟合旧类权重使平均旧类精度提升 8.05 到 18.53 个百分点;在十阶段设置下,允许旧类使用后到概念又在 CUB 上再添 7.39 个百分点、在 Aircraft 上再添 6.60 个百分点。
启示与展望
演示范围是六个图像分类数据集上的免样本类增量设置,概念来自与 CI-CBM 共享的词表并用 GPT-5 生成、CLIP 过滤补充;推理时在 CUB 十阶段下学习参数约占 2 MiB。读者对象是关注持续学习与可解释模型的研究人员和工程师。
概念回归的正则系数会影响新概念对旧类高排名图像的召回,在 CUB 和 Aircraft 上召回在基线值一半附近达到峰值后随正则增强而下降;图惩罚取较弱值时减少近邻类排名翻转而精度接近无惩罚,取更强值时在 CUB 上把翻转率大约减半但平均增量精度下降约 12 个百分点。案例研究还显示,同一个后到概念可能支持正确预测,也可能把错误类别的分数推高。
