不再保留旧图像也能连续学新域:Lamarck让每个专家继承前一个,CDDB-Hard上领先5.2点
核心概要
在无回放的域增量学习中,测试图像不带域标签,需要路由器为每张图挑一个按域训练的专家。Lamarck沿用免训练的Mahalanobis路由器,把力气花在专家上:每个深层ViT块之后用适配器修正全部图像token,并让每个专家连同适配器从上一个专家初始化。在CDDB-Hard上,适配器比只有提示的专家高4.36个ACC点,整体比十二个冻结骨干基线中最好的高5.18点,三个基准的平均ACC最高。
深度剖析
按域学习的专家库不再靠训练路由器来提升最终精度,而是把改进放在专家本身:Lamarck在冻结ViT的每个深层块之后加一个残差适配器,对每张图的全部图像token做一次学习到的修正。 此前的按域学习器把后续工作放在训练路由器上,而所比较的九个提示学习器把提示放在输入或第1至5块,深层块里不训练任何参数。 在同一套Mahalanobis路由下,适配器让Lamarck比它自己的纯提示专家在CDDB-Hard上高4.36个ACC点、DomainNet高2.14点、OfficeHome高0.33点;在CDDB-Hard上,参数量与适配器相当的深层提示只能拿回4.36点中的3.17点。
每个新专家连同提示、适配器和读出层都从上一个专家初始化,因此被路由器误送到较晚专家的图像损失更小。 独立训练的专家之间没有这种起点,误路由的图像只能承受较晚专家在早期域上的全部精度落差。 在CDDB-Hard上,继承让较晚专家在早期域上的准确率为82.12%,重置适配器为70.06%,独立专家为59.45%(随机为50%);较晚专家代价相应从重置适配器的27.81降到15.75。
在统一的冻结ViT-B/16协议下,Lamarck在CDDB-Hard上取得最高的最终精度,并在三个基准的平均ACC上排第一。 十二个无回放基线中,CDDB-Hard上此前最好的是Hash,平均ACC上此前最好的是HiDe-Prompt。 五个随机种子的测试精度显示,Lamarck在CDDB-Hard上为92.94,比Hash高5.18点;平均ACC为83.62,HiDe-Prompt为79.67;在DomainNet和OfficeHome上它排第二,分别为69.46和88.47。
启示与展望
结论建立在冻结ViT-B/16、DomainNet、OfficeHome和CDDB-Hard三个基准、固定域顺序与五个种子上,每个域训练15个epoch、批大小128;第二个骨干DINOv2 ViT-B/14只在OfficeHome和CDDB-Hard上测过,域顺序反转只在CDDB-Hard上做过。推理时每张图要跑两遍ViT,一遍路由一遍分类,每图71.2 GFLOPs,与其它两遍学习器相当。
在DomainNet上,SOYO的专家在每个域上都比Lamarck的专家更准,SOYO的ACC也更高;在Mahalanobis路由下,继承相对重置适配器的ACC变化在DomainNet为−0.41、OfficeHome为+0.15、CDDB-Hard为+0.21,其增益要在更弱的路由器或注入路由错误时才明显。去掉适配器后,继承的专家在CDDB-Hard上的ACC反而低于独立专家。存储随域数线性增长,每个域多存一个专家,总存储为9.84M参数。
