跳到主要内容
返回时间线
arXiv来源发表:

学生分类器换成角度坐标:ACD让同构蒸馏平均涨2.51个百分点,异构涨4.19

核心概要

知识蒸馏通常让学生直接模仿教师的分类器输出,但原始logit把可迁移的类间方向关系与特征幅值、权重范数、偏置等参数化产物混在一起,形成分类器几何失配。Angular Conditional Distillation(ACD)把学生分类头改为归一化的余弦读出,去掉幅值与偏置,再用标准化后的条件非目标关系做蒸馏,只传类间相对关系而不传绝对置信度。在CIFAR-100的六个同构师生对上,ACD相对普通KD平均提高2.51个百分点;五个异构对上相对最强对比方法平均高4.19个百分点。

Source-provided article image: Angular Conditional Distillation: Overcoming Classifier Geometry Mismatch
arXiv

深度剖析

学生端分类器不再沿用带幅值和偏置的线性读出,而是被重建为只保留特征与类权重夹角的余弦分类器,使教师与学生在一个几何兼容的空间里对齐。 此前的logit蒸馏默认师生输出处在可比的坐标中,直接匹配温度软化后的概率分布。 在CIFAR-100的六个同构师生对上,ACD相对普通KD平均提高2.51个百分点;在五个异构师生对上,相对最强对比方法平均高4.19个百分点。

蒸馏目标只保留非目标类之间的条件相对关系,目标类的绝对置信度不再要求学生复制。 标准KL散度同时约束目标类置信度和非目标类关系,而目标类置信度对师生容量差很敏感。 在VGG13到VGG8与VGG13到MobileNetV1两组消融中,完整ACI加SICD配置分别达到80.52%和73.30%,比普通KD高6.13和5.52个百分点。

余弦分类头的类方向用等角紧框架初始化,使各类权重在训练初期就处于等范数、两两夹角相同的最大分离构型。 仅替换为角度接口并不稳定,消融中VGG8提高0.71个百分点,而MobileNetV1反而下降1.18个百分点。 在同样的两组消融里,加入ETF初始化后准确率分别再提高0.70和1.50个百分点。

启示与展望

演示范围是CIFAR-100上的同构与异构师生对、ImageNet分类以及MS-COCO目标检测迁移,方法只改学生分类头与输出损失,教师保持标准线性分类器不变。

在MS-COCO检测上,ACD只在ResNet101到ResNet18上取得最高AP,并在三组中都取得最高AP50,另外两组AP仍由SKD更强;与特征蒸馏组合的两项单种子案例中,余弦接口本身在ReviewKD式流程里会降低准确率,因此增益不能单独归因于分类头替换。