跳到主要内容
检索

# 尺度不变条件蒸馏

1 篇关联报道

订阅更新
  1. arXiv

    学生分类器换成角度坐标:ACD让同构蒸馏平均涨2.51个百分点,异构涨4.19

    知识蒸馏通常让学生直接模仿教师的分类器输出,但原始logit把可迁移的类间方向关系与特征幅值、权重范数、偏置等参数化产物混在一起,形成分类器几何失配。Angular Conditional Distillation(ACD)把学生分类头改为归一化的余弦读出,去掉幅值与偏置,再用标准化后的条件非目标关系做蒸馏,只传类间相对关系而不传绝对置信度。在CIFAR-100的六个同构师生对上,ACD相对普通KD平均提高2.51个百分点;五个异构对上相对最强对比方法平均高4.19个百分点。

已读完全部报道