跳到主要内容
检索

# 交换读出

1 篇关联报道

订阅更新
  1. arXiv

    稀疏交叉编码器揭示:在线策略蒸馏并未给学生模型新特征,而是重加权其与教师共享的既有特征

    该研究用稀疏交叉编码器与作者提出的 swap readout,在三个在线策略蒸馏(OPD)设置中读取学生模型训练前后对每个特征的使用,发现 OPD 既不创造学生自身的新特征、也不传递教师特有特征,而是小幅重加权学生与教师共享的既有特征(超过 98% 的常用特征放电率变化在 20% 以内),且变化最集中于 Wait、Hmm、So 等“决策词”;对 OPD 之前常见的教师轨迹 SFT 预热,同样不新增特征,而是部分沿 OPD 方向、部分超出该方向地重加权共享特征,把这种重加权直接施加到直接蒸馏学生的特征上(不改权重)可将其准确率提升到接近预热学生的水平。

已读完全部报道