跳到主要内容
检索

# 跨分词器蒸馏

1 篇关联报道

订阅更新
  1. arXiv

    跨分词器在线蒸馏中,严格对齐已覆盖85.57–96.98%学生token,学生自选top-16子集保留至少96%增益,而补齐错配跨度监督反而降低准确率

    该研究在数学推理与代码生成上考察三组异构教师—学生模型对的跨分词器在线蒸馏,发现尽管静态词表Jaccard重叠仅39.49–64.87%,严格对齐组已覆盖85.57–96.98%的学生token,共享词表在严格位置保留近乎全部预测概率质量;将反向KL限制在学生自选的共享词表top-16子集即可保留全共享词表蒸馏至少96%的平均提升,而用跨度对数概率MSE补齐错配组虽实现完全监督覆盖,却在全部18个正权重设置下降低准确率。

已读完全部报道