跳到主要内容
检索

Temple University

1 篇关联报道

订阅更新
  1. arXiv

    BiToK-SD用双层优化学习Top-K token选择,在数学推理自蒸馏中三个规模均取得最佳平均成绩

    该工作提出BiToK-SD,把在线策略自蒸馏中的Top-K token选择建模为双层优化问题:下层用可微的阈值松弛把离散Top-K选择变成随学生策略演化的软权重,上层只在被选位置上做知识蒸馏;在Qwen3-1.7B/4B/8B上、以OpenThoughts数学推理子集约3万条数据训练200步,于AIME24、AIME25、HMMT25的Avg@64评测中取得所有对比方法里最高的平均成绩,并比最强基线OPSD分别高出0.63、0.58、0.21个平均分。

已读完全部报道