跳到主要内容
检索

Julianna Piskorz

1 篇关联报道

订阅更新
  1. arXiv

    控制变量蒸馏实验显示:同策略 rollout 并非普遍更优,KL 方向与学习率才是主导因素

    该研究在强到弱蒸馏中独立改变 rollout 策略、token 级 KL 方向与学习率,跨 Llama 3 与 Qwen2.5 及科学、医学、算术推理任务发现:同策略 rollout 在最终准确率、灾难性遗忘和参数更新稀疏度上没有一致优势,前向 KL 对 rollout 策略稳健而反向 KL 更敏感并偏好学生生成的 rollout,学习率主导遗忘与稀疏度,同策略数据仅在向更难 Countdown 变体泛化时带来提升且该优势在后续 RLVR 后不可靠保留。

已读完全部报道