跳到主要内容
检索

# 最大耦合路由教师监督

1 篇关联报道

订阅更新
  1. arXiv

    SAKI 用最大耦合的接受/纠正事件路由教师监督,在七个数学推理基准上把 1.7B 与 0.6B 学生的 Mean@8/Pass@8 同时推高到同规模最佳

    SAKI 在 KL 约束的教师引导 rollout 中用最大耦合实现中间行为分布,并把实际发生的接受/纠正事件当作 token 级监督路由器:接受位置保留采样 token 的反向 KL,纠正位置改为直接监督教师最高概率 token,纠正概率恰为 TV(p_t,q_t) 因而受同一信任域半径上界约束;配套的引擎内投机验证器保持精确 q 轨迹分布与耦合语义,把同等工作负载下的 rollout 吞吐提升 4.22 倍,并在七个数学推理基准上让 1.7B 与 0.6B 学生的 Mean@8 与 Pass@8 均优于匹配的教师引导基线。

已读完全部报道