跳到主要内容
检索

Wentao Lu

1 篇关联报道

订阅更新
  1. arXiv

    扩散语言模型后训练改走结果路由:工具调用比蒸馏检查点高18.3分,数学却随种子摇摆

    扩散语言模型的双向去噪让PPO式目标所需的策略似然不可靠,因此一套免似然的训练流程把多教师在线蒸馏、按验证器结果分组的REINFORCE和梯度范数锚定组合起来。在DiffusionGemma-26B-A4B上,24步去噪时路由臂的工具调用得分比蒸馏检查点高18.3分,但数学在24步和48步分别低2.8分和2.6分;锚定臂恢复了推理轨迹准确率,其工具调用差异的置信区间包含零。域条件配方在两个种子上保住工具调用增益,数学结果则依赖种子。

已读完全部报道