扩散语言模型后训练改走结果路由:工具调用比蒸馏检查点高18.3分,数学却随种子摇摆
扩散语言模型的双向去噪让PPO式目标所需的策略似然不可靠,因此一套免似然的训练流程把多教师在线蒸馏、按验证器结果分组的REINFORCE和梯度范数锚定组合起来。在DiffusionGemma-26B-A4B上,24步去噪时路由臂的工具调用得分比蒸馏检查点高18.3分,但数学在24步和48步分别低2.8分和2.6分;锚定臂恢复了推理轨迹准确率,其工具调用差异的置信区间包含零。域条件配方在两个种子上保住工具调用增益,数学结果则依赖种子。