跳到主要内容
返回时间线
arXiv来源发表:

扩散语言模型后训练改走结果路由:工具调用比蒸馏检查点高18.3分,数学却随种子摇摆

核心概要

扩散语言模型的双向去噪让PPO式目标所需的策略似然不可靠,因此一套免似然的训练流程把多教师在线蒸馏、按验证器结果分组的REINFORCE和梯度范数锚定组合起来。在DiffusionGemma-26B-A4B上,24步去噪时路由臂的工具调用得分比蒸馏检查点高18.3分,但数学在24步和48步分别低2.8分和2.6分;锚定臂恢复了推理轨迹准确率,其工具调用差异的置信区间包含零。域条件配方在两个种子上保住工具调用增益,数学结果则依赖种子。

Source-provided article image: Outcome-Routed Distillation and Reinforcement Learning for Diffusion Language Models
arXiv

深度剖析

扩散语言模型的后训练现在可以在不计算策略似然比的前提下,把教师蒸馏与验证器奖励信号按每条样本的结果分流使用。 在线蒸馏能对学生自己的采样给出稠密监督,但目标仍来自教师;验证器强化学习给出结果信号,却对验证器之外的能力没有直接约束。 在DiffusionGemma-26B-A4B上,24步去噪时蒸馏臂工具调用得分为70.24,路由臂为88.55,高出18.3分,置信区间不含零;同一路由臂在数学上24步低2.8分、48步低2.6分,两者置信区间均不含零。

分流规则按验证器结果给每个采样组指定目标:混合组用组中心化的REINFORCE,全失败但教师成功的组用稠密KL,其余组跳过。 组中心化REINFORCE是不做重要性采样比值的策略梯度形式,因此绕开了双向去噪下不可靠的似然估计。 工具调用训练池中,学生完全失败的组里教师只提供少量成功补全;数学则相反,多数组走强化学习且教师通常成功,两个路由臂在24步和48步都低于蒸馏臂,而8步时不低于蒸馏臂。

锚定项以蒸馏检查点为参照,权重按每步实测的梯度范数比例设定,用来限制验证器奖励之外的变化。 固定损失系数无法维持固定锚定强度,原始锚定与主目标的梯度范数比在240步内跨越两个数量级,因此某一步选定的系数可能与另一步所需值相差很大。 锚定臂相对路由臂把推理轨迹准确率提高且置信区间不含零,工具调用差异的置信区间包含零;但该比较同时移除了回退蒸馏路径,因此锚定尺度效应被视为暂定。

启示与展望

结果来自对DiffusionGemma-26B-A4B这一个混合专家扩散语言模型的后训练,每臂240个优化步,在数学、工作流和工具调用三个域上以8、24、48步去噪评估,24步为工作点;所有比较都在单台GH200级GPU的同一次扫描内按配对样本完成。工具调用训练为单轮,多轮工具执行集只用于测量迁移。

锚定臂与路由臂的差异同时包含加入锚定和移除回退蒸馏路径,数据无法分离两者,因此锚定尺度效应只是暂定。数学上的步数依赖被报告为假设而非已确立性质,其差异落在观测到的种子间波动之内。组合配方的数学点估计在每个步数下仍低于蒸馏臂,未分离不等于等价。