长序列蒸馏不再让教师全程接管:ATI-OPD只改写最早分歧段,学生独立答题平均准确率高于标准在线蒸馏
在线蒸馏让学生用自己的回答接受教师逐词指导,但回答变长后学生的前缀会偏离教师自己的推理,后续反馈随之失真,训练出现梯度尖峰和超长回答。ATI-OPD在最早出现高分歧的片段处让教师插入一小段改写,再交还学生续写,并把持续分歧的尾部排除在蒸馏损失之外。在五个数学推理基准、两对1.5B师生模型上,学生脱离教师独立作答的平均准确率高于标准在线蒸馏。
在线蒸馏让学生用自己的回答接受教师逐词指导,但回答变长后学生的前缀会偏离教师自己的推理,后续反馈随之失真,训练出现梯度尖峰和超长回答。ATI-OPD在最早出现高分歧的片段处让教师插入一小段改写,再交还学生续写,并把持续分歧的尾部排除在蒸馏损失之外。在五个数学推理基准、两对1.5B师生模型上,学生脱离教师独立作答的平均准确率高于标准在线蒸馏。
掩码扩散语言模型可以重新遮盖已生成的文本,但按置信度或自评决定改哪里,往往改不动错误。DiVR 改为在生成器自身的解码轨迹上学习一个结果判别器,在块边界判断这段部分解是否还能走向正确答案,分数低就整块重采样。在 LLaDA-8B-Base 的监督微调生成器上,五个数学与代码基准的平均准确率从35.3%升到43.4%,代价与贪心解码相当。
三个大语言模型独立重证欧几里得《几何原本》全部 465 条命题,其引用选择与希思的人类证明基线系统不同。三次 Claude Opus 4.6 运行之间的平均成对 Jaccard 相似度为 0.68,而 AI 与人类证明之间仅 0.37,说明这种差异稳定可复现。差异的具体特征是 AI 约 40% 的引用指向定义、公理和公设等基础元素,人类证明中这一比例只有 13%。
掩码扩散语言模型在小响应窗口下会在推理尚未完成时先固定答案片段,这一提前承诺随后成为后续预测的上下文。HiLo-RD 让同一模型的大窗口轨迹充当冻结教师,把其隐藏表示对齐到裁剪后的小窗口视图,在已提交位置上做表示蒸馏。在相同小推理预算下,GSM8K 准确率从 68.84% 升到 78.24%,平均可读长度从 362.8 降到 271.3 个 token,增益还延伸到未做代码域训练的代码生成。
多轮工具调用的强化学习训练中,推理准确率会在初期上升后跌回非智能体基线以下,TACA把原因定位到工具调用令牌拿到的整体信用为负,并改为在推理转向工具调用这一步上做监督。它在Qwen2.5-1.5B与3B上相对MT-GRPO把六个推理基准的平均准确率分别提高4.61和3.61个百分点,同时训练中的工具执行成功率保持在86.28%。
在线自蒸馏让同一个模型在只给题目时当学生、在附上参考解答时当教师,但参考解答会让教师给出又短又依赖答案的推理,学生学不到探索与自我纠错。TeachBack 把参考推理的末尾一段当作可选工作笔记注入教师提示,并同时优化两个方向的偏好:教师轨迹在只给题目的条件下应优于学生轨迹,学生轨迹在带特权信息的条件下反过来塑造教师。在 Qwen3-1.7B、4B、8B 上,数学平均分相对基座分别提高 4.3、2.2、2.5 分,骑士与无赖逻辑题平均分分别提高 6.1、3.9、7.5 分。
可验证奖励强化学习在超出模型能力的难题上会遇到学习悬崖:一组采样全部答错时,组内相对优势估计塌缩为零,更新拿不到信号。PICO只在全错组触发分布约束的联合解码,让掌握专家解的教师与学生逐词取候选交集,并用动态截断把采样分布限制在有限散度预算内,生成既通过验证又贴近当前策略的轨迹。在Qwen3-4B-Base与Qwen3-8B-Base上,PICO在AIME25、AIME26、HMMT26、MATH500、GPQA-Diamond与HLE六项评测的平均分分别为32.0和35.4,高于GRPO的27.9和31.8。
自回归模型与扩散语言模型的生成顺序不同,前者严格从左到右,后者可任意顺序去噪,使前者的逐词监督难以直接用于后者。JustOPD在训练时强制扩散学生按从左到右的顺序生成轨迹,让Qwen3-14B老师能在每个中间状态上给出监督,推理时学生仍保留任意顺序解码。以Dream-7B为学生、Qwen3-14B为老师在GSM8K和MATH500上测试,多种散度下成绩均高于基座模型。
GRPO把同一提示下的所有采样放在一个组均值基线上打分,但同一提示的采样往往走不同解题策略,各策略的奖励分布并不相同。这项工作把子组均值相对全局均值的偏离定义为子组偏移,用一个带符号系数沿偏移移动基线:取正号把信用拉向采样在自己子组内的位置,取负号把信用拉向子组整体质量。在Qwen3-8B-Base与Olmo3-7B-Base、四个竞赛级数学基准上,两个方向相对共享同一策略采样、只改基线的对照都取得小幅但一致的提升,且集中在pass@16,负号方向更强。
在线策略蒸馏让学生自己生成推理轨迹来训练,但学生的前缀可能带着错误或教师不熟悉的写法,前缀越长,教师逐词给出的监督越不可靠。SPTA在蒸馏开始前先用随机长度的学生前缀训练教师,以最终答案是否正确为奖励,让教师学会从学生造成的状态里把推理拉回正轨,而不是模仿学生的推理;随后照常做在线策略蒸馏,蒸馏目标不变。在数学推理基准上,采用SPTA的学生平均表现优于标准在线策略蒸馏,也优于使用任务级强化学习适配教师的在线策略蒸馏。