长序列蒸馏不再让教师全程接管:ATI-OPD只改写最早分歧段,学生独立答题平均准确率高于标准在线蒸馏
在线蒸馏让学生用自己的回答接受教师逐词指导,但回答变长后学生的前缀会偏离教师自己的推理,后续反馈随之失真,训练出现梯度尖峰和超长回答。ATI-OPD在最早出现高分歧的片段处让教师插入一小段改写,再交还学生续写,并把持续分歧的尾部排除在蒸馏损失之外。在五个数学推理基准、两对1.5B师生模型上,学生脱离教师独立作答的平均准确率高于标准在线蒸馏。
在线蒸馏让学生用自己的回答接受教师逐词指导,但回答变长后学生的前缀会偏离教师自己的推理,后续反馈随之失真,训练出现梯度尖峰和超长回答。ATI-OPD在最早出现高分歧的片段处让教师插入一小段改写,再交还学生续写,并把持续分歧的尾部排除在蒸馏损失之外。在五个数学推理基准、两对1.5B师生模型上,学生脱离教师独立作答的平均准确率高于标准在线蒸馏。
长任务智能体的交互历史会超出上下文窗口,因此需要学会何时把状态写下来、何时读回。此前用在线策略蒸馏训练记忆控制时,依赖教师和学生都没见过的专用记忆工具或压缩协议,教师难以给出有效指导,学生也很少采样到有意义的记忆动作。CAMP-II 改走教师与学生预训练中都已熟悉的普通 Bash 文件操作,在五个长任务环境上联合训练单一策略,五环境平均任务成功率 64.6%,高于任务奖励参照 CAMP-I 的 54.2%,并迁移到 Terminal-Bench 2.1 与 SWE-Bench Pro V2。
少步自回归视频扩散模型在长推演中会逐渐丢失主体与场景信息,现有蒸馏目标没有把久远历史单独作为约束。History Forcing 用同一自回归教师在有、无额外历史两种条件下的预测之差构造上下文残差,加权后修正 DMD 或 OPSD 的蒸馏目标。1.3B 学生模型在 15 秒生成上取得 VBench 质量分 85.07,在 60 秒生成上取得 VBench-Long 综合分 79.82,并在相机离开再返回的评测中把 PlayWorld 演化质量从 2.35 提到 2.70。
自回归模型与扩散语言模型的生成顺序不同,前者严格从左到右,后者可任意顺序去噪,使前者的逐词监督难以直接用于后者。JustOPD在训练时强制扩散学生按从左到右的顺序生成轨迹,让Qwen3-14B老师能在每个中间状态上给出监督,推理时学生仍保留任意顺序解码。以Dream-7B为学生、Qwen3-14B为老师在GSM8K和MATH500上测试,多种散度下成绩均高于基座模型。
在线策略蒸馏让学生自己生成推理轨迹来训练,但学生的前缀可能带着错误或教师不熟悉的写法,前缀越长,教师逐词给出的监督越不可靠。SPTA在蒸馏开始前先用随机长度的学生前缀训练教师,以最终答案是否正确为奖励,让教师学会从学生造成的状态里把推理拉回正轨,而不是模仿学生的推理;随后照常做在线策略蒸馏,蒸馏目标不变。在数学推理基准上,采用SPTA的学生平均表现优于标准在线策略蒸馏,也优于使用任务级强化学习适配教师的在线策略蒸馏。
联合音视频生成中,音频token远少于视频,监督稀疏导致蒸馏不稳,简单加大音频损失权重反而更糟。OmniOPD让音频教师在更干净的视觉条件下生成目标、对每个提示采样多条轨迹、并按教师与学生转移差异给每个时间步加权,在JavisBench上把视频质量VQ从LTX-2.3的2.714提到3.347,同时音频质量AQ为5.449,低于音频教师的5.576。
同策略蒸馏不再把学生自己采样的轨迹直接当作唯一采样分布:此前每轮都从当前学生采样,教师必须在学生走到、但自己很少到达的轨迹上给逐词监督,这类监督会变得有噪声,重复等退化模式还会在后续轮次被反复采样。新方法按教师相对支持度重加权,在KL信任域内得到学生与教师的几何混合,并训练一个提议策略在一次前向中近似该混合。16个数学、知识问答和医学推理基准上,Qwen3-4B-Base的数学平均准确率比OPD高6.91,平均生成长度低41%。
多轮智能体蒸馏把教师监督改挂在交互状态上,只保留已执行动作与环境观测,Qwen3-4B 学生在 ALFWorld Seen 上以 43.39% 反超其 32B 教师。
多层感知机的线性化不再只靠多项式随机特征,而是用低次有理函数逼近激活函数,再借部分分式把每层拆成权重侧与输入侧可分离的内积。在合成拟合、视觉、三维与语言模型上,这一路线在同等特征预算下取得更低误差;压缩Qwen3-8B时替换最后八个前馈层可移除1.17B参数(占模型14%),解码吞吐从763.3升至809.6 token/s,推理与知识基准与未压缩模型大致持平。
蒸馏教师模型的监督信号时,不再对每个词一视同仁,而是先估计该词对更新后奖励的影响再决定权重。此前的方法依赖不确定性或师生分歧这类代理指标,未必对应真正提升奖励的监督。RAD用一次临时优化步做可微打分,再以投影上升更新词权重,在相同训练响应预算下把六个竞赛数学基准的平均准确率对Qwen3-1.7B提升6.5个百分点、对Qwen3-4B-Instruct-2507提升2.5个百分点,并在LiveCodeBench-v6上取得54.69%与58.67%的pass@1。