多智能体对话不再只换回一个分数:OPSD4MAS把未来发言拆成词元级信用,数学pass@4最高提升20个百分点
核心概要
多智能体强化学习此前把智能体之间的对话压缩成标量奖励,只能告诉每个智能体该不该加强某条回复,却说不清哪些词元该改。OPSD4MAS把后续对话中的事实提取出来,经关联排序和留一法筛选后作为特权上下文,让同一策略在带事实与不带事实两种条件下比较词元概率,得到词元级信用,再与GRPO按线性退火联合训练。在六个数学基准上,使用四个回复未来窗口的版本相对GRPO的平均pass@1和pass@4分别提高8.87和9.54个百分点,单点pass@4提升最高达20.00个百分点。
深度剖析
多智能体系统训练中,智能体之间的后续发言现在可以直接变成逐词元的学习信号,而不只是折算成一条回复的分数。 此前的标量奖励路线要么不使用对话内容,要么把它压成一个分数,回复级优势只能说明是否加强某条回复,无法区分哪些词元支持或反对一处修正。 在AMC23、AIME24、AIME25、MATH-500、Olympiad和Minerva六个数学基准上,未来窗口为四个回复的OPSD4MAS相对GRPO的平均pass@1和pass@4分别高出8.87和9.54个百分点,相对DAPO分别高出6.14和8.48个百分点。
做法是让同一个角色策略在两种上下文下比较自己生成词元的概率,一种带筛选后的未来事实,一种只有普通上下文。 带事实的版本充当特权教师,其与普通上下文版本的对数概率差构成随词元变化的系数,该系数不参与梯度,梯度只经过普通上下文概率。 事实先由外部模型抽取,再按同查询轨迹的结果优势做关联排序,最后用留一法检查单个事实对目标词元概率的影响方向是否与该回复的智能体级优势一致;训练在Qwen3-4B智能体、DAPO-MATH-17k数据上进行,并与GRPO按线性退火联合优化。
未来对话不能直接拿来当特权上下文,未经处理的原始对话会让训练变差。 在三个竞赛数学数据集上,原始未来对话的平均pass@1和pass@4为33.24和50.46,低于只用GRPO的49.63和66.60。 完整流程的平均pass@1和pass@4达到64.91和82.74;其中抽取事实相对原始对话提高9.33和13.52个百分点,关联过滤再加0.42和1.21个百分点,留一法带来最大的21.92和17.56个百分点。
启示与展望
已展示的范围是Qwen3-4B智能体在DAPO-MATH-17k上训练、在AMC23、AIME24、AIME25、MATH-500、Olympiad和Minerva六个数学基准上评测,推理时不使用未来对话或外部模型。
评测集中于数学推理与Qwen3-4B规模,扩展到其他任务、模型规模和交互结构仍是未来工作;事实抽取与关系标注依赖外部模型,特权上下文质量会受该模型以及过滤阈值、上下文预算和退火设置影响。注入诊断在固定权重和冻结历史上评估,四个检查点来自同一次训练运行,检查点差异不衡量训练运行间的波动。
