多智能体对话不再只换回一个分数:OPSD4MAS把未来发言拆成词元级信用,数学pass@4最高提升20个百分点
多智能体强化学习此前把智能体之间的对话压缩成标量奖励,只能告诉每个智能体该不该加强某条回复,却说不清哪些词元该改。OPSD4MAS把后续对话中的事实提取出来,经关联排序和留一法筛选后作为特权上下文,让同一策略在带事实与不带事实两种条件下比较词元概率,得到词元级信用,再与GRPO按线性退火联合训练。在六个数学基准上,使用四个回复未来窗口的版本相对GRPO的平均pass@1和pass@4分别提高8.87和9.54个百分点,单点pass@4提升最高达20.00个百分点。