多验证器不再压成一个分数:POLPO按帕累托排序训练,代码与指令遵循的完整通过率更高
核心概要
代码生成和指令遵循任务里,一条回答往往要同时通过多项检查,而常见做法是把这些检查结果压成一个标量奖励再交给策略优化。POLPO改为只保留验证结果本身支持的比较:一条回答通过另一条已通过的全部检查、且多通过至少一项时才算更优,结果冲突的两条回答保持不可比。训练目标最大化与这些偏序一致的所有完整排序的总概率,在受控程序合成、MBPP、APPS 以及多约束指令遵循上,完整满足全部要求的比例高于全通过奖励和通过率奖励的训练。
深度剖析
多验证器反馈不再必须先折算成一个标量奖励才能用于策略优化,验证结果直接给出的优劣比较本身就可以作为训练目标。 此前的做法是全通过奖励、通过率奖励或加权和:全通过奖励把所有部分成功的回答给成同一分数,通过率奖励按通过项数排序,加权和则要事先规定一项检查的收益如何补偿另一项的损失。 在受控的 FizzBuzz 程序合成任务中,POLPO 在全部五颗随机种子上都达到完整成功概率阈值,平均约用 96,000–100,000 个采样程序;在 512,000 个程序的预算内,全通过奖励的 GRPO 与同样只用全通过比较的 POLPO–All 从未达到该阈值,通过率奖励的 GRPO 在三个目标上分别只有三、三、一颗种子达到。
做法是把验证结果转成偏序,再用一个排序概率模型去拟合这些比较,而不是先造出奖励。 帕累托支配规定:一条回答通过另一条已通过的全部检查、且至少多通过一项时,它才排在前面;各自通过对方未通过的检查时,两者不可比,训练不为它们规定先后。 在 MBPP 上,Qwen3-0.6B 的完整通过率从同目标、同超参数的通过率排序变体 POLPO–Rate 的 42.00% 升到 44.73%,平均测试通过率从 48.53% 升到 52.42%;Qwen3-4B 上对应从 67.40% 升到 67.93%、从 71.93% 升到 75.49%。
排序概率用策略相对参考策略的对数概率比作为每条回答的分数,再用 Plackett–Luce 模型给完整排序分配概率。 与逐对比较的 DPO 式目标不同,这里把所有与验证结果一致的完整排序的概率加总,验证没有规定的先后被边缘化掉,而不是强行让不可比的回答打平。 该似然通过对回答子集的动态规划精确计算,在四个代码训练设置中,每次更新比 GRPO 的截断目标多花 26–203 毫秒,相当于一次训练更新耗时的 0.03–0.07%。
启示与展望
已展示的范围是受控 FizzBuzz 程序合成、MBPP 与 APPS Introductory 代码生成、AceCode 训练后向 HumanEval 与 EvalPlus 版 MBPP 的迁移,以及 IFM5、MulDimIF、MathIF 三个多约束指令遵循数据集;代码任务用贪心解码评最终检查点,MBPP 结果跨三个训练种子,APPS 与 AceCode 只用单颗种子。作者提出的下一步是设计采样策略,让回答组里更容易出现已验证的改进,从而提供更多比较监督。
学习信号依赖每个回答组内存在的比较:当没有任何回答严格帕累托支配另一条时,该组不提供比较信号,即使仍有要求未被满足。在 MBPP 上,真正部分序的回答组占比在 Qwen3-0.6B 上最多约 7%、Qwen3-4B 上约 2%;在 IFM5 与 MulDimIF 上,POLPO 训练后结果完全相同的回答组占比分别升到 84.7% 和 88.9%。作者也说明,固定两层分块的构造压力测试并不覆盖所有可能的偏序。
