多验证器不再压成一个分数:POLPO按帕累托排序训练,代码与指令遵循的完整通过率更高
代码生成和指令遵循任务里,一条回答往往要同时通过多项检查,而常见做法是把这些检查结果压成一个标量奖励再交给策略优化。POLPO改为只保留验证结果本身支持的比较:一条回答通过另一条已通过的全部检查、且多通过至少一项时才算更优,结果冲突的两条回答保持不可比。训练目标最大化与这些偏序一致的所有完整排序的总概率,在受控程序合成、MBPP、APPS 以及多约束指令遵循上,完整满足全部要求的比例高于全通过奖励和通过率奖励的训练。