跳到主要内容
检索

# 偏序似然策略优化

1 篇关联报道

订阅更新
  1. arXiv

    多验证器不再压成一个分数:POLPO按帕累托排序训练,代码与指令遵循的完整通过率更高

    代码生成和指令遵循任务里,一条回答往往要同时通过多项检查,而常见做法是把这些检查结果压成一个标量奖励再交给策略优化。POLPO改为只保留验证结果本身支持的比较:一条回答通过另一条已通过的全部检查、且多通过至少一项时才算更优,结果冲突的两条回答保持不可比。训练目标最大化与这些偏序一致的所有完整排序的总概率,在受控程序合成、MBPP、APPS 以及多约束指令遵循上,完整满足全部要求的比例高于全通过奖励和通过率奖励的训练。

已读完全部报道