跳到主要内容
返回时间线
arXiv来源发表:

验证器只能判错时,NOPO只学负样本:代码、逻辑、数学基准平均pass@16超过GRPO

核心概要

当验证器能可靠判错、却无法可靠判对时,标准可验证奖励强化学习会把通过部分检查的捷径当成正确答案来强化。NOPO把验证器判正的样本当作未标注候选,只用可信负样本做抑制,并按同一组 rollout 中未被证伪的样本比例缩放每次更新。在Qwen3-4B与Qwen3-8B上,代码、逻辑和数学基准的平均pass@16高于GRPO等基线,优势在推理时扩展到512次采样和跨基准迁移中仍然存在。

Source-provided article image: Negative-Only Policy Optimization for One-Sided Verifiable Rewards
arXiv · 第 1 页

深度剖析

训练信号可以只取验证器可靠的那一侧:被判定失败的样本当作可信反例,被判定通过的样本只当作尚未被证伪的候选,而不是正确标签。 标准可验证奖励强化学习把验证器的二值输出直接当奖励,强化通过样本、压制失败样本;在只能部分验证的场景里,通过样本中混有未被检查出的错误。 在TACO、LiveCodeBench、CodeContests的公开测试、ZebraLogic的约束检查和OlympiadBench的LLM自检上测得,负判定的精确率qneg为95.8%至100%,而正判定中实际错误的qpos仍有19.7%至77.5%。

策略更新只压制被验证器判负的轨迹,并用同一 rollout 组里未被证伪的样本数量决定这一步压制的力度。 负样本只说明该避开什么,不说明概率质量该移向哪里;直接套用面向固定负样本集的负偏好优化,在在线 rollout 上缺少这一方向信息。 样本层面采用相对参考策略自衰减的负偏好优化损失,组层面用未被证伪样本数除以组大小、取γ=1的线性权重;全组都被判负时权重为零,该组不进入更新。

在缺少标准答案奖励的条件下,这一负向更新在代码、逻辑和数学基准上把平均pass@16推到高于GRPO、EM-RL和w-Reinforce的水平。 GRPO直接优化观测到的验证器奖励,EM-RL只做词元级熵最小化,w-Reinforce给负样本更大权重但仍保留小的正样本权重。 Qwen3-4B上NOPO平均pass@16为52.86,GRPO为48.93;Qwen3-8B上NOPO为52.13,GRPO为48.27;十个基准与骨干组合中NOPO在九个居首,OlympiadBench在Qwen3-8B上以76.52低于GRPO的76.97。

启示与展望

实验在Qwen3-4B和Qwen3-8B的非思考模式下进行,训练只使用公开测试、约束检查或LLM自检给出的单边奖励,评估则使用标准答案;代码、逻辑、数学三类任务分别对应这三种验证器。

负向学习本身是脆弱的:它只说明策略应避开什么,不说明被移除的概率质量应移向何处,这也是采用保守设计的理由。作者指出,在不同单边可验证场景中,验证器判正的样本可能含有成对比较或基于不确定性的过滤等可利用结构,如何在不损失负向优化稳健性的前提下纳入这些部分正信号仍待研究。