验证器只能判错时,NOPO只学负样本:代码、逻辑、数学基准平均pass@16超过GRPO
当验证器能可靠判错、却无法可靠判对时,标准可验证奖励强化学习会把通过部分检查的捷径当成正确答案来强化。NOPO把验证器判正的样本当作未标注候选,只用可信负样本做抑制,并按同一组 rollout 中未被证伪的样本比例缩放每次更新。在Qwen3-4B与Qwen3-8B上,代码、逻辑和数学基准的平均pass@16高于GRPO等基线,优势在推理时扩展到512次采样和跨基准迁移中仍然存在。
当验证器能可靠判错、却无法可靠判对时,标准可验证奖励强化学习会把通过部分检查的捷径当成正确答案来强化。NOPO把验证器判正的样本当作未标注候选,只用可信负样本做抑制,并按同一组 rollout 中未被证伪的样本比例缩放每次更新。在Qwen3-4B与Qwen3-8B上,代码、逻辑和数学基准的平均pass@16高于GRPO等基线,优势在推理时扩展到512次采样和跨基准迁移中仍然存在。
已读完全部报道