跳到主要内容
检索

# 可验证奖励强化学习

19 篇关联报道

订阅更新
  1. NVIDIA Technical Blog

    英伟达发布 Nemotron for Science 后训练配方:药物代谢预测上,SFT 提 12%,强化学习再提 17%

    英伟达发布 Nemotron for Science,一套包含模型、数据集、工具与配方的集合,让研究团队把实验记录搭成可验证奖励环境,把通用多模态模型改造成领域专用科学智能体。以药物代谢预测为例,模型输入母体分子与代谢酶、输出代谢产物 SMILES,在 16,384 token 输出预算下,监督微调把 Nemotron for Science 的准确率提高 12%,强化学习后训练再提高 17%。配方还给出可选的教师模型蒸馏预热步骤,用于强化学习收敛偏慢的情形。

  2. arXiv

    验证器只能判错时,NOPO只学负样本:代码、逻辑、数学基准平均pass@16超过GRPO

    当验证器能可靠判错、却无法可靠判对时,标准可验证奖励强化学习会把通过部分检查的捷径当成正确答案来强化。NOPO把验证器判正的样本当作未标注候选,只用可信负样本做抑制,并按同一组 rollout 中未被证伪的样本比例缩放每次更新。在Qwen3-4B与Qwen3-8B上,代码、逻辑和数学基准的平均pass@16高于GRPO等基线,优势在推理时扩展到512次采样和跨基准迁移中仍然存在。

  3. arXiv

    BF16在强化学习后训练里追平FP16:随机舍入让低学习率下的收敛不再被权重卡住

    在可验证奖励强化学习常用的低学习率下,BF16混合精度训练比FP16收敛更慢,原因是FP32影子权重舍入到BF16时,小幅更新常被舍入抹掉,权重连续几步不变。把这一量化步骤从就近舍入改为随机舍入后,BF16在1.5B、14B与30B-A3B模型和两个数学数据集上的奖励轨迹与FP16一致,同时相对参考模型的KL散度低于提高学习率的BF16,并保留BF16的动态范围、无需损失缩放。

  4. arXiv

    可验证奖励强化学习首次拿到提示级差分隐私保证:奖励信号在噪声下仍能提分

    可验证奖励强化学习(RLVR)用带标准答案的题目训练语言模型,但训练题本身可能涉密,模型权重会泄露它见过哪些题。DP-GRPO 把同一道题的全部回答合成一个梯度、只裁剪一次并加高斯噪声,使发布权重的隐私预算与每题回答数和裁剪范数无关,作者称这是 RLVR 训练的首个差分隐私保证。在 Qwen2.5-1.5B-Instruct 上以 LoRA 训练、每次运行预算为 8 时,奖励信号相对去掉奖励的对照在 MATH 上提高 2.65 个百分点、GSM8K 上提高 3.24 个百分点,且每个随机种子都为正。

  5. arXiv

    同一套权重跑两遍:Metis-1.6用1.02T token把Logos推到40项基准第7,数学排第2

    Metis-1.6发布两个从零训练的语言模型Praxis与Logos,每个token都让同一套Mamba-2与注意力混合专家堆栈跑两遍,各用1.02T token训练。Logos在40项后训练基准上平均52.93,在17个模型中排第7,比Qwen3-4B低0.75分;但披露数据量的对比模型训练中位数为12T token,超过它的模型都至少用了28T。数学上它30个模型中排第2,AIME 2025为67.50%,代码、指令跟随与长上下文偏弱。

  6. arXiv

    长上下文RL训练不再等自回归:稀疏自草稿加全注意力验证,吞吐提升1.39倍

    长上下文RLVR的rollout生成改用稀疏注意力起草、全注意力验证,在Qwen3-1.7B与Qwen3-8B上把端到端训练吞吐提高到自回归的1.39倍和1.35倍,同时保持任务表现相当。

  7. arXiv

    异步RL训练把上下文挤进更少解码步,INT4 KV缓存提速却掉点,选择性INT8保护补回精度

    异步RLVR训练在维持高并发时把上下文处理压缩进更少的解码步,使KV缓存而非权重成为主要开销。KV4-RL用免校准INT4存储全部上下文,只对注意力汇点和最近上下文做有界INT8保护,在Qwen3-4B-Base与Qwen3-8B-Base的全参数GRPO训练中,六项基准平均准确率与BF16 rollout相差不超过0.5个百分点,同时显著加快rollout与整轮迭代。

  8. arXiv

    混合推理模型的无思考模式RL增益大半来自思考泄漏:8B上抹掉8维思考子空间,增益掉75%

    在Qwen3-1.7B、4B、8B上以GRPO做无思考模式强化学习,准确率提升的同时回答变长、反思词增多、内部激活向原模型的思考模式偏移。权重缩放、激活替换与注意力头干预三类实验显示,这部分增益主要来自对原模型已有思考能力的重新激活,而非学到新的推理行为;8B上替换8维思考子空间可去掉75%的增益,反向替换可把50%的增益转移给原模型。

  9. arXiv

    教师监督不再逐词照搬:按对奖励的影响加权,数学基准最高涨6.5个百分点

    蒸馏教师模型的监督信号时,不再对每个词一视同仁,而是先估计该词对更新后奖励的影响再决定权重。此前的方法依赖不确定性或师生分歧这类代理指标,未必对应真正提升奖励的监督。RAD用一次临时优化步做可微打分,再以投影上升更新词权重,在相同训练响应预算下把六个竞赛数学基准的平均准确率对Qwen3-1.7B提升6.5个百分点、对Qwen3-4B-Instruct-2507提升2.5个百分点,并在LiveCodeBench-v6上取得54.69%与58.67%的pass@1。

  10. arXiv

    RL-ARC 用推理置信度校准答案置信度,在分布外基准上把 ECE 降到 0.16 并保住准确率

    该工作提出 RL-ARC,一种校准感知的强化学习框架,在 RLVR 基础上同时提取模型对推理过程的置信度与对答案的置信度,把推理置信度作为辅助信号:预测正确时用它正则化答案置信度,预测错误时用它施加过度自信惩罚;在数学推理与分布外复杂推理、事实问答基准上,RL-ARC 的校准指标优于既有校准感知训练方法,同时准确率与仅优化正确性的 RLVR 相当。