跳到主要内容
检索

# 组相对策略优化

14 篇关联报道

订阅更新
  1. aclanthology.org

    定理证明训练数据不再靠堆量:从已验证证明里挖出500道边界难题,两个证明器都涨分

    形式定理证明的强化学习受限于高质量难题稀缺:现有Lean题目要么已被证明器解出,要么信息量太低。ProofFrontier从已有Lean已验证的定理–证明对出发,保持原定理陈述不变,只遮住证明结构中的关键局部节点,让证明器重新发现中间推理,再用基础证明器的通过率筛出“原则上可解、但不易解”的边界难题。用GRPO在500道合成任务上训练后,DeepSeek-Prover-V2-7B与Goedel-Prover-V2-8B在miniF2F、ProofNet和PutnamBench上均较各自基础模型提升。

  2. Memetic Computing

    答案对不等于推理对:给GRPO的组内优势加一道噪声权重,高噪声下仍能学

    大模型推理训练常用的GRPO只看最终答案对错,答案正确并不代表推理过程可靠,这种“思考—答案错配”在组内样本高度不平衡时会被单个错误奖励放大。S-GRPO在奖励噪声模型下最小化观测优势与潜在优势的期望平方误差,得到闭式的噪声感知组权重,在多个数学推理基准和模型规模上稳定训练,并在标准GRPO几乎学不动的强噪声干预下仍有学习进展。

  3. arXiv

    扩散语言模型并行解码掉点严重:RePara 用两词块强化训练,GSM8K 从 28.20 提到 68.54

    扩散语言模型每步并行提交多个词元时准确率会大幅下滑,RePara 用分组相对策略优化强化连续短词元块,在 LLaDA 上把 GSM8K 的 Diff#16 准确率从 JustGRPO 的 28.20 提到 68.54。

  4. arXiv

    软件工程智能体的奖励不再只有通过或失败:让策略自己比较同一结果下的调试轨迹

    软件工程智能体的强化学习奖励不再只分通过和失败:让当前策略自己比较同一任务、同一验证结果下的调试轨迹,把偏好变成有界辅助奖励,在SWE-bench Verified上把Qwen3-14B的平均准确率从32.1%提到34.7%。

  5. arXiv

    语音大模型不再按固定帧率压缩:让边界策略跟着识别结果学,英文少用约四分之一音频词

    ASSET 用强化学习训练语音编码器的分段边界,在 LibriSpeech 上以约少 25% 的音频词达到接近字符边界 oracle 的识别率。

  6. arXiv

    SRSP用冻结TTS的语音似然奖励训练风格规划器,在五项声学指标上超越可访问目标音频的标注基线

    该工作先验证语音-文本对齐只能弱预测下游声学相似度,随后提出语音奖励风格规划(SRSP):以冻结TTS模型对目标语音token的教师强制似然为奖励,用GRPO训练文本风格规划器;在ISCSLP 2026 CoT-TTS语料英文子集上,SRSP在五项下游声学指标上优于Base LLM与可访问目标音频的标注基线,并在LLM评判中获得更高的上下文恰当性与参考一致性。

  7. arXiv

    SynCo 让合成器与解题器在同一在线批次中联合优化,八个数学推理基准平均达 78.72%

    SynCo 把智能体式数据合成与任务求解建模为耦合的多智能体强化学习问题,用同一在线交互批次同时更新一个合成器和一个解题器:解题器获得逐条 rollout 的正确性奖励,合成器获得由任务质量、答案可靠性与结果接地可教性门控的任务级奖励,二者更新再反馈进下一轮合成。在八个数学推理基准上,SynCo 平均准确率 78.72%,高于冻结合成器变体的 75.85% 与最强外部基线 ScaleQuest-Math 的 74.96%,且增益主要来自初始模型未能解出的题目。

  8. arXiv

    AutoSynth 用音频条件自回归模型直接生成可编辑的 Helm 合成器程序,在合成器反演与文本驱动生成两项任务上取得有竞争力的结果

    AutoSynth 将 MIDI 演奏事件、固定合成器参数与可变长度调制路由序列化为统一序列,用音频条件自回归模型学习其依赖关系,先在大规模自动构造的音频–程序对上做监督学习,再用混合奖励的组相对策略优化后训练,从而在给定参考音频时直接预测合成器程序、在给定文本时借助预训练音频生成模型转换出程序,并在合成器反演与文本驱动生成两项任务上取得有竞争力的结果。

  9. arXiv

    OMatGRPO 直接强化晶体生成器的离散组分通道,将 mSUN 从 13.4% 提升到 45.5%,并揭示单元素重排可虚增基准

    该工作用组相对策略优化(GRPO)直接强化晶体生成器 OMatG 的离散原子类型通道,其闭式似然比使元素选择成为策略动作,配合含稳定性、新颖性与多样性并带稀疏凸包和单元素防护的奖励,在 LeMat-GenBench 上把亚稳、独特且新颖结构(mSUN)的产率从预训练模型的 13.4% 提升到 45.5%,同时记录策略对早期奖励的利用,并指出单元素重排会被现有 mSUN 实现计为发现。

  10. arXiv

    CIPO用反事实分支训练LLM智能体在原子工具与复合技能间自适应选择粒度,在三个基准和两个骨干上同时提升成功率与决策压缩

    该工作提出CIPO框架:先用预算约束的BPE式挖掘从成功工具轨迹中抽取可执行复合技能,再在GRPO中对每条基础轨迹于首个可替换的粒度决策点构造反事实分支,用配对结果差作为有界补充奖励;在TOOLATHLON、TOUCAN、TRAJECT-Bench三个基准与Qwen2.5-7B、Llama3.1-8B两个骨干上,CIPO在全部六个设置取得最高Tool F1与TSR,平均Comp./Raw为0.845,优于GRPO+Skills的0.912,且提升并非来自单纯增加技能调用频率。