跳到主要内容
检索

# 智能体强化学习

22 篇关联报道

订阅更新
  1. arXiv

    多轮强化学习让智能体在长预算下越过基座模型,预算收紧后优势却会消失甚至反转

    多轮智能体强化学习常被用来提升大语言模型智能体的长程能力,但轨迹级成功率掩盖了它对单步决策的实际影响。研究在DeepCoder-MT、BFCL、InterCode-SQL与FrozenLake四个交互任务上,用采样广度与交互深度两个维度评估GRPO训练后的模型:采样轨迹越多,强化学习模型越稳定地超过基座模型;但把每条轨迹的交互轮数压紧,这一优势会缩小、消失,在部分任务上甚至反转。逐状态比较显示,强化学习模型只在46.8%的DeepCoder-MT状态和42.8%的FrozenLake状态上给出更优的下一步动作,其增益主要来自错误恢复与轨迹后段。

  2. arXiv

    强化学习即服务被20美元攻破:Bait用奖励探针让有害训练学不进去

    智能体强化学习即服务把数据采样和奖励打分交给用户,一个有害奖励函数就能以低至20美元的成本抹掉模型的安全对齐。Bait在回滚阶段把专门训练的Bait模型生成的显式有害回答混入策略模型的回答组,用两类回答平均奖励之差(奖励散度)的符号判断奖励函数是否有害,检测为有害时翻转该组奖励符号施加惩罚。在自建测试台上,Bait把三种有害指令数据集上的平均有害分数从20.4降到6.8,平均智能体准确率从93.1升到96.0。

  3. arXiv

    工具调用越练越差:TACA改按推理到调用的过渡分配信用,六个推理基准平均高4.61个百分点

    多轮工具调用的强化学习训练中,推理准确率会在初期上升后跌回非智能体基线以下,TACA把原因定位到工具调用令牌拿到的整体信用为负,并改为在推理转向工具调用这一步上做监督。它在Qwen2.5-1.5B与3B上相对MT-GRPO把六个推理基准的平均准确率分别提高4.61和3.61个百分点,同时训练中的工具执行成功率保持在86.28%。

  4. arXiv

    长程智能体的信用该记在回合上:MPO把回合级优势与逐词修正分开,搜索任务pass@1最高提升4.33点

    长程LLM智能体按完整回合与环境交互,却逐词生成动作,现有强化学习要么给整条轨迹一个共享优势,要么把每个词当作动作。MPO把信用分配拆成两层:回合级广义优势估计在交互之间传递信用,回合内再做保均值的局部修正,策略更新则用完整回合的重要性比率。在搜索、工具使用和自动化任务上,Qwen3-4B-Thinking与Qwen3-30B-A3B-Instruct两个规模下,MPO在九个指标上均取得表中最高分,其中4B的BrowseComp-Plus pass@1比最强非MPO基线高4.33点。

  5. arXiv

    代码判题不再只给结论:35B验证器自己造反例,把判题准确率从71%推到87%

    一个35B的智能体验证器在只看到题面和候选代码、看不到官方测试的情况下,用自己生成的反例作为可执行证据,把USACO-Judge上的二元判题准确率从71.41%提到87.41%。

  6. arXiv

    过程奖励不是越细越好:预告片剪辑里,衰减权重让长任务得分涨45.4%,固定权重却让44.1%的回合被截断

    在49部真实电影及其预告片构建的四类剪辑任务上,同一套GRPO训练里,把LLM评判的回合级过程奖励权重衰减到零,使Fine Cut任务相对仅用结果奖励的GRPO取得45.4%的相对提升,而固定权重版本在三个较短任务上低于仅结果奖励,并出现44.1%的回合被截断。过程奖励早期确实鼓励了看图与推理,但持续优化会让智能体反复调用工具而不提交成品;令牌级的在线自蒸馏则对教师可见的特权信息高度敏感。

  7. arXiv

    专业动作视频编辑不再只靠一句指令:智能体先找示范再自检,Stoppie 不再被编成 Wheelie

    专业动作视频编辑改由智能体先检索并自检示范片段,再连同落地提示交给冻结的编辑模型;在314项专业动作任务上,Seedance 2.0 的总分从55.1升到65.6,MiniMax-H3 从51.2升到64.5。

  8. Hugging Face - Blog

    24B推理模型每token只激活2B:单张B300高并发输出超21K token每秒,工具调用基准五项领先或持平

    Liquid AI发布LFM2.5-24B-A2B,一个总参数24B、每token仅激活2B的推理型智能体模型,面向设备端本地运行。它沿用前代LFM2-24B-A2B的架构,但上下文从32K扩到131K、词表从65K扩到128K,并改为先输出思维链再作答。在16项基准上它与总参数和激活参数都多约50%的Qwen3.6-35B-A3B竞争:LiveClaw得48.09对38.19,AutomationBench为27.69对8.72,同时在M5 Max上解码184 token/s。

  9. arXiv

    智能体强化学习不再只靠自己摸索:失败轨迹在采样时被就地纠正,导航通过率从35%升到57%

    阿里团队提出采样时干预(RTI),在整组轨迹全部失败时用奖励侧评分标准就地纠正关键错误步骤,让智能体强化学习学到原本探索不到的成功轨迹,导航基准Pass@1从GRPO的35.33升到57.33。

  10. arXiv

    技能库不再只进不出:SkillForge让技能随策略淘汰与改写,WebShop成功率相对提升7.8%

    SkillForge把智能体的技能库从只增不减改成带适应度生命周期的锻造流程,技能与策略在强化学习中共同演化,在ALFWorld、WebShop和搜索增强问答三个交互基准上取得最高总体成功率,相对最强基线最高提升7.8%。