跳到主要内容
返回时间线
arXiv来源发表:

智能体强化学习不再只靠标量奖励:定向引导让模型学会原本学不会的工具格式与文风

核心概要

多轮工具调用的智能体强化学习常受限于基座模型覆盖不足,某些奖励即使设计正确也学不动。定向引导把每条评分标准附带的文本反馈放到出错的那一轮之前,构造一个权重相同、上下文不同的“专家”,只在该轮做自蒸馏,并与逐标准强化学习奖励叠加。在Qwen3-Coder-30B的软件工程多轮环境中,这一组合让模型学会新的语义搜索工具参数格式和逐轮写诗等行为,同时把编码通过率维持在仅用GRPO训练的水平附近。

Source-provided article image: Stabilizing On-Policy Targeted Guidance in Agentic Reinforcement Learning
arXiv

深度剖析

智能体强化学习可以借助评分标准自带的文本反馈,学会策略梯度单独无法推动的行为,而不牺牲主任务的通过率。 朴素同策略强化学习只能激励策略已经会做的动作;若满足某条标准的动作不在基座策略的支撑集内,即使奖励函数设计正确,策略也不会改进。 在Qwen3-Coder-30B经监督微调后的多轮软件工程环境中,引入新的语义搜索工具参数格式后,基座模型即使看到提示中的示例也完全不使用该格式;加入定向引导后模型学会了该格式,且主编码性能没有回退。

做法是把每条二元奖励标准同时写成一个文本反馈串,在智能体出错的那一轮之前插入该反馈,得到一个与当前策略共享权重、仅上下文不同的专家。 此前的同策略自蒸馏把特权信息放进全局上下文,对所有轮次施加蒸馏压力,容易引发推理变短或多样性塌缩。 训练目标在失败轮次上最小化当前策略与该专家之间的反向KL,并对其他轮次屏蔽该损失,同时保留逐标准的强化学习奖励;蒸馏项按整条轨迹的全部token归一化,以削弱长轨迹的影响。

稳定性来自两个设计:蒸馏只作用于未满足标准的轮次,且蒸馏权重需要选在较低区间。 蒸馏权重偏高时,风格奖励初期更高,但熵值迅速上升、输出变长,随后通过率与风格标准同时崩溃;权重较低则风格提升更慢但不失稳。 在逐轮必须写诗这一分布外标准上,只做自蒸馏而不加对应奖励的版本虽能产出诗,但行为不稳定且编码通过率明显回退;把反馈无条件施加于所有轮次的变体也出现类似回退。

启示与展望

演示范围限于Qwen3-Coder-30B在单一多轮软件工程环境中的后训练,引导目标集中在工具格式与文风等辅助标准,而非主要智能水平;每条标准都需要人工设计一条静态反馈串。

蒸馏权重偏高会导致熵值尖峰并随后在通过率与风格标准上同时失败,较低权重虽稳定但风格提升更慢;作者指出尚未把多种同策略自蒸馏变体在同一实验设置下逐一对比,反馈串目前依赖策略的零样本理解与人工提示。