智能体长任务训练不再只看单条轨迹:BLPO跨任务共享经验,WebShop成功率74.02%
核心概要
长程任务中,智能体每一步的贡献很难从单条轨迹里分辨,而把比较限制在单个任务的少量采样内又常常缺少足够证据。BLPO把不同任务中处于相同任务进度、执行相同功能动作的决策归入同一比较组,用跨任务和跨训练轮次累积的统计估计步级优势,并对上下文难度与估计可靠性做加权。在ALFWorld和WebShop上,Qwen2.5-1.5B策略的WebShop任务成功率从HGPO的71.54%升到74.02%,ALFWorld Out-Success从90.16%升到91.54%,且不引入学习到的评论家或额外采样。
深度剖析
长程任务的步级信用分配可以借用其他任务的经验,而不必只在当前任务的采样轨迹内部比较。 此前的GRPO把同一条轨迹的优势分给所有动作,GiGPO按相同观测分组,HGPO进一步按交互历史分组,但这些比较仍局限在单个任务的有限采样内。 在Qwen2.5-1.5B上,BLPO的WebShop任务成功率为74.02%,高于HGPO的71.54%;ALFWorld Out-Success为91.54%,高于HGPO的90.16%,训练预算相同。
做法是把轨迹前缀压缩成任务进度状态,并按动作在目标下的功能给动作归类,让不同任务中的对应决策进入同一个比较组。 具体命令和具体对象会让可比较的样本变得稀疏,因此需要先抽象再比较。 每个上下文在每批中只向全局记忆贡献一个残差均值,记忆按指数衰减累积,并用有效上下文支持度与不确定度缩放每个对比;在ALFWorld和WebShop上,1.5B与7B两种规模都报告了任务成功率的提升。
共享经验带来的偏差需要单独控制,否则频繁出现的上下文会主导估计。 去掉残差化或置信度调整后,ALFWorld Out-Success低于完全去掉任务进度信用的变体。 在WebShop上,去掉置信度调整使任务成功率下降2.93个百分点,去掉指数移动平均使任务成功率下降4.10个百分点。
启示与展望
结果覆盖ALFWorld与WebShop两个长程任务环境,以及Qwen2.5-1.5B-Instruct和Qwen2.5-7B-Instruct两种策略规模,训练为160次更新、每次16个任务、每任务8条轨迹。任务进度状态与动作功能由按环境预定义的规则给出,统计估计器本身在两个环境间共用。
跨任务一致性的检验只在最高置信度分箱上稳定优于最低分箱,并非每个折都单调;WebShop 7B上任务得分88.90与HGPO的88.96相当,提升主要体现在任务成功率。作者指出,把BLPO用于新领域需要合适的比较组,学习可迁移的抽象是扩展适用面的方向。
