跳到主要内容
返回时间线
arXiv来源发表:

智能体每步先挑再执行:Turn-BoN 在终端任务上把通过率抬高 5–10%,步数减半

核心概要

长程智能体每一步只执行一个动作,动作从随机策略里采样,因此同一任务有时成功、有时失败。Turn-BoN 在每一步先让生成模型给出多个候选动作,再由一个现成的开源大模型作为选择器挑出其中一个执行,选择发生在环境执行之前。在 Terminal-Bench v2.1 的终端任务上,以 Qwen3.6-35B 和 K2-Horizon-375B 为生成模型时,平均 pass@1 提升 5–10%,重复尝试的一致性也提高,解题所需轮数比基线少约 40–50%,代价是每条轨迹的总 token 约为基线的 3–6 倍。

Source-provided article image: On Turn-Level Best-of-N Sampling for Scaling LLM Agents
arXiv

深度剖析

智能体在每一步执行动作之前,先由另一个大模型从若干候选动作中挑一个,再交给环境执行,这样改变的是轨迹中途的动作分布,而不只是最终答案的挑选。 此前的轨迹级 best-of-N 要等整条轨迹跑完才用结果奖励模型或大模型裁判打分选优,无法改变每次尝试内部中间动作的分布;深度优先搜索和蒙特卡洛树搜索虽能探索中间状态,却需要保存并恢复环境状态。 在 Terminal-Bench v2.1 上配合 mini-SWE-agent 运行框架,以 Qwen3.6-35B 和 K2-Horizon-375B 为生成模型、Kimi-K3 与 Deepseek-v4.1-Flash 为选择器,平均 pass@1(4 次试验平均)相比无选择器的基线提升 5–10%,pass@k 曲线在小 k 处覆盖更多任务。

选择器在每一步只看到候选动作列表,按“哪个更可能真正推进任务”给出选择,不需要单独训练价值模型或评论家模型。 此前的引导式搜索依赖用策略 rollout 训练出的动作价值评论家来给候选打分,而这里直接用现成开源模型做生成式评论家,以列表方式一次性比较全部候选。 选择器偏好编辑文件、测试上一次修改、运行测试或检查这类真正动手的动作,减少只读或只查看文件的动作,并拦下格式错误、空工具调用和死循环;在 N=4 与 N=8 两档采样宽度下,解题轮数比基线少约 40% 和 50%。

轨迹级行为评分显示,选择器带来的改变不止于通过率,失败轨迹里的坏行为也变少。 基线轨迹常出现重复执行失败命令、不诊断就重试、测试无法失败等问题,这些行为在只看通过率的指标里被掩盖。 用大模型裁判按 28 条行为准则标注 360 条轨迹,循环行为下降 14–18 个百分点;K2-Horizon 的失败轨迹平均被标记 2.7 条坏行为,基线为 3.9 条,Qwen3.6 的失败轨迹为 6.8 条,基线为 8.9 条。

启示与展望

演示范围限于 Terminal-Bench v2.1 的终端任务,使用 mini-SWE-agent 运行框架,生成模型为 Qwen3.6-35B 与 K2-Horizon-375B,选择器为 Kimi-K3 与 Deepseek-v4.1-Flash,且选择器本身比生成模型更强;作者提出只在少数轮次做 Turn-BoN 作为可能降低开销的下一步方向。

作者把结果定位为初步实验和思想实验,主要顾虑是每一步都要生成多个候选并调用选择器,总 token 达基线的 3–6 倍;性能提升受生成模型能力上限约束,选择器较弱时如何封顶尚未实验;训练小型选择器能否泛化也不清楚。