同一个Qwen3.8-27B,换套适配器就变强:pi上SWE-bench Pro从39.2%升到64.7%,工具调用还少一半
核心概要
Hugging Face 团队为 Qwen3.8-27B 在 pi、Hermes Agent、OpenCode 三种智能体运行框架内各训练了一个 LoRA 适配器,冻结基座权重,用强化学习直接优化该框架下的任务表现。每个专用适配器在自身框架下、两个编程基准上都超过基座模型,例如 pi 适配器把 SWE-bench Pro 最难 51 题从 39.2% 提到 64.7%,同时在双方都解出的任务上减少 56%–72% 的工具调用。三个适配器还能按秩拼接成一个超级适配器,在三种框架下均优于基座,但会损失一部分专用增益。
深度剖析
模型与智能体运行框架(harness,即真正执行工具调用、拼接上下文的智能体外壳)组合使用时,通用模型并未针对具体框架和任务优化,因此留有性能与效率空间;在框架内部做强化学习可以补上这部分。 此前的多框架强化学习与 harness adapters 实验只覆盖数据分析与代码构建任务,这次把同一思路推到 27B 模型和更难的软件工程任务上,并横跨 pi、OpenCode、Hermes Agent 三种框架。 三个专用适配器在各自框架下、两个基准上都优于基座:SWE-bench Pro 最难 51 题上 pi 从 39.2% 到 64.7%(新解 15 题、丢失 2 题,p = 0.002),hermes 从 29.4% 到 43.1%,opencode 从 35.3% 到 51.0%;Terminal-Bench 2.1 上 pi 提升 16.3 个百分点(16 对 2,p = 0.001),hermes 提升 14.1 个百分点(19 对 7,p = 0.03)。
训练时框架按原样运行,训练器从框架与 vLLM 之间的代理记录的真实 token 上学习,而不是另写一套智能体循环。 常见强化学习框架会重写智能体循环,让智能体跑在框架自己的接口上;这里保留部署时的框架本身,训练信号来自它实际产生的 token。 最终镜像内置 Pi 1.5.2、OpenCode 2.2.7 和 Hermes Agent v0.22.6,训练用 TRL 的 AsyncGRPOTrainer,每个适配器在 2 块 B200 上训练,一块跑 vLLM 服务、一块跑训练;训练累计 598 步、78,114 个样本、1.67 亿 token。
三个适配器沿秩维度拼接成秩 96 的超级适配器,以 ½ 权重施加各自更新,可在三种框架下不加改动地运行。 三个适配器两两余弦相似度仅约 0.01–0.02,更新方向近乎正交,因此合并时互相干扰很小;权重 ⅓、½、1 在 Terminal-Bench 2.1 全部 89 题上比较后,½ 取得最佳平衡。 关闭思考模式时,超级适配器在全部六组框架–基准组合上都优于基座(平均 pass@1 从 39.5% 到 49.0%,新解 71 题、丢失 34 题,p < 0.001);开启思考模式时六组中五组胜出、一组持平(平均 55.5% 到 63.5%,新解 67 题、丢失 37 题,p = 0.004)。
启示与展望
结论建立在 Qwen3.8-27B 与 pi、Hermes Agent、OpenCode 三种框架,以及 Terminal-Bench 2.1 全部 89 题和 SWE-bench Pro 最难 51 题之上,评估时每个任务一次尝试、温度 0.8、关闭思考模式。作者明确说明各框架默认设置不同(例如 pi 不保留此前的推理轮次),因此不能跨框架比较结果,只能在同一框架内比较。
作者把模型在非思考模式下先输出一小段类似推理的文字称为“推理泄漏”,并把它列为发布后的开放问题,计划对纯思考模型和混合思考/非思考训练再做后续工作。分布外检查中,五个模型在 300 个 AutomationBench 任务上差异基本在噪声范围内,只有 Hermes 适配器落后数个百分点。超级适配器的 ½ 权重是在 Terminal-Bench 2.1 上用第 120 步适配器选出的,因此该基准上的数字略偏乐观。
