智能体框架不再靠标准答案改:Harness 2 用行为对照自改执行框架,GLM-5 在 WorkBuddy-Bench 均分单步涨 11.5 分
核心概要
Google Cloud AI Research 发布 Harness 2,一个即插即用的递归智能体框架优化框架,让冻结模型外围的提示、记忆、工具与编排在无标准答案的开放任务流中被自动改写。它用“提议—探测—组合”的对照步骤比较同一任务下改动前后的执行轨迹,再把改框架的经验存进持续改进框架供后续任务复用。在 WorkBuddy-Bench、JobBench 和 Harvey 法律智能体基准上,单步改进在四种执行器—框架配置下均优于原始框架,最大增益分别为 11.5 分、4.5 分和 11.8 个百分点。
深度剖析
智能体在开放任务上的表现,除了取决于底层模型,还取决于模型外围的执行框架,即提示、记忆、技能、工具与编排;Harness 2 让这层框架在部署过程中被自动改写,而不改动模型权重。 此前的框架自动优化多在固定的训练任务、单元测试或验证反馈上挑选最佳配置再部署,而开放世界任务在框架设计阶段往往没见过,也没有标准答案或可靠验证器来指导在线修改。 在 WorkBuddy-Bench、JobBench 和 Harvey 法律智能体基准三个专业基准、四种执行器—框架配置上,单步改进都优于各自的原始框架,最大增益为 WorkBuddy-Bench 11.5 分、JobBench 4.5 分、LAB Partial 通过率 11.8 个百分点。
每次改进由“提议—探测—组合”三步构成:先跑一次参考执行,再提出一个面向通用智能体缺陷的候选和一个面向当前领域知识的候选,两者都在相同模型与环境配置下执行同一任务。 候选与参考执行之间的行为对照只说明改动是否缓解了目标缺陷、是否没有变化或是否引入退化,并不判定任务答案是否正确,因为执行本身有随机性、模型也有共同偏差。 组合阶段读取参考执行、候选框架、它们相对当前框架的差异以及全部任务内执行证据,可以选择合并受支持的改动、修正冲突、采纳某一个候选或保留原框架,随后执行组合后的框架并记录决策依据。
启示与展望
评估覆盖 WorkBuddy-Bench 的代码、网页与办公三个领域、JobBench 的端到端职业任务,以及 Harvey 法律智能体基准的 Partial 逐条通过率,执行器为 Gemini 3.5 Flash 与 GLM-5,初始框架为 OpenCode 与 Codex,默认框架编辑器为 Claude Opus 4.8。每个基准的任务流从空的经验库开始,并在每个任务后更新。
行为对照受执行随机性和模型共同偏差限制,因此它提供的是改动是否缓解目标缺陷的证据,而非任务正确性。递归并不均匀缩小不同初始框架之间的差距:在 WorkBuddy-Bench 上 Gemini 的差距从 2.1 降到 0.4,GLM-5 的差距反而从 0.2 升到 1.3。在 LAB Partial 上,Gemini 3.5 Flash 配 Codex 时 Meta-Harness 仍领先。
