跳到主要内容
返回时间线
arXiv来源发表:

智能体团队不必越组越大:并行采样十人小队,100个智能体预算下10/12任务胜过独立智能体

核心概要

杜克大学、Modal Labs、普林斯顿大学与纽约大学的研究把测试时算力花在“并行智能体团队”上:不再只采样独立智能体,也不把全部预算压进一个大队,而是并行采样多个十人小队、取最佳小队的结果。在12个长时程任务上,用27B模型和100个智能体的预算,十人小队在10/12任务上胜过100个独立智能体,并在四个跑过大队的任务上全部胜过单个100人队,幅度为8%到30%。

Source-provided article image: Test-Time Compute Scales Better with Parallel Agent Teams
arXiv

深度剖析

测试时算力的花法多了一种中间档:把预算拆成多个互相独立的小队,每个小队内部共享论坛协作,最后只取得分最高的小队。 此前两条常见路线各占一端:best-of-n 采样大量独立智能体、保留最佳结果,但很快饱和;让一个大队协作能拿到更高分,却随规模增大停止改进。 在12个长时程任务上,50个智能体预算时五个十人小队在11/12任务上胜过50个独立智能体的最佳结果,100个智能体预算时十个十人小队在10/12任务上胜出;在跑过单个大队的四个任务上,100个智能体预算下十人小队以8%到30%的优势全部胜出。

小队之所以有效,是因为协作抬高了单个样本的平均分,而并行采样又把样本之间的方差变成收益。 独立智能体样本多但平均分低,单个大队平均分高却只是一个样本、拿不到方差带来的增益,而且从64增到100个智能体时四个任务的平均分都下降。 一个简单的 best-of-n 统计模型把期望最佳分数写成均值加方差增益,在 Graph Node Classification 上十人队平均79.0、单个智能体52.1,模型预测的增益方向在12个任务中对上9个。

小队成员通过一个共享论坛自发交换进展,不需要角色分工或管理者。 把论坛换成一个统筹智能体、由它派活并收集报告后,这种编排式团队在三个任务的每个预算上都低于扁平小队和独立智能体。 在 Borden Source Inversion 上,十个编排式团队的最佳成绩为68.4,低于扁平小队的平均成绩76.5;扁平小队中智能体赞同具名队友的次数是反对的三倍以上。

启示与展望

结论来自12个带自动评分器的长时程优化任务,涵盖 GPU 内核、形式化证明、漏洞利用开发等九个领域,每个智能体在 Codex 执行框架中运行12小时,主模型为 Qwen3.8-27B;单个16到100人的大队只在其中四个任务上运行,每个规模一到五次。

统计模型在大量尝试失败或分数撞到上限时只有定性意义;每个任务的团队池只有10到11次运行;64人和100人队的论坛索引只列出最新帖子和未读帖子;研究只用一个智能体执行框架,且只在一个任务上改变会话时长。