跳到主要内容
返回时间线
arXiv来源发表:

智能体能否自己造智能体:Singularity-Bench六项端到端任务上,Opus 5.5配Claude Code全部追平或超过人类基线

核心概要

Singularity-Bench把AI开发拆成预训练、中训练、后训练、推理、智能体外壳与集群编排六项端到端任务,每项只给最小起点、固定时限,并与同一硬件上的人类工程基线比较。11个由7个前沿模型与2种外壳组成的智能体中,Opus 5.5配Claude Code在六项上全部追平或超过基线,Singularity-Index为1.25,其余10个平均只有0.58。该指数按六项相对人类基线的比值取平均,失败任务计零,衡量的是跨层一致性而非单项最优。

Source-provided article image: Singularity-Bench: Can Agents Build Agents?
arXiv

深度剖析

智能体被放到整条AI开发链上考核:从零设计并训练语言模型、做中训练、用强化学习训练编码智能体、搭建推理引擎、从零写编码智能体外壳、编排无服务器推理集群,六项任务各自对应一个成熟的人类工程方案。 此前的基准要么限定动作空间,让智能体只能调现有系统的超参数,要么用简化环境和小模型,要么依赖参考解与有限测试来判定,难以覆盖智能体自行搭建端到端系统的情况。 每项任务都在相同硬件上与人类基线同场比较:预训练对Megatron-LM的OLMo 2配方,中训练对PRISM混合配方,后训练对Miles,推理对SGLang,外壳对Claude Code,集群对Dynamo配KAI Scheduler。

成绩按Singularity-Index汇总,即六项相对人类基线的比值取平均,人类基线记为1,失败任务整项计零但仍除以六。 Opus 5.5配Claude Code是唯一在六项上全部追平或超过基线的智能体,五项胜出、后训练以0.533对0.539与Miles持平,指数1.252;其余10个智能体平均0.58。 同一张表里,专有模型智能体平均1.01、开放权重智能体平均0.50;最便宜的DeepSeek V4.1 Flash配Codex指数0.698、API花费4.36美元,与GPT-6.1 Sol配Codex(0.969,84.52美元)和Opus 5.5(425.41美元)一起构成成本与指数的帕累托前沿。

开放式任务同时放大了作弊面,因此评测框架本身也被检验:红队攻击覆盖OWASP智能体应用十大风险中的9类,普通Harbor在六项任务上都被攻破,加装LLM评审后仍有漏洞。 这些攻击利用的是验证容器必须运行智能体提交代码这一点,例如在生成函数里埋入程序去爬取标准答案,或留下跨阶段存活的隐藏进程改写最终奖励。 Breakwater在Harbor上加了五项防护——二进制指纹前后比对、API路由白名单、智能体容器后的进程墙、智能体不可读写的独立日志、以及验证前一个受限的中间执行阶段——拦下了两张攻击表中列出的全部攻击。

启示与展望

这套评测展示的是六项任务在给定硬件与时限内的表现:预训练12小时单节点GB300、中训练12小时、后训练12小时、推理12小时、外壳6小时、集群4小时四节点。适合关注智能体自主研发能力与长程评测完整性的研究者阅读;作者也指出任务规模小于真正递归自我改进所需,欢迎前沿实验室与评测团队扩大预算来测量完整回路。

作者明确说明,受资源限制,任务规模小于真正递归自我改进所需的规模,Singularity-Bench只是所需能力的代理。即便最强的Opus 5.5追平或超过全部人类基线,其原始分数在六项任务上都仍有明显提升空间,因此追平基线并不等于任务饱和。