编码智能体不再靠跑分进化:Elite 零候选任务评测,SWE-bench Pro 从 60.0% 升到 85.6%
核心概要
编码智能体的自我改进通常要反复在下游任务上运行候选版本,再按成绩决定谁继续进化,评测开销随探索变宽而上升。Elite 改为在同一父代上并行实现多个聚焦改动,检查这些可执行程序里的机制,把互补部分重新实现成一个后代,进化循环内只用确定性的结构与运行有效性检查。在 SWE-bench Pro 的 60 题子集上,Elite 把初始智能体从 60.0% 提升到 85.6%,候选任务评测为零,观测到的进化耗时比 DGM 和 HGM 分别缩短 8.8 倍和 3.2 倍。
深度剖析
编码智能体的递归自我改进可以在不把候选版本放到下游任务上打分的情况下推进,决定哪些改动被继承的依据从任务成绩换成了可执行程序本身。 此前的做法是先评测再选择:Darwin Gödel Machine 用基准成绩从智能体档案中挑选父代,Huxley-Gödel Machine 用后代任务表现估计一条谱系的潜力,因此扩大探索就要增加任务执行次数。 在 SWE-bench Pro 的 60 题子集上,Elite 把初始智能体从 60.0% 提升到 85.6%,DGM 为 86.7%、HGM 为 88.3%,而 Elite 的候选任务评测次数为零。
每一代先围绕当前智能体运行时代码中的具体局限提出一组聚焦的改进假设,每个假设都从同一个父代独立实现成可执行子代,再由整合步骤把这些实现当作证据来读。 整合器按互补、冗余、冲突、不完整、过度复杂五个维度判断各子代实现的机制,而不是给每个子代打一个预测分数或整份保留某个子代。 整合后的后代要通过对工具调用协议和主执行流程的冒烟测试才会被接受,否则保留当前父代;在 DeepSeek-V4-Flash 的一次运行中,探索门接受 41/48 个候选,接受门接受 5/7 个整合后代。
省去候选任务评测同时改变了进化成本结构,决策开销不再随下游评测集大小增长。 DGM 与 HGM 在进化中分别执行了 810 次和 800 次候选任务评测,Elite 为 0 次。 在 DeepSeek-V4-Flash 上,Elite 平均 4.90 小时完成进化,DGM 为 43.15 小时、HGM 为 15.66 小时,对应观测到的 8.81 倍和 3.20 倍加速,每小时自我修改尝试为 16.35 次,而两者分别为 0.58 次和 3.77 次。
启示与展望
演示范围是编码智能体与选定的基准子集:SWE-bench Pro 的 60 题子集用于进化比较,SWE-bench Verified 与 Polyglot 各 50 题只做迁移评测,另在 mini-swe-agent v2.4.6 配 Claude-opus-5.5 上做了十轮进化。读者对象是研究智能体自我改进与脚手架设计的研究人员和工程师。
评测集中于编码任务和选定子集,部分比较的重复次数有限;接受的更新之间下游表现会波动,长期进化仍是待研究的问题;当前实现只维护单一谱系,作者提出用历史智能体档案保留替代演化路径作为后续方向。
