EvoCodeAgent把架构图变成会改的项目状态:GPT-5下单元测试通过率最高提升53.5%
核心概要
项目级代码生成要求模型从需求直接产出多文件、跨文件依赖一致的完整仓库,而既有方法把架构设计当成一次性蓝图,实现过程中架构与代码逐渐脱节。EvoCodeAgent把架构表示改为随生成不断更新的项目状态,用工具核验得到的证据校正架构与代码之间的依赖关系,并把历次修复轨迹抽象成可复用的修复经验。在DevBench与CodeProjectEval两个项目级基准上,GPT-5设置下单元测试通过率分别为60.48%和27.73%,相对最强基线最高提升53.5%。
深度剖析
项目级代码生成不再把架构设计当成一次性蓝图,而是让架构随生成过程持续被代码和验证结果改写。 此前的做法要么直接从需求生成代码、不设显式架构阶段,要么在早期规划阶段构造结构化中间表示后把它当作固定蓝图使用。 在DevBench与CodeProjectEval两个不同规模的项目级基准上,GPT-5设置下EvoCodeAgent的单元测试通过率分别为60.48%和27.73%,相对最强基线最高提升53.5%。
系统维护一份从需求文档、UML图和架构设计文档初始化的项目状态,其中同时记录结构节点、预测依赖、已实现依赖、生成产物快照和验证反馈。 骨架阶段从导入语句、跨文件符号匹配和代码元素语义相似度推断出预测依赖,代码阶段再用静态分析从生成代码中提取已实现依赖,后者在后续迭代中逐步取代前者主导上下文检索。 在CodeProjectEval、GPT-5设置下,项目平均规模为19,376.06个token,经协同演化检索到的上下文平均为6,560.93个token,占总量的33.9%。
判断智能体不再只靠大模型自行评判中间产物,而是调用结构校验、接口校验、缺失文件检测和骨架覆盖校验等工具,把显式证据写回项目状态。 此前的多阶段框架主要由大模型在长上下文下独立判断中间产物是否合格,缺少可核查的证据。 在CodeProjectEval、GPT-5设置下移除这些工具后,单元测试通过率从27.73%降到10.88%,架构一致性也出现最大幅度下降。
每轮修改前后的产物快照与验证结果被比对,抽象成由适用场景、修复策略和观察结果组成的修复经验,供后续迭代按错误信息检索复用。 此前的迭代反馈以局部差异或近期修改历史的形式保留,与具体文件和错误轨迹绑定,相似问题在新文件中出现时需要重新发现。 在CodeProjectEval上每个任务平均积累26.4条经验,检索率31.9%;检索后35.3%带来改进,61.8%无可观察效果,2.9%出现回退。
启示与展望
评测限定在DevBench的Python子集(10个任务,平均2.2个文件、276行代码)与CodeProjectEval的18个Python任务(平均12.7个文件、2,388.6行代码),骨干模型为DeepSeek-v3.2与GPT-5,输入统一为PRD、UML图和架构设计文档。作者把扩展到其他编程语言列为后续工作。
作者列出的效度威胁包括数据集覆盖有限、骨干模型选择可能带来偏差,以及需求不完整或相互矛盾时生成质量会下降。经验检索的效果在很大程度上取决于当前失败与既往案例的相似度,检索后多数事件没有可观察改进。
