跳到主要内容
返回时间线
arXiv来源发表:

智能体写代码时收到复杂度回执:侵蚀指标最多降24.6个百分点,正确率未见变化

核心概要

编码智能体长时间自主写代码时,通常只以测试是否通过为指引,代码复杂度会随自我扩展不断累积。MITL在每次改动代码后,把改动函数的圈复杂度和未被自身测试覆盖的改动行作为短消息注入智能体上下文,让它有机会先重构或补测试。在三个长程基准、四个模型上,复杂度反馈显著降低了侵蚀指标,合并区间为7.8至24.6个百分点,而留出测试正确率的各模型区间均包含零。

Source-provided article image: Metrics-in-the-Loop: Complexity Feedback Reshapes Agent-Written Code
arXiv

深度剖析

编码智能体在长程自主运行中写出的代码,其复杂度集中度可以在生成过程中被压低,而不必等到事后审查。 此前的智能体主要依据测试是否通过来决定下一步,测试通过并不暴露累积的复杂度和测试覆盖缺口,这些弱点会在智能体继续扩展自己的代码时保留下来。 在Commit0和SlopCodeBench上,复杂度反馈相对仅提醒对照在四个模型上都显著降低侵蚀,合并区间排除零,降幅为起始侵蚀的7.8至24.6个百分点。

做法是在智能体每次改动代码后插入一条简短回执,点名复杂度超限的函数和未被测试执行的改动行。 圈复杂度统计的是一个函数内部独立路径的条数,路径越多越难跟踪和测试;回执把超过阈值6的改动函数按降序列出,并要求智能体把它们降到限值以下。 实验覆盖DeepSeek V4.1 Flash、GLM-5.3 Flash、Claude Haiku 5.5和GPT-6 Luna四个模型,在Commit0的25个库、SlopCodeBench的35个问题和SWE-EVO的35个迁移上运行,并与仅提醒、无消息和仅覆盖反馈等对照臂比较。

启示与展望

已展示的范围是Python代码、一个执行框架、四个模型以及每个基准一个token预算,反馈在智能体运行中逐轮投递。作者提出下一步需要构建一个使用未见规格、包含长串变更请求的新基准,同时测量有无反馈时改动正确性与成本。

复杂度反馈降低侵蚀的同时,没有任何模型的留出正确率区间排除零,SlopCodeBench上合并的联合混合模型给出0.82的比值比,区间为0.70至0.96,因此不能排除合并臂在该基准上有小幅代价。作者还指出回执把限值与度量合并在轮次之间,目标、内容与时机的效应相互混淆,且当前基准的通过率接近饱和或受库间方差主导,尚不能显示结构改善带来的正确性收益。