跳到主要内容
返回时间线
arXiv来源发表:

真实仓库不再只做验证终点:RepoFactory造出10,159个训练环境,35B模型NL2Repo涨22.6分

核心概要

RepoFactory把真实代码仓库自动改造成可验证的“从零重建整个项目”训练环境,并用环境演化循环在不需要模型试跑的前提下同时提升环境可用性与训练价值。它共产出覆盖17个软件领域的10,159个环境;在Qwen3.5-35B-A3B上训练得到RepoHorizen-35B-A3B,NL2Repo-Bench提高22.6个百分点,五项基准平均提高8.5个百分点,其中环境演化本身分别贡献5.1和2.1个百分点。

AI-generated editorial illustration: From Repositories to Training Environments: Scaling Long-Horizon Coding Agents with Environment Evolution Loop

深度剖析

编码智能体的训练环境可以从真实仓库批量生成,而不必依赖人工挑选的少量任务;RepoFactory把公开代码托管平台上的项目转成“给定语言规格、从零重建完整仓库”的可验证任务。 此前的线性构建流程在验证处收尾,只确认环境可用,对如何提升训练价值缺少指引;不适合的仓库被直接丢弃,扩大规模只能靠找到更多满足固定要求的仓库。 该流程共产出10,159个环境,覆盖17个软件领域;其中最大类别只占12.5%,不属于任何命名领域的仅6.9%。

环境演化循环用验证结果与代码静态分析给出的低成本信号,联合修改参考实现、任务规格和测试,使原本不合格的候选仓库重新可用。 以模型试跑或下游训练作为反馈的路线,在长程任务上每次试跑都涉及大量实现工作,成本高、反馈慢。 在从过滤后候选集中均匀抽取的500个仓库上,允许至多三步修复使通过验证的环境数从169增至347,产出率从33.8%升到69.4%,且大部分改善来自第一次修复。

以“实现规模”和“结构耦合”为目标继续演化,能在固定轨迹数量下提高重建任务的训练价值。 仅保证环境有效,任务可能只需很少实现工作,或由彼此独立的组件拼成。 从同一批1,000个环境中分别只优化一个指标,取第3、6、9、12轮为四个层级、每层2,000条轨迹微调Qwen3.5-35B-A3B:优化实现规模时NL2Repo准确率从30.2%升到32.9%,优化结构耦合时从30.2%升到32.5%,后者不依赖更长的交互轨迹。

在这批环境上训练出的RepoHorizen-35B-A3B,在仓库生成之外的软件工程与终端任务上也取得提升。 基线Qwen3.5-35B-A3B在NL2Repo上为23.8,五项基准平均45.1。 NL2Repo从23.8升到46.4,SWE-bench Verified从65.8升到72.2,SWE-bench Pro从42.4升到47.6,SWE-bench Multilingual从59.7升到61.0,Terminal-Bench 2.1从33.7升到40.5,平均从45.1升到53.5;去掉环境演化后NL2Repo为41.3、平均51.5。

启示与展望

已展示的范围是Python项目:仓库需具备包元数据与非空本地测试套件、至少五个实现文件且少于四万行Python代码,并排除依赖外部服务、外网访问、图形界面或专用硬件的项目。评估使用Claude Code 2.1.140作为智能体脚手架,最大上下文262,144个token、最大输出32,768个token,上下文用量达80%时自动压缩。

代理指标只在较粗的结构层面刻画任务内容,尚未显式区分单个任务所需的能力;语言覆盖也仍以Python为主。环境规模曲线在测试到的最大规模处仍在上升,原文称没有饱和迹象,但未给出更大规模的结果。