编码智能体的外壳工程有了专门考卷:Doc2Harness上GPT-6 Astra通过率53.05%,最强模型仍失手近半
核心概要
编码智能体的表现不只取决于模型,也取决于包住模型的外壳(harness,负责工具调用、上下文、权限与结果校验的软件层)。Doc2Harness把外壳工程本身变成可判定的考题:被测模型在固定构建外壳里,仅凭一份开发文档和只声明接口的骨架写出完整外壳,再由脚本化的模拟模型逐条驱动,从模型请求、磁盘文件、进程退出码和命令输出四个通道判定。19个前沿模型各构建3次、共328个测试用例,GPT-6 Astra通过率最高,为53.05%,最弱的Hy3为27.44%。
深度剖析
编码智能体的能力有多少能落到真实工作区,取决于模型外面那层外壳;现在这层外壳本身成了被评测对象,而不是被固定住的前提。 此前的基准在固定外壳下测下游任务成功率,外壳工程这一环节没有被单独考察。 19个前沿模型各做3次独立构建、跑328个测试用例,GPT-6 Astra通过率53.05%居首,最弱的Hy3为27.44%,相差约26个百分点,说明这套题既未饱和也能区分模型。
被测模型拿到的只有一份开发文档和一个只保留接口的骨架,其余实现要自己写。 开发文档由12个前沿外壳的用户文档合并、消歧后改写而成,骨架从mini-swe-agent裁剪而来、去掉全部内部实现,两者都用来压低模型对既有参数知识的依赖。 一个代表性候选外壳约30个Python源文件、约16000行,其中约99.6%由被测模型在骨架之外写出;构建在无外网的空容器中进行,提交需通过编译安装、命令齐全、无占位桩和三个契约接口的检查后才冻结。
判定不靠真实模型跑下游任务,而由按预设脚本应答的模拟模型把候选外壳端到端驱动一遍。 真实大模型的不稳定会干扰评分,脚本化应答让每个用例的判定可重复。 每个测试用例在独立容器中运行一次,限时900秒,超时记为失败;328个用例中有130个至少受一个阳性对照把关,阳性对照失败时该组用例一律记为失败,以防“功能根本没跑却判通过”。
启示与展望
评测对象是编码智能体外壳这一软件形态:被测模型在固定的OpenCode构建外壳中,依据12个前沿外壳文档合并而成的开发文档和纯接口骨架,在隔离容器里构建候选外壳,再由脚本化模拟模型在每用例独立容器中端到端驱动。读者应把它当作外壳构建能力的测量工具,而不是下游任务能力的排名。
协议只测单次构建,允许最多三次提交,并不是构建—评测—修复的迭代循环;契约检查只看形式不看行为,因此早提交者的通过率是下界而非上界。此外,单变量扩展从同一颗种子派生的多个变体彼此相关,一个缺陷可能同时拖垮多个用例。
