编码智能体的外壳工程有了专门考卷:Doc2Harness上GPT-6 Astra通过率53.05%,最强模型仍失手近半
编码智能体的表现不只取决于模型,也取决于包住模型的外壳(harness,负责工具调用、上下文、权限与结果校验的软件层)。Doc2Harness把外壳工程本身变成可判定的考题:被测模型在固定构建外壳里,仅凭一份开发文档和只声明接口的骨架写出完整外壳,再由脚本化的模拟模型逐条驱动,从模型请求、磁盘文件、进程退出码和命令输出四个通道判定。19个前沿模型各构建3次、共328个测试用例,GPT-6 Astra通过率最高,为53.05%,最弱的Hy3为27.44%。