跳到主要内容
检索

Gabriel Orlanski

1 篇关联报道

订阅更新
  1. arXiv

    Opus 5.5 设计的库让下游智能体少写代码、得分超过人类生产库 2.3 分,但 15 个任务中 11 个只是复刻了人类抽象

    研究者提出 LibraryDesignBench 两阶段基准:设计智能体在只给出能力清单、不规定接口的规格下实现完整库,再由三个不同模型家族的用户智能体用该库解题,按通过率平方乘以相对人类生产库参考解的简洁度打分;在 4 种语言、15 个库设计任务、242 道专家校验题目上,Opus 5.5 得分 48.9,比生产库高 2.3 分,11/15 任务复刻了生产库抽象,失败审计中 64% 的多余代码归因于接口僵化或难用而非能力缺失,加入面向智能体的处方式指导后得分升至 46.4、导出名重合度从 19.4% 降到 13.4%。

已读完全部报道