智能体只靠屏幕重建陌生软件:SWE-Recreation上最强系统完整复现不足四分之一需求
核心概要
SWE-Recreation把“先自己用懂、再重建”变成可测任务:智能体只能看渲染像素、用指针和键盘操作,不能读DOM、源码、日志或后端。基准覆盖54个真实应用(28个网站、26个Android应用)和1446条隐藏需求,五个前沿系统在应用等权平均下最高加权保真度0.530,完整复现需求最多22.9%。
深度剖析
软件智能体第一次被要求在没有目标说明的情况下,仅凭像人一样使用一个陌生应用来弄清它的功能,并交出可运行的重建版本。 此前的网页与计算机使用智能体拿到的是明确目标,界面到代码的工作拿到的是截图、原型或需求文档,交互重建基准则提供录制好的交互视频或标注好的状态转移,看什么已由他人选定。 评测在54个真实应用、1446条隐藏需求上进行,每条需求写明有序操作步骤和预期可观察结果,并配有排除清单,剔除多用户、支付、实时数据和生成式功能等单机无法忠实复现的行为。
评分不比对像素外观,而是让一个固定裁判模型通过同样的类人界面自行操作重建版本,逐条走完隐藏工作流并核对状态变化。 外观、文案、样式和框架都不计分,因此行为等价的实现可以通过,静态假界面不能通过;持久化需求必须给出改动前、改动后以及重载或重启后的证据才拿满分。 平衡研究覆盖16个常用网站和全部26个Android应用,共42个目标、1111条需求、210次运行和5555次评分;四位GUI领域专家抽查20个样本,超过95%的裁判判定被认为正确。
除保真度外,评测还把“有没有探索到”和“探索到之后有没有做出来”分开记录,用来定位失败发生在发现、理解还是实现环节。 单看总保真度无法区分没发现某项功能与发现了却没实现,探索覆盖率由另一个裁判在探索关键帧上事后估计,不影响智能体本身。 在五个系统的应用等权平均结果中,Kimi以0.530加权保真度和22.9%完整复现率居首,DeepSeek为0.472,其后是GLM 0.362、GPT-6-Sol 0.352和Opus 0.277。
启示与展望
评测对象是54个真实应用上的黑箱重建,评分只针对屏幕上可观察的行为,多用户协作、支付、实时数据、生成式功能和外部集成被排除在计分范围之外;平衡研究实际覆盖16个网站和26个Android应用。
探索覆盖率来自对采样关键帧的事后估计,否定判定不能证明智能体确实没有探索过,肯定判定也可能只覆盖工作流的一部分;每个系统在每个应用上只运行一次,实时目标没有确定性重置,也可能出现在预训练数据中,因此这些描述性结果尚不能说明因果。
