RECLAIM 基准测试:四个智能体在 100 篇 NeurIPS 2025 论文上复现结果,最佳者仅复现 41% 的 Run 层论文、27% 的 Retrain 层和 15% 的 Reimplement 层
作者提出 RECLAIM,一个由 100 篇 NeurIPS 2025 论文构成、可每年从新会议重建的基准,为每篇论文预先固定要复现的结果、成功复现的判定标准和 GPU 小时预算,并按作者公开物的完整程度划分难度层级(Run 层有代码、数据和权重;Retrain 层缺权重需智能体训练模型;Reimplement 层缺代码需智能体自行编写),由另一个语言模型依据日志和输出而非智能体自述来评分;四个智能体每篇论文各运行一次,各层级中表现最好的智能体分别只复现了 41%、27% 和 15% 的论文,失败尝试平均只用了 29% 的预算,最常见的错误是在 400 次运行中有 63 次未将方法任何部分与论文中的数字核对。