跳到主要内容
返回时间线
arXiv来源发表:

智能体预测湿实验排名仍远未饱和:公开任务最高调整均值0.478,私密任务十二组配置优于随机

核心概要

UniPat AI 团队发布 Science Prediction Universe(SPU),把化学、材料、生物与医学中结果尚未公开的真实湿实验做成排名预测任务:100 个公开任务取自 85 篇近两年论文,另有 16 个来自未发表湿实验的私密任务。智能体在隔离容器中可自由检索、装软件、算模拟,只需按测量结果给候选条件排序。13 组配置在公开任务上的任务调整均值从 0.227 到 0.478,仅 34% 至 52% 的已评分任务超过随机阈值;16 个私密任务上 13 组中有 12 组显著优于随机。

AI-generated editorial illustration: Science Prediction Universe

深度剖析

SPU 把“预测实验会怎样”变成可自动评分的排名任务:给定实验设置与候选条件,智能体按一个尚未公开的测量结果给候选排序,测量值与评分代码留在智能体接触不到的独立容器里。 此前的科学智能体评测要么让智能体分析已经到手的数据,要么用确定性测试判分,要么以单轮问答形式预测结果而不给工具,因此没有测到“在无实验反馈时选定证据与计算并押下预测”这一步。 公开任务共 100 个,来自 2025 年 1 月至 2026 年 8 月发表于 11 种 Nature Portfolio 期刊的 85 篇论文,覆盖化学 42、材料 31、生物 31、医学 12 个任务;另有 16 个由专家依据未发表湿实验设计的私密任务,合计 116 个任务、4,207 个实验、517 个比较组。

智能体在 8 核 CPU、16 GiB 内存、一块 NVIDIA H20 GPU 和 8 小时预算的容器里自行检索、安装软件、跑量子化学或分子动力学计算,最后提交每个比较组的完整排序。 评分只读提交的 rankings.json,按提交顺序与测量值的 Spearman 秩相关给分,组权重在任务构建时固定,因此报告、脚本和自述都不影响分数。 13 组配置覆盖 12 个前沿模型与 Codex、Claude Code 两套运行框架,每个配置在每个任务上跑一次,公开任务共 1,300 次官方运行,其中 1,155 次进入评分;分析基于这 1,155 条轨迹里的 227,103 次工具调用。

启示与展望

评测覆盖化学、材料科学、生物与医学四个学科共 116 个任务,智能体在带网络、可装软件的隔离容器中运行,评分只依据提交的排序与隐藏测量值之间的秩相关。公开任务的结果原则上可被检索到,因此另设 16 个未发表私密任务作为不依赖检测器的对照。

公开任务上配置只分成两个梯队,梯队内部的排序在一次运行每任务的设定下尚未分辨;Claude Opus 5.5 与 Claude Fable 5.1 因安全拒答只在 44 和 30 个公开任务上有分,其均值反映的是各自完成的任务子集。私密任务上任意两组配置之间都没有检出显著差异,且预测准确率强烈依赖具体测量终点,例如同一批电解液在离子电导率上所有配置都在 0.89 至 0.95,而在电化学窗口上落在 −0.55 至 0.07。