跳到主要内容
返回时间线
arXiv来源发表:

智能体要自己买实验才能发现缩放律:SLDBench v2 上中位 R² 从 0.72–0.75 降到 0.24–0.57

核心概要

SLDBench v2 把缩放律发现从“结果全部给定”改成“智能体自己挑实验、按记录成本付费、边买边改律”。在 30 个参考幂律拟合 R²≤0.8 的难题上,8 个前沿智能体系统的中位 R² 从被动设置的 0.72–0.75 降到主动设置的 0.24–0.57,预测误差上升 1.5–4.7 倍;智能体偏好便宜实验,平均只花全池成本的 8–44%,但便宜购买会漏掉外推所需的实验条件。

深度剖析

缩放律发现被拆成两个可分开计量的量:预测质量与获取证据的花费。智能体面对一份标价的候选实验目录,自己决定买哪些、何时停,再提交一条对所有分组共用一个函数形式的律。 此前的 SLDBench 把全部实验结果一次性交给智能体,成本不进入问题;SLDBench v2 保留同一批隐藏外推目标,只把观测改成需要付费购买。 在 30 个任务上,8 个前沿智能体系统的被动中位 R² 落在 0.723–0.753,主动设置则拉开到 0.235–0.570,被动排名对主动排名只有弱预测力(Spearman rs=0.21,n=8)。

质量下降不是顺序访问接口造成的,而是买什么造成的。买下全部候选的主动运行与对应的被动运行看到同一批数据,中位差异接近零。 67 对全池购买运行中,主动比被动 R² 高出 0.01 以上的占 38.8%,被动更高的占 29.9%,其余 31.3% 差异不超过 0.01。 按系统、任务和重复配对后,各系统的主动/被动误差倍数在 1.49 到 4.71 之间,每个 95% 区间都在 1 以上;合并所有系统,R²≤0 或无分数的运行占比从 11.4% 升到 31.7%。

智能体先买便宜实验、后买贵实验,花费分布比单一预算更能描述一个系统。 每个系统买下的候选比例中位数都高于其花费比例中位数,实付均价与目录均价的比值中位数为 0.18 到 0.90;每个系统的首批购买落在各组价格区间较便宜的一半,末批位置更高。 Claude Opus 5.5 以 4.01% 的全池成本中位数取得最高的主动中位 R² 0.570;Hy4-Preview 与 Qwen3.8 Flash 花费中位数分别为 3.44% 和 5.35%,失败份额却上升最多,达 34.4 和 26.7 个百分点。

在固定律下,覆盖每个组的价格跨度比覆盖每个组更重要,而价格跨度恰恰最贵。 在 ρ≤5% 的预算下,随机与价格跨度选择在 63% 到 77% 的任务上优于最便宜优先;最便宜每组规则在任何预算下最多只在 46.7% 的任务上占优。 价格跨度规则在 ρ=2% 时把中位 R² 从最便宜每组规则的 −1.456 提到 −0.005,而两者访问各组的顺序相同,差别只在是否采样每组的价格区间。

启示与展望

评测限定在 30 个任务、14 个来源、8 个前沿智能体系统,每个系统在每种设置下解每个任务三次;任务只保留参考幂律在两种设置下 R² 均不超过 0.8 的场景,因此不是语料库的代表性样本。实验通过历史回放完成,智能体只能购买已记录结果的实验,不能提出新配置。

价格混合了来源报告的 FLOPs、按 6ND 等假设推导的估计和非 FLOP 代理,因此成本分数只在任务内可比,不能跨任务比较绝对算力。同一系统同一任务的三次重复常给出定性不同的结果,R² 符号在 20.0% 到 46.7% 的任务上随重复改变,相邻系统之间的差异不宜过度解读。成本与质量分两轴报告,没有合成单一排名。