跳到主要内容
返回时间线
epoch.ai来源发表:

基准打平、真实工作差17分:Epoch 用自家任务测 Fable 5.2 与 GPT-6.2 Astra

核心概要

Epoch 把自家真实工作改造成评测任务,手工按内部标准给六个模型打分,100% 代表 Epoch 员工水准。Claude Fable 5.2 与 GPT-6.2 Astra 在 Epoch Capabilities Index 上大致并列刷新纪录,但在这些任务上没有任何模型达到员工标准,GPT-6.2 Astra 平均 65%,比 Fable 5.2 低 17 分。在把数据中心录入数据库的分析任务上,Fable 5.2 得 97.5%、Opus 5.5 得 87.5%,达到承包商水平,而 GPT-6.2 Astra 为 65%。

Source-provided article image: How good are Fable 5.2 and GPT-6.2 Astra at real work?
epoch.ai

深度剖析

在直接取自 Epoch 日常工作的任务上,六个受测模型没有一个达到 Epoch 对员工的要求,尽管其中两个在通用基准上大致并列。 此前这两个模型在 Epoch Capabilities Index 上大致并列、共同刷新纪录,而这类基准成绩并不总能对应到真实职场任务的表现。 按 Epoch 内部标准手工评分、以 100% 代表员工水准时,GPT-6.2 Astra 平均 65%,比 ECI 分数相近的 Fable 5.2 低 17 分。

数据中心分析是这批任务中最接近可自动化的一项,两个 Claude 模型的产出被 Epoch 的数据中心分析师判定为与承包商交付相当。 这一水平高于此前的 Fable 5.1 和 GPT-6 Astra;承包商的工作通常也需要修改后才能发布。 在该任务上 Fable 5.2 得 97.5%、Opus 5.5 得 87.5%,满分意味着 Epoch 可以不做改动直接发布,而 GPT-6.2 Astra 为 65%。

模型在实验设计上普遍沿用已有做法,因而难以回答真正的研究问题。 好的实验设计需要针对问题构造新条件,而模型倾向于复用现成工作。 在“国际象棋变体”任务中,所有受测模型都使用了已有的变体而非自创变体,而这些变体对被测模型而言很可能已在训练数据中,无法真正检验分布外泛化。

模型在判断什么值得报告、以及如何呈现上仍然薄弱,并且更偏好自己的输出。 研究质量不只取决于跑出结果,还取决于挑出有意义的发现并清楚呈现。 在有人类达标输出的对照中,除 Gemini 4 Argon 在“隐藏消息”任务上一次选择人类输出外,所有模型在每一例中都偏好自己的输出,理由常偏向实验数量这类表面严谨性。

启示与展望

这套评测的任务直接取自 Epoch 自身工作,由内部人员按内部标准手工评分,用于考察开放式能力与工作自动化的进展;作者表示将继续评测新模型并更新任务集。

作者指出任务集有限、每个模型每个任务只跑一次,分数因此有噪声,不应被读作 AI 在所有工作任务上能力的普遍度量;评分含主观判断,具体数字会随评分细则或评分者变化;由于提问方式和设置相较上一版有改动,两次报告之间的分数不能直接比较。