跳到主要内容
返回时间线
Artificial Analysis来源发表:

Kimi K3.1 Pro 冲上智能指数第四:智能体评测大涨,开源与闭源差距缩到3分

核心概要

Moonshot 发布推理模型 Kimi K3.1 Pro,在 Artificial Analysis 智能指数上得 55 分,位列第四,比 Kimi K3 的最高分 44 提高 11 分。它在智能体任务上进步最大:GDPval-AA 得 1,846 Elo,比 Kimi K3 高 312 Elo,并在 Terminal-Bench 4.0 上取得所有模型中的最高分。其权重尚未公布,Moonshot 预计在发布后不久放出;届时它将成为得分最高的开源权重模型,开源与专有模型在该指数上的差距将从 12 分缩小到 3 分。

Source-provided article image: Kimi K3.1 Pro launches at 4th on the Artificial Analysis Intelligence Index scoring 55, making large gains in agentic performance; it will be the leading open-weights model once its weights are published
Artificial Analysis

深度剖析

Moonshot 的新推理模型 Kimi K3.1 Pro 在 Artificial Analysis 智能指数上得 55 分,排第四,比 Kimi K3 的最高分 44 高 11 分。 此前 Kimi K3 的最高分为 44 分,与榜首存在明显距离。 在智能指数上,它只落后于 Claude Opus 5.5(max with fallback,58)、Claude Sonnet 5.5(max with fallback,56)和 Muse Wonder Full(max,56)。

进步集中在智能体任务上,Kimi K3.1 Pro 在 GDPval-AA 上以 1,846 Elo 排第三,并在 Terminal-Bench 4.0 上取得所有模型中的最高分。 Kimi K3 的 GDPval-AA 成绩比它低 312 Elo;Terminal-Bench 4.0 上 Kimi K3 为 13%,Kimi K3.1 Pro 为 67%。 GDPval-AA 上它仅落后 Claude Opus 5.5(1,866 Elo)和 Muse Wonder Full(1,857 Elo);Terminal-Bench 4.0 上它领先 Claude Sonnet 5.5(64%);测试智能体 SaaS 工作流的 AutomationBench-AA 从 58% 升到 73%。

其他评测的涨幅较温和,Humanity's Last Exam 从 47% 升到 52%,CritPt 从 23% 升到 25%,SciCode 从 59% 升到 61%。 这些项目相对 Kimi K3 只有几个百分点的提升。 AA-Omniscience 指数从 20 升到 30,其中幻觉率从 53% 降到 44%,准确率从 48% 升到 51%。

每个任务的成本与 Kimi K3 大致持平,为每任务 1.98 美元。 Kimi K3.1 Pro 每个智能指数任务用 55K 输出 token,比 Kimi K3 的 48K 多 14%,但其第一方 token 价格低 33%。 输入、输出、缓存命中三项价格分别为每百万 token 2 美元、10 美元、0.20 美元,三项均比 Kimi K3 低 33%。

启示与展望

报道范围限于 Artificial Analysis 智能指数及 GDPval-AA、Terminal-Bench 4.0、AutomationBench-AA、Humanity's Last Exam、CritPt、SciCode、AA-Omniscience 等具名评测上的成绩,以及 1M token 上下文、2.8T 总参数与 104B 激活参数、文本与图像输入和定价信息;权重尚未公布,Moonshot 预计在发布后不久放出。

权重尚未公布,开源权重模型的定位以 Moonshot 预计在发布后不久放出为前提;各评测分数为发布时公布的数值,其他评测的提升幅度明显小于智能体类评测。