月之暗面开源Kimi K3.1 Pro:2.8万亿参数、百万token上下文,智能体任务对标闭源旗舰
核心概要
月之暗面在Hugging Face发布开放权重模型Kimi K3.1 Pro,这是一个原生多模态的智能体模型,总参数2.8万亿、每token激活104B,上下文长度约104万token。它由Kimi K3经数百个下游领域的大规模联合强化学习后训练而来,官方称在编码、3D创作、金融研究和事实准确性等智能体能力上有明显提升。模型卡以推理强度max的设置与Claude、GPT-6 Astra、DeepSeek等模型逐项对比,部分基准领先、部分落后。
深度剖析
开放权重的Kimi K3.1 Pro把总参数推到2.8万亿、激活参数104B,并把上下文窗口做到约104万token,同时原生支持文本与图像输入。 模型卡称它是K3.1系列的首个模型,也是月之暗面迄今最强的3T级模型,由Kimi K3后训练而来。 模型卡列出架构为混合专家,共93层、896个专家、每token选16个专家加2个共享专家,视觉编码器MoonViT-V2为401M参数。
在智能体类基准上,Kimi K3.1 Pro在HLE-Full w/ tools上得70.0,在BrowseComp上得92.1,在Agents' Last Exam(ALL)上得43.2。 同一张表中,Claude Fable 5.1在HLE-Full w/ tools上为65.6,GPT-6 Astra在BrowseComp上为91.5,GPT-6 Astra在Agents' Last Exam(ALL)上为41.8。 这些分数在推理强度max、temperature 1.0、top-p 0.95下测得,对比模型标注为max并带fallback。
编码类基准上结果并不一致:Terminal-Bench 4.0得65.7,高于Claude Fable 5.1的57.9,但Terminal-Bench-Science 0.1得38.1,低于GPT-6 Astra的68.1和Claude Opus 5.5的63.3。 同一张表中,Program Bench上Kimi K3.1 Pro为31.5,Claude Opus 5.5为65.0,Claude Fable 5.1为53.5。 Terminal-Bench 4.0使用Claude Code评测框架,其余分数取自各模型博客或官方排行榜。
长上下文建模改用门控DeepSeek稀疏注意力(Gated DSA)层,替换Kimi K3中的全注意力门控MLA层。 模型卡称这一替换是为了更高效地处理长上下文。 注意力层由69层KDA与24层Gated DSA组成,DSA索引头维度128、索引头数32、Top-K为2048。
启示与展望
模型卡展示的是在推理强度max、temperature 1.0、top-p 0.95设置下的一组基准分数,覆盖编码、智能体、推理与知识、多模态和安全几类任务,对比对象包括Claude Fable 5.1、GPT-6 Astra、Claude Opus 5.5、DeepSeek-V4.1-Flash-1017与GLM-5.3。部署方面给出vLLM、SGLang与TokenSpeed三种推理引擎的配方,以及OpenAI与Anthropic兼容的API。
模型卡说明部分对比分数取自他方博客或官方排行榜,评测框架与预算并不统一,例如PostTrainBench在H20 GPU上内部评测并使用DeepSeek-V4.1-Flash-1017作裁判模型。表中以短横线表示来源未报告该分数,Elo类分数与准确率、通过率不可直接比较。模型卡称专有模型测试可能涉及fallback行为。
