Kimi K3公开2.8万亿参数模型权重:总参数比K2增167%,长程编程仍落后Fable 5
核心概要
Kimi团队发布Kimi K3,一个总参数2.8万亿、每token激活1040亿的混合专家模型,原生支持视觉并具备100万token上下文窗口,同时公开完整模型权重。团队称其架构、数据与训练改进合计带来相对Kimi K2约2.5倍的总体扩展效率提升。在长程编程、智能体、知识与视觉评测中,Kimi K3整体仍落后于Claude Fable 5和GPT-5.6 Sol,但稳定优于评测套件中的其他开放与专有模型。
深度剖析
开放模型生态此前多停留在1T级参数附近,Kimi K3把预训练基础推到3T级,并把强化学习、推理努力等级和100万token长程交互一起放大。 此前的开放模型大多处于或略高于1T级参数区间,而推理与智能体强化学习方法被用在规模相近的预训练基础上。 架构对比表列出Kimi K2总参数1.04T、激活参数32.6B,Kimi K3为总参数2.78T、激活参数104.2B,层数从61增至93,训练上下文从128K增至1M。
模型在序列长度、网络深度和宽度三个方向同时扩展信息流动,用混合注意力、跨层注意力残差和更稀疏的专家层支撑这一规模。 Kimi K2使用61层MLA注意力和SwiGLU激活,Kimi K3改为69层KDA加24层Gated MLA的混合注意力,并换用SiTU-GLU。 每个模块由3层Kimi Delta Attention接1层Gated MLA组成,KDA用通道级遗忘门扩展delta规则递推;Stable LatentMoE在896个路由专家中每token激活16个,并配RMSNorm与SiTU-GLU抑制激活爆炸。
后训练把通用、智能体与编程三个领域、每个领域三个推理努力等级的九个专家模型,蒸馏合并成一个统一模型。 此前各领域、各努力等级的专门策略是分开训练的专家。 多教师在线策略蒸馏按领域和努力等级选择对应教师,逐token给出裁剪后的奖励信号,并接入部分 rollout 的长程强化学习框架。
启示与展望
报道范围限于技术报告所描述的模型规格、架构、训练与基础设施设计,以及团队自建评测套件中的对比结果;评测覆盖长程编程、智能体、知识、推理与视觉任务,所有对比数字均来自该套件及其注明的外部来源。
团队明确说明Kimi K3整体性能仍落后于Claude Fable 5和GPT-5.6 Sol,只在评测套件中的其他开放与专有模型之前;Fable 5的结果带有潜在回退,GPT-5.6 Sol的结果包含潜在网络安全防护,这些条件会影响对比的可比性。
