MiniMax-M2.7每token只激活约98亿参数,SWE-bench Pro拿到56.2分
核心概要
MiniMax发布M2系列混合专家语言模型,旗舰M2总参数2299亿、每token仅激活98亿,最新检查点M2.7在SWE-bench Pro上得56.2分,与Claude Opus 4.6的57.3分、GPT 5.4的57.7分处在同一区间。系列能力主要来自智能体原生后训练:可执行工作区与产物对齐奖励支撑的数据管线,加上名为Forge的强化学习系统。M2.7还展示了早期自我进化,能自主排查失败的训练运行并修改自身脚手架。
深度剖析
MiniMax把M2系列做成一套以“小激活撬动真实智能”为设计原则的混合专家语言模型,旗舰M2总参数2299亿,每个token只激活98亿。 此前的路线通常靠更大的单token计算量换取能力,M2把容量放在总参数里、把计算压在激活参数上。 在智能体编码、深度搜索、办公任务与推理基准上,M2到M2.7的同一系列组合把这一小激活规模转化为前沿级表现。
模型在每一轮里交替输出推理片段与工具动作,并把上一轮的思考块保留进上下文,使计划、执行、反思构成一个循环。 与之相对的是把推理全部前置、或每轮丢弃先前思考的两种做法,后者迫使模型反复重建上下文。 去掉历史思考块的消融在智能体基准上一致变差,深度搜索与软件工程这类需要多步推理的任务上差距尤其大。
后训练由智能体驱动的数据管线与Forge强化学习系统共同完成,Forge把训练、推理与智能体本身解耦,同时接纳白盒与仅API的黑盒智能体。 长程智能体轨迹长度从秒级到小时级不等,严格先进先出会被慢任务堵住,完全贪心又会把简单任务挤到前面的批次。 窗口化先进先出调度在窗口内允许乱序取回、跨窗口保持严格顺序,实践中窗口取队列的0.3倍时接近先进先出的分布特性并明显减少集群空转。
启示与展望
报道范围限于M2系列的设计、数据管线、强化学习系统与公开基准分数;基准覆盖智能体编码、智能体协作与推理知识三类,对照对象为Claude Opus 4.6、Claude Sonnet 4.6、GPT 5.4与Gemini 3.1 Pro。自我进化的描述限于其内部模型迭代系统与一次100轮自主脚手架优化。
自我进化被描述为早期形态,其收益以内部评测上的30%提升和承担30%至50%日常迭代工作量为据。混合滑动窗口注意力的对比显示长上下文任务上明显落后,作者也指出代理指标与真实下游表现的相关性脆弱。
