专家混合语言模型中专家的高阶剪枝
核心概要
该工作提出 HOPE,一种二阶专家剪枝目标:在校准阶段记录每层专家对的交互矩阵 F,并将其作为二次规划求解以选择剪枝集合,理论上证明 REAP 等一阶方法是忽略交互项的特例;在三个前沿 MoE 模型(最高 122B 参数)、两套校准集与多个基准上,HOPE 在多数条件下取得最佳平均排名,50% 剪枝时平均排名 1.58(次优方法 REAP 为 2.42),在智能体编码任务上最高提升 +6.1%。
深度剖析
提出二阶剪枝目标 HOPE,把专家剪枝写成在交互矩阵 F 上的二次规划 p⊤Fp,其中对角项刻画单个专家贡献、非对角项刻画专家对的协同贡献。 此前的一阶方法(Frequency、EAN、REAP、MAN)为每个专家独立打一个标量重要性分数,忽略专家之间的交互;HOPE 首次把成对交互纳入剪枝决策。 论文给出完整推导(附录 A):将剪枝误差分解为替换误差与重归一化误差,证明替换误差的平方被 (1+ρ)²·Z 上界约束,并证明最小化 E[Z] 等价于求解该二次规划(定理 1、定理 2)。
证明 REAP 是 HOPE 在忽略交互项时的特例:F 的对角线 F_k,k=E[(g_k‖f_k‖)²] 与 REAP 分数的平方仅相差专家贡献的方差,且将非对角项置零后 HOPE 经验上恢复与 REAP 相同的剪枝集合。 把已有最强一阶方法纳入新框架,说明 HOPE 相对 REAP 的任何提升都可直接归因于非对角交互项。 理论推导之外,论文报告 F_k,k 的平方根与 REAP 分数的 Spearman 相关接近完美(ρ=0.988,图 S4)。
在 3 个 MoE 模型(Qwen3.5-122B-A10B、Qwen3.5-35B-A3B、GLM-4.5-Air)、2 套校准集、6 个剪枝率、Tulu3 与 SWE-Bench Pro 基准共 54 种配置上,HOPE 总体平均排名最佳(2.07),头对头胜率平均 73%;剪枝率越高优势越明显,40–50% 时平均排名 1.58。 此前方法未在如此多模型、校准集与剪枝率组合上系统比较二阶与一阶剪枝;HOPE 在高剪枝率这一最具部署价值的区间优势最大。 每个条件在 3 次独立校准试验上报告均值与标准差(表 S1–S6);50% 剪枝时 HOPE 在智能体编码上对 REAP 平均领先 +2.8%、最高 +6.1%;HOPE 仅在 1/54 条件中垫底(差距 -1.7%),而 REAP 有 5 次、Frequency 有 43 次垫底。
分析显示 F 的非对角项并非噪声:其平均幅值约为对角项的 33%,呈现块状结构;当 HOPE 与一阶方法分歧时,HOPE 更倾向保留与其他存活专家交互更强的专家。 给出二阶剪枝为何有效的机制证据,说明一阶方法会被专家的“自我重要性”误导而忽略协同结构。 基于 GLM-4.5-Air 各层 F 矩阵的聚类可视化与对角/非对角分布统计(图 2),以及按分歧分类的专家协同分数比较(图 3);剪枝集合分歧分布于全部层(图 4b)。
启示与展望
该结果面向采用 top-K 路由的 MoE 语言模型(实验中为 128–256 个专家、top-8 路由),在编码、数学、指令遵循与智能体编码等基准上验证;方法按层独立剪枝,共享专家不参与剪枝,且与量化可叠加使用。对希望在同一硬件上换取更长上下文、更多并发请求或更长推理链的部署者,HOPE 提供了在高剪枝率下仍保持性能的剪枝方案;论文还给出跨层扩展 CHOPE 的理论框架与初步结果,用于探索非均匀的逐层剪枝预算。
HOPE 目前只建模到二阶(成对)交互,更高阶交互在组合上难以量化;跨层扩展 CHOPE 的初步结果显示其非均匀预算分配可能带来不稳定,论文建议加入逐层最小专家数约束;此外,剪枝集合在不同校准域之间的一致性低于同一域内的重复试验(HOPE 平均校准 Jaccard 为 0.60,REAP 为 0.61),因此校准数据的选择仍是读者需要留意的变量。
