跳到主要内容
返回时间线
arXiv来源发表:

剪掉的专家不必重训:GEAR² 复用同 token 已激活专家,50% 剪枝下九项零样本平均反超均值替代

核心概要

混合专家大模型剪枝能省显存,却丢掉了被剪专家对路由到它们的 token 的贡献。GEAR² 不训练主模型,把被剪专家的输出近似为同一 token 已激活专家的缩放输出,并用可靠性门在代理不可靠时退回均值,再叠加一个按缺失路由权重加权的低秩残差。在 16B 到 106B 的五个 MoE 模型、25% 与 50% 剪枝、九项零样本任务上,它在全部 10 个设置中取得最佳剪枝结果,50% 剪枝时比同掩码的均值替代高 0.96 到 3.44 个百分点。

深度剖析

被剪掉的专家不必被当作消失的参数,它对该 token 的贡献可以从同一 token 已经激活的保留专家那里重建出来。 此前的免训练替代要么给每个被剪专家配一个固定的均值输出或固定代理专家的仿射变换,要么把功能相近的专家合并成一个,前者不随当前 token 的激活组合变化,后者会改写保留专家自身的功能。 在五个 MoE 模型、25% 与 50% 两档剪枝、九项零样本任务上,GEAR² 在全部 10 个设置中取得最佳剪枝平均分,其中 9 个由自身取得;50% 剪枝时比同掩码的均值替代 MoNE 高 0.96 到 3.44 个百分点,比替代法 MoRA 和合并法 HC-SMoE 分别高 2.75 到 6.41 和 3.31 到 25.34 个百分点。

补偿分两步:先复用已算出的专家输出,再用一个极轻的残差补上复用表达不了的部分。 复用这一步叫 GEAR,它把被剪专家的输出估计为某个已激活专家输出的定向缩放,缩放系数由一次校准前向在两者共同被激活的 token 上用加权最小二乘拟合;可靠性门在代理误差超过阈值时退回该专家的均值输出。 残差叫 GEAR²,按缺失质量加权,即原路由器分配给被剪专家的总路由权重,每层只加一对低秩矩阵,在 C4 上蒸馏 64 步、64 条 512 token 序列,秩 32 时给各模型增加约 0.02% 或更少的参数。

启示与展望

评估范围是五个开源 MoE 模型(Moonlight-16B-A3B、Qwen3-30B-A3B-Instruct-2507、DeepSeek-V2-Lite、Gemma-4-26B-A4B、GLM-4.5-Air)上的九项零样本理解与推理任务,剪枝比例为每层 25% 或 50%,校准与蒸馏数据取自 C4。作者把生成式任务、长上下文任务和更大模型列为后续工作,并指出与目标领域匹配的校准和蒸馏数据是自然的延伸。

作者说明参考实现尚未融合进 MoE 层的输出聚合,因此报告的推理时延来自未融合版本;生成式与长上下文任务以及更大模型尚未评估。门控阈值按模型和剪枝比例在候选集中用开发集下一 token 负对数似然选取,搜索只涉及前向计算。