跳到主要内容
检索

Linliang Chen

1 篇关联报道

订阅更新
  1. arXiv

    剪掉的专家不必重训:GEAR² 复用同 token 已激活专家,50% 剪枝下九项零样本平均反超均值替代

    混合专家大模型剪枝能省显存,却丢掉了被剪专家对路由到它们的 token 的贡献。GEAR² 不训练主模型,把被剪专家的输出近似为同一 token 已激活专家的缩放输出,并用可靠性门在代理不可靠时退回均值,再叠加一个按缺失路由权重加权的低秩残差。在 16B 到 106B 的五个 MoE 模型、25% 与 50% 剪枝、九项零样本任务上,它在全部 10 个设置中取得最佳剪枝结果,50% 剪枝时比同掩码的均值替代高 0.96 到 3.44 个百分点。

已读完全部报道