跳到主要内容
检索

# 共享低秩基分解

1 篇关联报道

订阅更新
  1. arXiv

    共享低秩基分解SLBF在16B至122B五种MoE架构上以无数据方式压缩专家权重并持续优于剪枝、合并与重建基线

    作者对MoE压缩的三大类方法(专家剪枝、专家合并、权重重建)做了结构误差分析,推导出剪枝与合并存在与路由和专家异质性相关的不可消除误差,而权重重建因保留专家结构与路由可规避这类代价;据此提出无数据的共享低秩基分解(SLBF),用专家间共享的低秩基替代满秩基,并配合双线性规范固定去除冗余参数,在16B至122B的五种MoE架构上一致优于三类基线。

已读完全部报道