跳到主要内容
检索

# 词元剪枝

1 篇关联报道

订阅更新
  1. arXiv

    华为诺亚方舟实验室给大模型做输入剪枝:砍掉65%输入词元,Mistral-7B端到端提速1.75倍

    华为诺亚方舟实验室提出显著性驱动的动态词元剪枝框架SDTP,在生成第一个词元之前就按输入上下文逐层删去冗余词元,从而缩短整个推理过程。该方法用梯度显著性分数监督一个轻量预测模块,并加入排序损失让模块学到的词元重要性次序贴近真实显著性。在Mistral-7B上逐层剪掉65%输入词元时,长上下文基准LongBench平均分为39.82,高于同压缩比1.61倍的LLMLingua-2的35.16;上下文长度128K时端到端提速1.75倍、显存节省34.26%。

已读完全部报道