跳到主要内容
返回时间线
arXiv来源发表:

华为诺亚方舟实验室给大模型做输入剪枝:砍掉65%输入词元,Mistral-7B端到端提速1.75倍

核心概要

华为诺亚方舟实验室提出显著性驱动的动态词元剪枝框架SDTP,在生成第一个词元之前就按输入上下文逐层删去冗余词元,从而缩短整个推理过程。该方法用梯度显著性分数监督一个轻量预测模块,并加入排序损失让模块学到的词元重要性次序贴近真实显著性。在Mistral-7B上逐层剪掉65%输入词元时,长上下文基准LongBench平均分为39.82,高于同压缩比1.61倍的LLMLingua-2的35.16;上下文长度128K时端到端提速1.75倍、显存节省34.26%。

Source-provided article image: Saliency-driven Dynamic Token Pruning for Large Language Models
arXiv

深度剖析

大模型推理的算力瓶颈集中在处理长输入的预填充阶段,SDTP把剪枝放在这一阶段之前,直接减少进入后续各层的词元数量。 此前的词元剪枝多面向自回归解码阶段的KV缓存压缩,并非为预填充阶段设计;其词元选择依据也常局限于局部注意力统计或sigmoid函数。 在Mistral-7B与LongBench英文数据集上,压缩比同为1.61倍时SDTP平均分39.82,LLMLingua-2为35.16,差距主要来自Code与FewShot任务;预填充阶段提速1.71倍,而LLMLingua-2为0.83倍。

剪枝决策由一个插在Transformer层间的轻量模块做出,它依据隐藏状态给每个词元打分,分数低的词元被丢弃。 模块是一个两层MLP,经Gumbel-Softmax输出保留掩码,从而可以端到端训练;训练时原始模型权重冻结,只更新剪枝模块。 训练在databricks-dolly-15K上进行两个epoch,剪枝阶段数S=10、保留比例按0.9的几何序列递减;推理时始终保留前四个初始词元和局部10%的词元。

监督信号来自梯度显著性:对网络输出关于输入求偏导再乘输入,得到每个词元的贡献分数,模块同时用MSE损失和排序损失去逼近它。 只对齐数值不够,因为保留的是分数较高的一批词元,所以额外用成对排序损失约束模块输出与显著性分数的次序一致。 以Llama2-7B在COPA、PIQA、Winogrande、MathQA四项5-shot任务上做消融,完整SDTP平均66.82,去掉排序损失为66.27,再去掉MSE损失为65.93。

启示与展望

演示范围是三个70亿参数级Transformer模型上的5-shot下游任务与LongBench长上下文评测,剪枝比例、起始层与层间隔均在Llama2-7B上单独调过;与KV缓存压缩的组合实验只在Llama2-7B上配合H2O进行。

作者报告剪枝后精度为可比而非无损,LongBench上SDTP相对原始输入的42.34平均分仍有差距,降低压缩比到1.32倍的SDTP-low把各任务性能下降缩小到1至2.37。剪枝模块需要针对目标模型做对齐训练,训练数据为databricks-dolly-15K。