跳到主要内容
返回时间线
arXiv来源发表:

RoShift让SiLU大模型激活更稀疏:五模型上50%稀疏度平均精度比TEAL高1.60个百分点

核心概要

RoShift是一种免训练的激活稀疏化方法,把SiLU激活重新居中到零附近,并用同时考虑激活统计与权重影响的旋转构造更利于稀疏的表示。它把移位与旋转所需的修正融合进GPU内核,在五个模型、11项基准上,50%和60%稀疏度下平均精度分别比TEAL高1.60和3.29个百分点;在RTX 5090上50%稀疏度时解码加速最高1.72倍。

Source-provided article image: RoShift: Lazy Shift and Weight-aware Rotation for Activation Sparsity in LLM Inference
arXiv

深度剖析

RoShift把SiLU大模型的激活分布改造成更利于稀疏化的形式,使高稀疏度下的精度损失明显小于此前的激活稀疏方法。 此前TEAL、LaRoSA、WINA等方法在SiLU模型上直接按幅值或权重信息挑选要置零的分量,稀疏度越高,被丢弃的贡献越大,精度下降越明显。 在Llama-3.1-8B、Llama-2-7B、Mistral-7B、Qwen2.5-7B、Qwen3-8B五个模型、11项基准上,50%和60%非均匀稀疏度下平均精度分别比TEAL高1.60和3.29个百分点,比LaRoSA高3.76和8.76个百分点,比WINA高2.22和5.66个百分点。

方法由两部分组成:把每个通道的SiLU激活按校准得到的通道中位数平移到零附近,并把还原修正推迟到FFN末端;同时构造一种旋转,让激活能量和权重能量集中到同一批维度上。 延迟移位让Up和Down投影都能利用重新居中带来的额外稀疏,而不必在中途恢复原始激活;权重感知旋转则针对稀疏化误差本身,而不是只压缩激活方差。 在Llama-3.1-8B上,与仅用激活的PCA旋转相比,权重感知旋转把前50%维度的输出贡献方差占比从90.77%提高到94.85%,B128稀疏下的输出NMSE从1.33%降到0.70%。

移位和旋转各自需要一次矩阵修正,RoShift把两者融合成按RMS代表值预存的融合矩阵,并让稀疏FFN与修正路径在独立CUDA流上并行执行。 若不融合,修正与层间基变换要串行执行,额外开销会抵消稀疏带来的节省。 在RTX 5090、FP16、批大小1、50%均匀稀疏度下,Llama-3.1-8B的端到端解码从9.94毫秒/词降到6.75毫秒/词;单独执行移位修正增加0.49–0.76毫秒/词,融合减少0.41–0.71毫秒/词,并行再减少0.19–0.24毫秒/词。

启示与展望

演示范围是五个SiLU基座模型、11项基准、40%/50%/60%目标MAC稀疏度,以及RTX 5090与Jetson AGX Orin上FP16、批大小1的解码测量;精度对比中Transformer块稀疏度不含LM-head稀疏,速度与帕累托分析使用均匀稀疏度。

作者指出,TEAL固定阈值实现的实测MAC稀疏度平均比目标低0.83–1.68个百分点,这可能部分解释其相对WINA较强的精度;与LaRoSA的速度对比是在RoShift的GPU内核后端上重新实现的,可能与LaRoSA原实现不同。4比特量化下若同时量化权重与过渡矩阵会严重退化,需将过渡矩阵保留在8或16比特;稀疏与量化联合优化的内核留作后续工作。