跳到主要内容
检索

# 惰性平移

1 篇关联报道

订阅更新
  1. arXiv

    RoShift让SiLU大模型激活更稀疏:五模型上50%稀疏度平均精度比TEAL高1.60个百分点

    RoShift是一种免训练的激活稀疏化方法,把SiLU激活重新居中到零附近,并用同时考虑激活统计与权重影响的旋转构造更利于稀疏的表示。它把移位与旋转所需的修正融合进GPU内核,在五个模型、11项基准上,50%和60%稀疏度下平均精度分别比TEAL高1.60和3.29个百分点;在RTX 5090上50%稀疏度时解码加速最高1.72倍。

已读完全部报道