稀疏注意力的瓶颈不在注意力本身:LSA把找键改成隐空间搜簇,单层预填在1000万token上快22.7倍
核心概要
超长上下文下,稀疏注意力层的预填时间大多花在索引器逐键打分上,而不是注意力计算本身。Latent Sparse Attention(LSA)把键在学习到的隐空间里层次聚类,让每个查询只对簇中心打分,再展开被选中簇里的键。在GLM-5.3-Flash上以1000万token上下文测试,蒸馏版D-LSA单个注意力层的预填比该模型原稀疏注意力快22.7倍、解码快4.6倍,RULER上与基线相差4分以内;原生训练的N-LSA在128k上下文达到全注意力的验证损失,单层训练快1.6倍。
深度剖析
超长上下文稀疏注意力的开销重心从注意力计算转移到选键:在1000万token时,一个稀疏注意力层98%的预填时间花在索引器上,而索引器仍要为每个查询给所有前序键或键块打分。 此前的改进——把每四个键压缩成一个再打分、先给块打分再进块内选键、跨层复用上一层选择——都把索引器成本除以一个常数,每个查询的工作量仍随上下文线性增长。 这一对照来自对稀疏注意力层预填时间的分解:1000万token下索引器占98%,若索引器不花时间,稀疏注意力预填还能再快一截。
LSA把键按内容聚成簇,查询只对簇中心打分,再展开被选中簇里的键,因此不必逐键扫描。 聚类在学到的隐空间中进行:蒸馏版D-LSA为每层另学一对降维的键、查询投影,原生版N-LSA直接聚类注意力自身的键。 在GLM-5.3-Flash上,单层预填加速从100万token的3.5倍升到1000万token的22.7倍(对原稀疏注意力),512k时为2.1倍;Qwen-3.8-27B在1000万token对全注意力达72.4倍。
精度上,蒸馏版D-LSA在知识、推理与长上下文任务上贴近各自基线,并在1000万token处保持可用。 Qwen-3.8-27B上D-LSA(Flat)在100万token内与全注意力相差5分以内,1000万token时RULER为63.9对59.9、PaperTrail为29.1对19.8。 GLM-5.3-Flash上D-LSA(Flat)在100万token内与原稀疏注意力相差3分以内,200万至500万token落后最多8分,1000万token时RULER相差4分以内。
原生训练的N-LSA只靠下一词预测损失,不加参数、不需教师模型,在128k上下文达到全注意力的验证损失。 同一架构与数据下,PISA、NSA与滑动窗口注意力的验证损失分别为1.100、1.117与1.154,N-LSA与全注意力同为1.085。 约0.5B参数的混合模型上,N-LSA在128k的RULER为32.2,全注意力为34.7,NSA与PISA降至19.2与14.6;单层训练在128k比全注意力快1.6倍。
启示与展望
演示范围是Qwen-3.8-27B与GLM-5.3-Flash在RULER与自建PaperTrail上延伸到1000万token的精度,以及H200与B300上单层和SGLang端到端的计时;原生训练只在约0.5B参数、128k上下文、仅平铺搜索的混合模型上验证。
树搜索在GLM-5.3-Flash上超过100万token后精度下降快于平铺搜索,单请求解码要到约500万token才反超;稀疏训练能否弥合这一差距仍未确定。原生训练向更大模型、更长上下文与树搜索扩展也仍是开放问题。
