稀疏注意力的瓶颈不在注意力本身:LSA把找键改成隐空间搜簇,单层预填在1000万token上快22.7倍
超长上下文下,稀疏注意力层的预填时间大多花在索引器逐键打分上,而不是注意力计算本身。Latent Sparse Attention(LSA)把键在学习到的隐空间里层次聚类,让每个查询只对簇中心打分,再展开被选中簇里的键。在GLM-5.3-Flash上以1000万token上下文测试,蒸馏版D-LSA单个注意力层的预填比该模型原稀疏注意力快22.7倍、解码快4.6倍,RULER上与基线相差4分以内;原生训练的N-LSA在128k上下文达到全注意力的验证损失,单层训练快1.6倍。