跳到主要内容
返回时间线
arXiv来源发表:

快手把摘要令牌一物两用:KSA V2在128K上下文把常驻缓存压掉40.4%,预填吞吐反超原混合架构

核心概要

快手在预训练的混合KSA模型上改造出KSA V2,让每层已有的摘要令牌同时充当可再压缩的远端记忆和块级稀疏索引。在1.9B(MHA)骨干、128K序列下,常驻缓存从10.59 GiB降到6.31 GiB,减少40.4%,预填吞吐达44,971 tokens/s,高于原混合KSA的29,837 tokens/s。六档RULER均值72.39%,原混合KSA为72.61%,128K档为65.01%对65.35%。

Source-provided article image: Kwai Summary Attention V2 Technical Report
arXiv

深度剖析

长上下文推理的存储和计算开销被同时压低:KSA V2在1.9B骨干、128K序列下把常驻缓存从原混合KSA的10.59 GiB降到6.31 GiB,相对全注意力模型的24.00 GiB则减少73.7%。 此前的混合KSA中,各层摘要压缩块大小必须一致,难以按层灵活压缩KV缓存;全注意力层虽然引入了摘要令牌,却仍按二次复杂度做预填,没有利用这些令牌。 在单张NVIDIA H800、BF16、批大小为1的条件下,从16K到128K测量常驻缓存、预填与解码吞吐;128K时预填达44,971 tokens/s,原混合KSA为29,837,全注意力为20,830,解码相对原混合KSA提速1.23–1.32倍。

做法是让摘要令牌承担两种角色,而不新增令牌、不改变摘要布局,因此可以直接改造预训练好的混合KSA模型。 压缩式KSA(C-KSA)把每层连续的若干摘要KV汇聚成只在本层使用的Meta条目,远端历史的压缩倍数从8提高到1024,而层间传递的摘要序列粒度不变;稀疏式KSA(S-KSA)用摘要为每个文本块生成路由键,由Lightning Indexer选出少量原始文本块,主注意力只读这些块的原始KV。 1.9B模型先做模块级适配再做全参数适配,S-KSA阶段只训练新增的聚合模块和Indexer;4B GQA骨干上同样改造后,六档RULER均值84.15%,原混合KSA为84.45%,128K档74.41%对71.67%。

启示与展望

评估覆盖1.9B MHA与4B GQA两个骨干、最长128K上下文;通用能力评测与效率测量只在1.9B上完成,4B验证只覆盖RULER检索。适配沿用KSA原有的训练语料与数据配比,固定128K上下文长度。

128K下剩余缓存主要是稀疏层保存的原始文本KV;块选择在聚合类任务上会退化,频繁词提取子任务从45.00降到26.67。4B的Indexer需要额外对投影后的查询和键做RMSNorm才能收敛,这一改动是否也能减少1.9B的适配数据尚未验证。更长上下文、更大模型以及层间压缩因子的分配仍待探索。