跳到主要内容
检索

# 稀疏KSA(S-KSA)

1 篇关联报道

订阅更新
  1. arXiv

    快手把摘要令牌一物两用:KSA V2在128K上下文把常驻缓存压掉40.4%,预填吞吐反超原混合架构

    快手在预训练的混合KSA模型上改造出KSA V2,让每层已有的摘要令牌同时充当可再压缩的远端记忆和块级稀疏索引。在1.9B(MHA)骨干、128K序列下,常驻缓存从10.59 GiB降到6.31 GiB,减少40.4%,预填吞吐达44,971 tokens/s,高于原混合KSA的29,837 tokens/s。六档RULER均值72.39%,原混合KSA为72.61%,128K档为65.01%对65.35%。

已读完全部报道