跳到主要内容
检索

# 分组查询注意力

1 篇关联报道

订阅更新
  1. arXiv

    KVPath把各层键值缓存连成一条路径:GQA缓存最多省68%,困惑度不升反降

    KVPath 不再为每个 Transformer 层单独缓存一份完整的键值表示,而是把同一 token 跨层的键值状态连成一条路径:首层存一份全维基础键值,后续各层只生成低维增量来更新前一层状态。在参数量对齐的 12 层小模型上,残差与滚动两种变体在 GQA 下把 KV 缓存最多削减 68.65%,在 MLA 下削减 54.90%,平均困惑度与标准 GQA、MLA 持平或更低。

已读完全部报道