跳到主要内容
检索

Saksham Gupta

1 篇关联报道

订阅更新
  1. arXiv

    投机解码的草稿缓存压到4比特:草稿缓存省66.20%,平均接受率相对只降1.36%

    两模型投机解码要为草稿模型和目标模型各存一份KV缓存,草稿缓存因此成为额外内存开销。研究把草稿缓存量化为K4V4,键按32个token分组的逐通道仿射量化、值逐token量化,目标缓存与验证器保持BF16,使目标模型的纠正规则不受压缩影响。六个模型对上草稿缓存字节减少66.20%、两份缓存合计减少23.95%,平均接受率从57.93%降到57.14%,相对降幅1.36%。

已读完全部报道