投机解码的草稿缓存压到4比特:草稿缓存省66.20%,平均接受率相对只降1.36%
两模型投机解码要为草稿模型和目标模型各存一份KV缓存,草稿缓存因此成为额外内存开销。研究把草稿缓存量化为K4V4,键按32个token分组的逐通道仿射量化、值逐token量化,目标缓存与验证器保持BF16,使目标模型的纠正规则不受压缩影响。六个模型对上草稿缓存字节减少66.20%、两份缓存合计减少23.95%,平均接受率从57.93%降到57.14%,相对降幅1.36%。
两模型投机解码要为草稿模型和目标模型各存一份KV缓存,草稿缓存因此成为额外内存开销。研究把草稿缓存量化为K4V4,键按32个token分组的逐通道仿射量化、值逐token量化,目标缓存与验证器保持BF16,使目标模型的纠正规则不受压缩影响。六个模型对上草稿缓存字节减少66.20%、两份缓存合计减少23.95%,平均接受率从57.93%降到57.14%,相对降幅1.36%。
已读完全部报道