MILO 用块级低秩压缩把多示例上下文 KV 缓存最多减半,Qwen2.5 上吞吐提升 1.8 倍且分类与推理性能几乎不降
该工作提出 MILO 压缩框架,利用多示例上下文中的低秩冗余,以块为粒度压缩 KV 缓存,并按信息熵动态分配秩预算,在 Qwen2.5 模型上实现最多 50% 的 KV 缓存内存下降与 1.8 倍吞吐提升,在分类与推理基准上性能下降可忽略,并显著优于既有基线。
该工作提出 MILO 压缩框架,利用多示例上下文中的低秩冗余,以块为粒度压缩 KV 缓存,并按信息熵动态分配秩预算,在 Qwen2.5 模型上实现最多 50% 的 KV 缓存内存下降与 1.8 倍吞吐提升,在分类与推理基准上性能下降可忽略,并显著优于既有基线。
已读完全部报道