跳到主要内容
检索

Youpeng Zhao

1 篇关联报道

订阅更新
  1. arXiv

    MILO 用块级低秩压缩把多示例上下文 KV 缓存最多减半,Qwen2.5 上吞吐提升 1.8 倍且分类与推理性能几乎不降

    该工作提出 MILO 压缩框架,利用多示例上下文中的低秩冗余,以块为粒度压缩 KV 缓存,并按信息熵动态分配秩预算,在 Qwen2.5 模型上实现最多 50% 的 KV 缓存内存下降与 1.8 倍吞吐提升,在分类与推理基准上性能下降可忽略,并显著优于既有基线。

已读完全部报道