跳到主要内容
检索

GoerTek (China)

1 篇关联报道

订阅更新
  1. arXiv

    KV缓存压缩不再只挑层或只挑词:MultiAlloc在同等显存下把Llama-3-8B平均分做到46.35

    大模型长上下文推理时,KV缓存是显存占用的主要来源,而现有量化方法要么按层分配精度、要么按词保留高精度,很少在固定显存预算下把两者放在一起分配。MultiAlloc先用离线剖析估计每层对量化的敏感度和每个词对注意力的重要度,再在预算约束下自动决定多少资源给层精度、多少给高精度词,并把结果固化为推理时不再搜索的静态策略。在Llama-3-8B-Instruct、Mistral-7B、DeepSeek-Qwen-7B/14B和QwQ-32B上,同等KV缓存预算下其平均分高于OTT、PM-KVQ和KVmix,例如Llama-3-8B为46.35,FP16参考为46.17。

已读完全部报道