跳到主要内容
检索

Zechun Zhou

1 篇关联报道

订阅更新
  1. arXiv

    FP4缓存也能直接算MLA:AscMLA让K与V共用一份载荷,长上下文解码比TRT-LLM的FP8快1.35倍

    长上下文解码反复读取不断增长的KV缓存,FP4能压缩存储,但块缩放与MLA共享潜变量的结构相冲突,已有做法要么先反量化、要么为K和V分别编码。AscMLA让K与V共用同一份FP4载荷,只给两者配不同的缩放:K按16通道一块,V按每个token一个,并把V的缩放折进softmax概率。在四十组配置上,它的几何平均解码速度是TRT-LLM FP8内核的1.35倍、CAKE NVFP4 MLA内核的1.26倍,KV缓存比FP8少38.2%。

已读完全部报道