跳到主要内容
返回时间线
arXiv来源发表:

FP4缓存也能直接算MLA:AscMLA让K与V共用一份载荷,长上下文解码比TRT-LLM的FP8快1.35倍

核心概要

长上下文解码反复读取不断增长的KV缓存,FP4能压缩存储,但块缩放与MLA共享潜变量的结构相冲突,已有做法要么先反量化、要么为K和V分别编码。AscMLA让K与V共用同一份FP4载荷,只给两者配不同的缩放:K按16通道一块,V按每个token一个,并把V的缩放折进softmax概率。在四十组配置上,它的几何平均解码速度是TRT-LLM FP8内核的1.35倍、CAKE NVFP4 MLA内核的1.26倍,KV缓存比FP8少38.2%。

Source-provided article image: AscMLA: Unlocking FP4 Efficiency for Long-Context MLA Decoding through Asymmetric Scaling
arXiv

深度剖析

MLA解码的KV缓存可以只存一份FP4载荷,K和V各自用不同粒度的缩放去读它,不必为V单独反量化或另存一份编码。 此前的FP4 MLA路径要么在注意力之前把潜变量反量化成FP8,要么像SageAttention3的MLA改法那样为K和V分别编码、把缓存复制一份。 在四十组工作负载配置上,AscMLA相对TRT-LLM的FP8 MLA内核取得1.35倍几何平均加速,相对CAKE的NVFP4 MLA内核取得1.26倍,同时KV缓存占用比FP8少38.2%。

做法是把两种缩放需求拆开:V只保留每个token一个缩放,K保留每16个通道一个缩放,两者指向同一份FP4码。 块缩放要求缩放沿归约维生效,而MLA的QK沿潜变量通道归约、PV沿token归约,同一套通道块缩放在PV里落到了输出维上。 缓存先按V的约束量化出共享码,再对这些码做最小二乘拟合得到K缩放;QK走原生NVFP4矩阵乘加,PV用MXFP8–MXFP4矩阵乘加,把缩放后的概率与同一份FP4码相乘。

缩放要按各自的存活期投递,否则异步流水线会停下来等。 K缩放必须保留到对应的矩阵乘加完成,V缩放在概率转换时就被消费,两者不能共用一套缓冲策略。 K缩放用四个独立槽位做多缓冲,去掉后16K上下文下加速比降到0.69;V缩放用四级共享内存队列预取,去掉后加速比落在0.87到0.89之间。

启示与展望

评测覆盖单GPU上的四十组核函数配置、九十例注意力输出误差,以及Kimi-K2.6与Kimi-K3在GPQA-Diamond上的下游准确率;端到端服务实验把AscMLA作为SGLang 0.5.21的解码后端,模型为ModelOpt-NVFP4量化的Kimi-K2.6,部署在四块预填与四块解码GPU上,预填侧使用TRT-MLA。

注意力输出平均误差为13.37%,高于Sage-MLA的12.66%,两者平均余弦相似度为0.9908与0.9920;在稀疏离群值输入上AscMLA误差高于Sage-MLA,因为少数大值会决定整个token的amax缩放。Kimi-K2.6与Kimi-K3在GPQA-Diamond上分别为89.4%和92.8%,官方报告值为90.5%和93.5%。