NVFP4-MLA把MLA的KV缓存和注意力计算一起压到FP4:缓存比BF16小3.20倍,平均精度仍与BF16持平
核心概要
长上下文与智能体负载下,MLA的KV缓存容量和注意力计算成为推理服务的主要开销。NVFP4-MLA把MLA的KV缓存存储与两个注意力矩阵乘都推到FP4,用选择性残差补偿只对量化敏感通道补NVFP4残差,用二维量化块让共享潜变量缓存同时适配两个矩阵乘的归约方向。在DeepSeek-R1和Kimi-K3的九项基准上,其平均精度与BF16 MLA持平,缓存相对BF16分别压缩3.20和3.05倍。
深度剖析
MLA的KV缓存和注意力计算现在可以同时以FP4格式存储和运算,而不只是把缓存压小后再解量化回高精度做矩阵乘。 此前的KV缓存量化方法面向分开的键缓存和值缓存,注意力矩阵乘仍在更高精度执行,缓存值需要额外解量化;在MLA中所有头共享同一份潜变量缓存,两个矩阵乘沿不同方向归约同一份数据。 在DeepSeek-R1和Kimi-K3的九项基准上,NVFP4-MLA平均精度为59.82对59.80和80.28对80.27,与BF16 MLA持平;直接量化为NVFP4而不做残差补偿的版本分别下降5.71和16.48个百分点。
精度靠只给量化敏感通道补一份NVFP4残差来保住,缓存布局则靠二维量化块同时服务两个矩阵乘。 MLA缓存中的离群值集中在RoPE通道,RoPE只占576个通道中的64个;按通道分组的常规一维块布局只匹配第一个矩阵乘的通道归约,不匹配第二个矩阵乘的按token归约,转换布局需要解量化、转置再量化。 只补偿RoPE通道就把整个缓存的平均归一化均方误差在DeepSeek-R1上降低60.3%、在Kimi-K3上降低66.1%;NVFP4残差相对普通NVFP4把RoPE误差分别降低115.4倍和116.1倍,而FP8 RoPE平均仍留下9.5倍和9.1倍的误差。
两个矩阵乘都跑在原生FP4张量核心上后,注意力内核在KV越长时相对FP8 MLA越快。 多token预测让同一份缓存被多个查询位置复用,把FP8 MLA解码的算术强度推到每缓存字节1934次浮点运算,超过Rubin GPU的911 FLOP/B拐点,解码因此受计算吞吐限制。 在NVIDIA Rubin GPU上,39个形状的测量中NVFP4-MLA在每个形状都快于FP8 MLA,DeepSeek-R1上加速1.31到2.82倍、几何平均1.87倍,Kimi-K3上1.35到2.71倍、几何平均1.99倍,加速比随KV长度从2K时的1.3到1.5倍增长到128K时的2.2到2.8倍。
启示与展望
演示范围是两个前沿开源MLA模型DeepSeek-R1和Kimi-K3、九项覆盖推理、编程、指令遵循、长上下文和智能体工具使用的基准,以及NVIDIA Rubin GPU上的内核与服务测量;Kimi-K3只在24个MLA层中的22层使用NVFP4,最后两层仍为FP8,缓存统计不含其69个KDA层的循环状态。
直接FP4量化在RoPE通道的离群值上损失精度,残差补偿是为此加入的;Kimi-K3的MLA缓存与KDA层循环状态共享KV预算,同等预算下多缓存的token比例随KDA状态占比在47%到49%之间变化;内核加速在2K长度时受固定每次调用开销限制,只有1.3到1.5倍。
