NVFP4-MLA把MLA的KV缓存和注意力计算一起压到FP4:缓存比BF16小3.20倍,平均精度仍与BF16持平
长上下文与智能体负载下,MLA的KV缓存容量和注意力计算成为推理服务的主要开销。NVFP4-MLA把MLA的KV缓存存储与两个注意力矩阵乘都推到FP4,用选择性残差补偿只对量化敏感通道补NVFP4残差,用二维量化块让共享潜变量缓存同时适配两个矩阵乘的归约方向。在DeepSeek-R1和Kimi-K3的九项基准上,其平均精度与BF16 MLA持平,缓存相对BF16分别压缩3.20和3.05倍。