DeepSeek-V4.1-Flash把每token全局KV缓存压到890字节,约为上一代四分之一
核心概要
DeepSeek-AI 发布多模态混合专家模型 DeepSeek-V4.1-Flash,把长上下文智能体负载的 KV 缓存成本作为主要压缩目标。该模型主干 552B 参数,支持一百万 token 上下文,解码时每 token 激活 16B、预填充时只激活 8B。通过 CSA2 的跨层 KV 复用与 FP4 缓存,其常驻 HBM 的全局 KV 缓存降到每 token 890 字节,约为 DeepSeek-V4-Flash 的四分之一;配合 SWA Bounded Replay,持久化 KV 缓存约为后者的八分之一,同时整体性能优于该基线。
深度剖析
长上下文智能体的成本瓶颈从计算转向 KV 缓存的存储与搬运,DeepSeek-V4.1-Flash 把常驻 HBM 的全局 KV 缓存压到每 token 890 字节。 此前的 DeepSeek-V4 用全局注意力分支加滑动窗口注意力,序列足够长时全局 KV 主导运行时缓存占用,并受 HBM 容量约束;持久化 KV 缓存则受 SSD 与主机内存容量以及 I/O 带宽约束。 按每 token 全局 KV 缓存字节数比较,DeepSeek-V4.1-Flash 约为 DeepSeek-V4-Flash 的四分之一,相对 DeepSeek-V1 约缩小 437 倍。
压缩来自架构与精度两条路径的叠加:跨层复用共享全局 KV 与索引器 K,主 KV 缓存再以 FP4 存储。 DeepSeek-V4 采用 CSA 与 HCA 混合架构,全局 KV 与索引器 K 由各层各自维护,主 KV 缓存为 FP8。 CSA2 把每层静态指定为 Full、Reindex 或 Reuse 三种模式之一,Reuse 模式直接沿用前层的全局 KV 与 Top-K 索引;FP4 主 KV 缓存经量化感知训练引入,与 FP8 相比存储占用接近减半。
部署侧不再把滑动窗口注意力的 KV 写入持久化缓存,改为只重放最近 nwin 个 token 的近似重建。 DeepSeek-V4 为精确重建需要重放 L×nwin 个 token,成本在生产部署中被认为过高。 SWA Bounded Replay 只重放最近 nwin 个 token,使持久化 KV 缓存降到 DeepSeek-V4-Flash 的约八分之一;报告称该近似只带来可忽略的性能下降,并在后训练中模拟同样的重放以做训练感知适配。
启示与展望
已展示的范围是 DeepSeek-AI 在自有内部评测框架下对 DeepSeek-V4.1-Flash 与其前代基座模型的比较,缓存数字按每 token 字节数给出,性能结论覆盖文本与多模态智能体基准。读者对象是关心长上下文服务成本与 KV 缓存管理的系统与模型工程师。
报告承认在需要专家级领域知识的科学型智能体任务上,该模型与巨型模型仍有差距,多模态整体表现相对闭源巨型系统也存在明显差距。SWA Bounded Replay 重建的 KV 状态按设计并非数学等价,报告称对回答质量影响可忽略。
