跳到主要内容
返回时间线
arXiv来源发表:

DeepSeek-V4预览版支持百万token上下文:单token推理算力只需V3.2的27%,KV缓存降到10%

核心概要

DeepSeek-AI发布DeepSeek-V4系列预览版,包含1.6T参数(激活49B)的DeepSeek-V4-Pro和284B参数(激活13B)的DeepSeek-V4-Flash,两者都支持一百万token的上下文长度。此前的注意力机制随序列长度二次增长,超长上下文成为推理与测试时扩展的瓶颈;该系列改用压缩稀疏注意力与重压缩注意力的混合结构,并配合低精度存储。在百万token设置下,DeepSeek-V4-Pro的单token推理FLOPs为DeepSeek-V3.2的27%,KV缓存为10%,DeepSeek-V4-Flash则分别为10%和7%。

深度剖析

DeepSeek-V4系列把可常规支持的上下文长度推到一百万token,并同时压低长上下文下的推理算力与缓存占用。 此前的开源模型在超长序列上受制于标准注意力随长度二次增长的计算量,这一瓶颈限制了测试时扩展和长程任务。 在百万token上下文设置下,DeepSeek-V4-Pro的单token推理FLOPs为DeepSeek-V3.2的27%,KV缓存为10%;激活参数更少的DeepSeek-V4-Flash分别为10%和7%。

效率来自两种压缩方式交替使用的注意力层,而不是单一机制。 压缩稀疏注意力(CSA)先把每m个token的KV缓存压成一条,再按索引分数只保留前k条参与核心注意力;重压缩注意力(HCA)以更大的压缩率合并KV条目但保持稠密注意力。 DeepSeek-V4-Flash的CSA压缩率为4、HCA压缩率为128,DeepSeek-V4-Pro的CSA压缩率为4、HCA压缩率为128,两者都另设窗口为128的滑动窗口分支补足局部依赖。

训练侧同时更换了优化器与残差连接形式,以支撑这一规模。 DeepSeek-V4沿用DeepSeekMoE与多token预测,但把优化器换成Muon以获得更快收敛和更稳训练,并用流形约束超连接(mHC)加强相邻Transformer块之间的残差连接。 DeepSeek-V4-Flash在32T token上预训练,DeepSeek-V4-Pro在33T token上预训练,序列长度从4K逐步扩展到16K、64K和1M。

启示与展望

已展示的范围是DeepSeek-V4-Pro与DeepSeek-V4-Flash两个预览版模型在百万token上下文设置下的推理FLOPs与KV缓存对比,以及预训练与后训练流程的描述;模型检查点已在Hugging Face公开。

材料称DeepSeek-V4-Pro-Max在知识类评测上仍落后于Gemini-3.1-Pro,在推理基准上略逊于GPT-5.4与Gemini-3.1-Pro,并自述其发展轨迹约落后前沿模型3到6个月;这些表述均为其内部评测口径下的结论。