DeepSeek-V4预览版支持百万token上下文:单token推理算力只需V3.2的27%,KV缓存降到10%
DeepSeek-AI发布DeepSeek-V4系列预览版,包含1.6T参数(激活49B)的DeepSeek-V4-Pro和284B参数(激活13B)的DeepSeek-V4-Flash,两者都支持一百万token的上下文长度。此前的注意力机制随序列长度二次增长,超长上下文成为推理与测试时扩展的瓶颈;该系列改用压缩稀疏注意力与重压缩注意力的混合结构,并配合低精度存储。在百万token设置下,DeepSeek-V4-Pro的单token推理FLOPs为DeepSeek-V3.2的27%,KV缓存为10%,DeepSeek-V4-Flash则分别为10%和7%。