跳到主要内容
检索

# DeepSeek-V4

1 篇关联报道

订阅更新
  1. arXiv

    DeepSeek-V4预览版支持百万token上下文:单token推理算力只需V3.2的27%,KV缓存降到10%

    DeepSeek-AI发布DeepSeek-V4系列预览版,包含1.6T参数(激活49B)的DeepSeek-V4-Pro和284B参数(激活13B)的DeepSeek-V4-Flash,两者都支持一百万token的上下文长度。此前的注意力机制随序列长度二次增长,超长上下文成为推理与测试时扩展的瓶颈;该系列改用压缩稀疏注意力与重压缩注意力的混合结构,并配合低精度存储。在百万token设置下,DeepSeek-V4-Pro的单token推理FLOPs为DeepSeek-V3.2的27%,KV缓存为10%,DeepSeek-V4-Flash则分别为10%和7%。

已读完全部报道