跳到主要内容
检索

DeepSeek-AI

2 篇关联报道

订阅更新
  1. arXiv

    DeepSeek-V4.1-Flash把每token全局KV缓存压到890字节,约为上一代四分之一

    DeepSeek-AI 发布多模态混合专家模型 DeepSeek-V4.1-Flash,把长上下文智能体负载的 KV 缓存成本作为主要压缩目标。该模型主干 552B 参数,支持一百万 token 上下文,解码时每 token 激活 16B、预填充时只激活 8B。通过 CSA2 的跨层 KV 复用与 FP4 缓存,其常驻 HBM 的全局 KV 缓存降到每 token 890 字节,约为 DeepSeek-V4-Flash 的四分之一;配合 SWA Bounded Replay,持久化 KV 缓存约为后者的八分之一,同时整体性能优于该基线。

  2. arXiv

    DeepSeek-V4预览版支持百万token上下文:单token推理算力只需V3.2的27%,KV缓存降到10%

    DeepSeek-AI发布DeepSeek-V4系列预览版,包含1.6T参数(激活49B)的DeepSeek-V4-Pro和284B参数(激活13B)的DeepSeek-V4-Flash,两者都支持一百万token的上下文长度。此前的注意力机制随序列长度二次增长,超长上下文成为推理与测试时扩展的瓶颈;该系列改用压缩稀疏注意力与重压缩注意力的混合结构,并配合低精度存储。在百万token设置下,DeepSeek-V4-Pro的单token推理FLOPs为DeepSeek-V3.2的27%,KV缓存为10%,DeepSeek-V4-Flash则分别为10%和7%。

已读完全部报道