跳到主要内容
返回时间线
NVIDIA Technical Blog来源发表:

稀疏注意力把长上下文成本挪进索引器:DeepSeek V3.2 预填充层里它占 47%

核心概要

长上下文推理中,稀疏注意力让每个查询只关注少量键,但负责挑键的索引器仍要给全部 N 个键打分,成本并未消失而是转移。在 DeepSeek V3.2 的预填充层里,索引器与 Top-k 合计占 47% 的时间。基于一个 FP8 生产内核的系统扫描给出八条设计准则,核心是让每组查询头数与每步查询行数的乘积落在一个张量核心分块内,并把 Top-k 并入索引器预算。

Source-provided article image: Co-Designing Sparse Attention for Efficient Long-Context Inference
Figure 1 · NVIDIA 开发者技术博客

深度剖析

稀疏注意力把长上下文下核心注意力的开销压住,代价是索引器仍要触碰整个上下文,长上下文推理的主要成本因此落在索引器与 Top-k 上。 稠密注意力让每个查询对每个键打分,单查询成本随上下文长度 N 增长,在 128K token 时可能占去一层预填充时间的大部分。 在 DeepSeek V3.2 的预填充层中,索引器与 Top-k 合计占 47% 的时间。

索引器是一个小型类注意力模块,查询头对索引器键缓存打分,再经 ReLU 与加权求和把分数压成每个键一个 logit,随后 Top-k 保留 k 个最高分,核心注意力只在这 k 个键值上做 softmax。 索引器与 Top-k 的成本随 N 增长,而 Top-k 与核心注意力的其余部分随 k 增长,k 通常只有几千。 测量使用 FP8 索引器内核,索引器键 64K、压缩比 4、头维度 128、索引器键头数 1、预填充批大小 1、解码批大小 128。

启示与展望

讨论范围是训练进模型的稀疏注意力,而非 BLASST、MInference、Quest 这类训练后直接套用的方法;测量默认使用 FP8 索引器内核、64K 索引器键、压缩比 4、头维度 128、索引器键头数 1、预填充批大小 1 与解码批大小 128。

解码时组大小扩大 16 倍而运行时间只变化 2%,这一结论依赖单次键缓存读取设定运行时间;把组大小与每步查询行数之积推过约 200 行后,内核会启动更多线程块,运行时间出现台阶式上升。FP16 累加只在索引器 QK 缩放能把矩阵乘输出保持在 FP16 范围内时才可用。