稀疏注意力把长上下文成本挪进索引器:DeepSeek V3.2 预填充层里它占 47%
长上下文推理中,稀疏注意力让每个查询只关注少量键,但负责挑键的索引器仍要给全部 N 个键打分,成本并未消失而是转移。在 DeepSeek V3.2 的预填充层里,索引器与 Top-k 合计占 47% 的时间。基于一个 FP8 生产内核的系统扫描给出八条设计准则,核心是让每组查询头数与每步查询行数的乘积落在一个张量核心分块内,并把 Top-k 并入索引器预算。
长上下文推理中,稀疏注意力让每个查询只关注少量键,但负责挑键的索引器仍要给全部 N 个键打分,成本并未消失而是转移。在 DeepSeek V3.2 的预填充层里,索引器与 Top-k 合计占 47% 的时间。基于一个 FP8 生产内核的系统扫描给出八条设计准则,核心是让每组查询头数与每步查询行数的乘积落在一个张量核心分块内,并把 Top-k 并入索引器预算。
已读完全部报道