跳到主要内容
检索

# 稀疏注意力

16 篇关联报道

订阅更新
  1. Qwen

    阿里发布Qwen4-Max:2.4万亿参数、百万token上下文,Work360得分从47.74升到52.69

    阿里通义团队发布Qwen4-Max,基于新的Qwen4架构,主干参数2.4万亿、每token激活71B,原生支持视觉并具备一百万token上下文窗口。它在自建Work360行业任务基准上得分52.69,高于上一代Qwen3.8-Max的47.74;在Work360与Terminal-Bench 4.0上,达到同等努力档位所用token更少,API价格也下调。团队同时给出预训练、智能体长任务与安全方面的评测说明。

  2. arXiv

    视觉语言模型投机解码提速:MMFlash按视觉依赖重加权,图像基准平均加速3.00–3.05倍

    MMFlash把扩散式投机解码扩展到视觉语言模型,做法是先测量每个词元对图像的依赖程度,再在训练中给这类词元加权。测量显示,DFlash草稿器在视觉依赖最低四分位的接受率为46%,最高四分位降到22%,多模态训练后这一差距仍在。在Qwen3.5系列上,MMFlash在七个图像基准的贪心解码下平均加速3.00–3.05倍,比DFlash高10.3–10.9%;长视频基准配合稀疏注意力与轻量微调后平均加速2.33–2.71倍。

  3. arXiv

    VerKV把KV缓存压到GPU只留3.13%:先估注意力误差,再按需从CPU取回

    长上下文推理时KV缓存随序列长度线性增长,常超出GPU显存。VerKV把完整缓存留在CPU内存,GPU上只保留按重要性分数做泊松抽样得到的少量token,每个解码步先用证书估计注意力误差,超出容差才从CPU取回额外条目。在Qwen3-4B、Qwen3.5-9B和Ministral-3-8B三个模型、RULER与LOFT两个基准的32K和128K上下文上,GPU常驻缓存为3.13%时三者分别保留94.6%、84.6%和79.6%的全量质量,而Fast KVzip和KVzip在同样3.13%下只剩1.9%至11.9%。

  4. arXiv

    JSSA把token级稀疏解码做成免gather:128K上下文下吞吐最高达到全量KV注意力

    长上下文解码的瓶颈在反复读取不断增长的KV缓存,稀疏注意力只取其中一部分位置,但token级选择一直难以同时保住精度和延迟。JSSA用共享的查询—键低维子空间给候选token打分,并配一个免gather的索引注意力内核,让每个KV头保留各自选中的token集合。在GQA、混合滑窗/全局注意力和MLA模型上,它离全量KV精度最近;在B200上128K上下文时解码吞吐最高达到全量KV注意力的水平。

  5. LMSYS Org

    XM-Sparse把稀疏注意力的KV缓存搬出HBM:16K上下文同批下每token时间降49.25%

    Netpreme把X-Mem™内存层接入SGLang HiSparse,让解码GPU从高带宽外部内存取回未命中的KV条目,而不是走PCIe访问主机DRAM。在16K上下文、每GPU批192、20% top-k未命中率下,平均每输出token时间从167.48 ms降到84.99 ms,降幅49.25%;40%未命中率下降幅为63.58%。在20%未命中率下,16K至1M上下文的峰值解码吞吐是主机DRAM的2.09–3.04倍。

  6. KV选择不再等目标层查询:EarlySelectKV用代理查询提前算索引,长输出吞吐最高提升12.4%

    查询条件稀疏KV选择每次解码都要先拿到目标层查询,才能给候选打分并生成索引,这段路由因此卡在注意力之前。EarlySelectKV把路由查询换成由更早隐藏状态构造的代理查询,提前算好下一层要访问的KV索引,最终注意力仍用真实查询。在RocketKV上,LongBench相差+0.018分、RULER约−0.01分、代表性NIAH/Passkey设置+0.25个百分点;TensorRT-LLM部署中路由卸载到CPU后,端到端输出吞吐最高提升12.4%,GPU常驻内存减少KV与K-summary池的11.1%。

  7. Hugging Face - Blog

    Mistral把1T参数的多模态模型开放权重:网络安全测试复现并修补漏洞得82%

    Mistral在Hugging Face发布Mistral Large 4(Le Chonk),这是一个约1T总参数、49B激活参数、上下文窗口1M token的多模态混合专家模型,以开放权重形式提供FP8与NVFP4两个官方版本。它把大专家池与稀疏注意力、Pixtral视觉编码器组合起来,语言模型为每个token只选少数专家,注意力索引器只选部分历史位置。在要求复现并修补开源软件真实漏洞的Artificial Analysis Cyber Index测试上,该模型得82%,Mistral称这是该测试已报告的最高分。

  8. vLLM Blog

    vLLM 首日接住 Mistral Large 4:NVFP4 解码比 FP8 快 1.08–1.19 倍,KV 缓存多约 1.5 倍

    vLLM 在发布当天为 Mistral Large 4 提供推理支持,这是一款 1 万亿参数、每 token 激活 490 亿的稀疏混合专家多模态模型。支持工作包括可断 CUDA 图、手写融合、解码与预填充上下文并行、DSpark 投机解码、NIXL 分离式服务以及主机内存 KV 卸载。在 TP8 上,NVFP4 每 token 解码比 FP8 快 1.08–1.19 倍,并持有约 1.5 倍 KV 缓存,而多模态、长上下文等评测与 FP8 的差距不超过 2.1 分。

  9. arXiv

    长上下文RL训练不再等自回归:稀疏自草稿加全注意力验证,吞吐提升1.39倍

    长上下文RLVR的rollout生成改用稀疏注意力起草、全注意力验证,在Qwen3-1.7B与Qwen3-8B上把端到端训练吞吐提高到自回归的1.39倍和1.35倍,同时保持任务表现相当。

  10. arXiv

    3D重建不再逐层全注意力:按敏感度分配稀疏与线性,1024视角端到端提速最高5.6倍

    Zebra3D把预训练3D重建模型的全局注意力按层敏感度换成线性与瓦片稀疏混合,在约94%平均注意力稀疏度下仍保持接近稠密模型的位姿精度,1024视角端到端提速最高5.6倍。