跳到主要内容
检索

# 长上下文大语言模型推理

3 篇关联报道

订阅更新
  1. arXiv

    长上下文推理不再反复搬KV:MCF按预填充阶段临时复制,16节点TTFT降到0.62秒

    长上下文推理的预填充阶段要反复搬运历史KV缓存,MCF把KV布局改成随阶段变化的运行时调度:预填充早期内存有余量时临时复制高复用KV块,随内存压力上升逐步回收,解码前收敛回分片布局。在4块KR260 FPGA组成的集群上,16K预填充、16个逻辑节点时MCF的TTFT为0.62秒,Ring Attention与Zigzag Attention分别为1.91秒和1.81秒。

  2. arXiv

    小模型先读一遍:SkimPrefill 让长图文输入的预填充提速 3.7 至 11.6 倍

    视觉语言模型处理约 10 万 token 的图文交错长输入时,等待首个输出 token 的时间主要耗在预填充上。SkimPrefill 让 Qwen3.5-0.8B 这个小模型先以半分辨率读完整个输入,只跑到第 7 层,再用该层的一个注意力头给每张图片和每个段落打分,把得分最高的整单元作为普通短提示交给目标模型。在 MMLongBench 128K 设置下保留 10% 的输入 token,Qwen3.5-9B、Gemma-4-12B 和 Qwen3-VL-32B 的预填充分别加速 3.7、11.6 和 8.2 倍,同时平均准确率不低于全量输入。

  3. arXiv

    推理加速器也能边服务边学习:LWS把学习藏进预测的空闲算力,保住99.3%质量收益

    长上下文模型若在推理时继续学习,就要在预测之外付出反向计算和权重更新的代价,而现有推理加速器默认权重固定。LWS把学习安排到预测期间闲置的矩阵算力上,用逐层权重版本管理允许预测读取稍旧的权重,并让长学习任务在碎片化空闲窗口间暂停续跑。在建模的数据中心与边缘NPU上,TTT-E2E 3B在128K token下保持仅预测时的吞吐,同时保留完全新鲜学习质量收益的99.3%。

已读完全部报道