小模型先读一遍:SkimPrefill 让长图文输入的预填充提速 3.7 至 11.6 倍
核心概要
视觉语言模型处理约 10 万 token 的图文交错长输入时,等待首个输出 token 的时间主要耗在预填充上。SkimPrefill 让 Qwen3.5-0.8B 这个小模型先以半分辨率读完整个输入,只跑到第 7 层,再用该层的一个注意力头给每张图片和每个段落打分,把得分最高的整单元作为普通短提示交给目标模型。在 MMLongBench 128K 设置下保留 10% 的输入 token,Qwen3.5-9B、Gemma-4-12B 和 Qwen3-VL-32B 的预填充分别加速 3.7、11.6 和 8.2 倍,同时平均准确率不低于全量输入。
深度剖析
长图文输入的预填充不再需要目标模型自己读完全部 token 才能决定保留什么,一个 0.8B 的小模型先读一遍就能挑出证据所在的整张图片和整个段落。 此前的剪枝方法要么用目标模型自身的早期层打分,要么让同族小模型先写一个答案再据此打分,打分本身占掉了剪枝省下的大部分时间。 在 MMLongBench 128K 设置、19 个数据集五类任务上保留 10% 的输入 token,Qwen3.5-9B、Gemma-4-12B 和 Qwen3-VL-32B 的预填充分别加速 3.7、11.6 和 8.2 倍,平均准确率不低于全量输入。
选择器只运行 Qwen3.5-0.8B 前 8 层中的第 7 层,其中 6 层是时间随输入长度线性增长的 Gated DeltaNet 层,因此这一遍读取很短。 打分方式是第 7 层单个注意力头对每个单元的平均注意力,图片以半分辨率读入,选出的整单元按原顺序、原分辨率拼成普通短提示。 在 Qwen3-VL-32B 上,选择耗时 0.71 秒,而目标模型预填充完整输入需要 17.58 秒;同一个未经训练的选择器服务于三个不同模型家族的目标。
启示与展望
演示范围是 MMLongBench 128K 设置下保留 10% 输入 token 的预填充加速与平均准确率,三个目标模型均在 SGLang 中运行,选择器使用同一套设置。
摘要化任务需要整篇文档,保留 10% token 时准确率下降 3.4 至 4.2 个百分点;在 LongDocURL 上,100 个问题中有 18 个所保留的页面不含答案页,这是落后于 SGP 的主要来源。
