小模型先读一遍:SkimPrefill 让长图文输入的预填充提速 3.7 至 11.6 倍
视觉语言模型处理约 10 万 token 的图文交错长输入时,等待首个输出 token 的时间主要耗在预填充上。SkimPrefill 让 Qwen3.5-0.8B 这个小模型先以半分辨率读完整个输入,只跑到第 7 层,再用该层的一个注意力头给每张图片和每个段落打分,把得分最高的整单元作为普通短提示交给目标模型。在 MMLongBench 128K 设置下保留 10% 的输入 token,Qwen3.5-9B、Gemma-4-12B 和 Qwen3-VL-32B 的预填充分别加速 3.7、11.6 和 8.2 倍,同时平均准确率不低于全量输入。