跳到主要内容
返回时间线
arXiv来源发表:

同一份长文档被问上百遍:Parallel Prompting 把解码改成多流并行,SGLang 上快 3.7 倍

核心概要

面对同一份长文档被连续追问几十到几百个问题的场景,前缀缓存只省掉了重复的预填充,每个解码步仍要按问题数把文档的键值缓存从显存里重读一遍,解码因此受限于内存带宽。Parallel Prompting 把这些提问放进同一个请求、作为彼此独立的流一次性解码,每步只读一次共享文档,并用在注意力核内计算的流编号掩码保证每个答案只看到文档和自己的问题。在 CodeLlama-7B、8k–16k 文档、每文档 64–256 个问题上,它比带 FlashInfer 后端的原版 SGLang 在 A100 上快 3.7 倍、在 RTX A6000 上快 5.9–6.0 倍,144 次配对计时全部更快。

AI-generated editorial illustration: Read Once, Answer Many: Parallel Prompting for Shared-Context LLM Inference

深度剖析

同一份长文档上的大量独立提问现在可以一次性并行解码,而不必让每个问题各自走一遍解码循环。 前缀缓存此前已经让文档只预填充一次,但每个问题的每个解码步仍要重新读取整份文档的键值缓存,这一步的开销随问题数线性增长。 在 CodeLlama-7B、8k 与 16k 文档、每文档 64、128 或 256 个问题的设定下,与原版 SGLang 的 FlashInfer 后端相比,A100 上快 3.7 倍,RTX A6000 上快 5.9–6.0 倍,144 次配对运行全部更快。

做法是把所有问题装进一个请求,让它们作为独立的流同时生成,每一步为每条流追加一个词元。 每条流带一个流编号,注意力核内只允许某个词元看到文档和本流此前的词元,因此每个答案的条件与单独提问时一致,而不像批量提示那样让答案互相干扰。 实现加在 SGLang 的三个既有文件里约 80 行代码加一个小引擎包,掩码由两个固定大小的索引张量给出、不构造稠密张量,每个解码步都能被 CUDA 图捕获;在 QuALITY 与 LooGLE 两个真实长文档基准上,准确率与召回率与其他配置相差不超过 0.33 和 0.36 个百分点。

启示与展望

演示范围是批处理与离线负载,即共享同一文档的请求事先已知;实现只覆盖一种注意力后端、单块 GPU 和贪心解码。在 CodeLlama-7B 的 8k–16k 文档、每文档 64–256 个问题上,A100 相对 FlashInfer 后端快 3.7 倍,A6000 上快 5.9–6.0 倍。

收益随负载变化:答案变长时增益从 3.6 降到 1.9,模型每词元键值缓存很小时(如 Qwen2.5-1.5B 在 64 个问题下)反而比原版 FlashInfer 慢 5–7%,LooGLE 上因答案平均 234 词元而比 FlashInfer 慢 1.26 倍。按需到达的在线服务需要与调度器集成,作者将其留作后续工作;浮点运算顺序改变使输出与原版并非逐位相同。