跳到主要内容
检索

# 并行提示

1 篇关联报道

订阅更新
  1. arXiv

    同一份长文档被问上百遍:Parallel Prompting 把解码改成多流并行,SGLang 上快 3.7 倍

    面对同一份长文档被连续追问几十到几百个问题的场景,前缀缓存只省掉了重复的预填充,每个解码步仍要按问题数把文档的键值缓存从显存里重读一遍,解码因此受限于内存带宽。Parallel Prompting 把这些提问放进同一个请求、作为彼此独立的流一次性解码,每步只读一次共享文档,并用在注意力核内计算的流编号掩码保证每个答案只看到文档和自己的问题。在 CodeLlama-7B、8k–16k 文档、每文档 64–256 个问题上,它比带 FlashInfer 后端的原版 SGLang 在 A100 上快 3.7 倍、在 RTX A6000 上快 5.9–6.0 倍,144 次配对计时全部更快。

已读完全部报道