跳到主要内容
返回时间线
arXiv来源发表:

循环Transformer解码不再等满整轮:LoopFill把后缀检索与浅层预测并进一棵草稿树,七项基准上快过LoopAhead

核心概要

循环Transformer反复复用同一组层,推理时每个词都要顺序走完多轮,延迟高;此前的流水线自推测方法只能沿循环深度一次草拟一个词,后一个词必须等前一个到达草拟深度才能进入流水线。LoopFill把后缀树检索出的多词续写与模型自身浅层循环的预测合并到同一棵草稿树,让多个未来词同时进入流水线,并在全深度上验证以保持自回归输出分布。在七个基准上,贪心解码下相对自回归解码的平均加速在Ouro-2.6B和Huginn-3.5B上均超过最强基线LoopAhead,分别高出40%和25%。

AI-generated editorial illustration: LoopFill: Pipelined Multi-Token Speculative Decoding for Looped Transformers

深度剖析

循环语言模型的解码流水线现在可以一次填入多个未来词,而不必每轮只推进一个词。 此前的流水线自推测方法只沿循环深度草拟:每个浅层预测只提出一个词,新词最多每隔若干循环步才能起步,加速比因此受循环深度限制,被拒绝的草稿还会迫使流水线重启。 在Ouro-2.6B上,把后缀树与浅层草稿配对后,正确草稿路径从1.34个词延长到1.73个词,若后缀树也在第1轮草稿处查询则达到2.28个词。

做法是把两种草稿来源挂到同一棵草稿树上,共享计算与验证。 后缀树是一种无需模型计算、直接从提示和已生成文本中检索后续片段的草稿器,浅层预测则是模型在较浅循环深度上直接读出的候选词。 每个草稿节点按路径上浅层预测概率与后缀频率的乘积打分,每轮只计算得分最高的若干节点,并在根节点完成全部循环后保留匹配子树及其已完成的循环。

加速在多个模型和基准上成立,但草稿预算与并发量之间存在取舍。 草稿只决定哪些位置提前开始,不决定输出哪个词,因此全深度验证保持自回归解码的输出分布。 在Huginn-3.5B上,提高草稿节点预算使解码速度提高19.5%,而预算继续增大时端到端吞吐相对下降43%。

启示与展望

演示范围是单张NVIDIA L20X GPU、BF16精度下的七个基准,模型为Ouro-1.4B、Ouro-2.6B与Huginn-3.5B,评测覆盖贪心解码与温度1.0两种设置以及SpecBench上的五个并发级别。读者对象是关心循环语言模型推理效率的研究人员与推理引擎工程师。

当下一个词较难预测时,后缀草稿与模型输出的匹配率下降;草稿预算增大可降低单请求延迟,但在并发量大时会拉低吞吐。原文把自适应地兼顾低延迟与高吞吐列为后续方向。