循环语言模型解码不再逐层等:LoopSkim把每一层读出头当校验器,免训练提速达LoopSpec的1.73倍
核心概要
循环语言模型对每个词元反复套用同一组权重,自回归解码必须把每个词元的每一圈依次跑完。LoopSkim把流水线中浅层读出的草稿词元交给后续各层读出头逐一比对,只由满深度读出头提交词元,并预先固定每个位置的随机抽样,使采样下仍保持无损。在五个Ouro与Raven模型上,免训练版本相对自回归的平均加速是LoopSpec的1.73倍,可选草稿头把这一比值提高到1.99。
深度剖析
循环语言模型的解码流水线现在用模型自身的深度来校验草稿词元,浅层读出头一旦与草稿矛盾就在该层替换,后面的词元不必跑到满深度。 此前的流水线自推测解码如LoopSpec与WaveFront每步只提前一个词元,一步最多提交一个词元;一次起草多个词元虽能提高上限,但错误词元若只在满深度才被发现,流水线就要从纠正处重启并丢弃后面所有词元的计算。 在Raven-Llama的贪心解码下,准入检查之后的替换平均发生在32圈中的第6.7圈,因此错误词元之后的各位置只跑完准入到满深度之间16%的圈数。
做法是把从上下文复制的草稿词元在跑完最初几圈后送入流水线,每个检查深度把读出的词元与草稿比对,只由满深度读出头提交。 草稿来自提示查找式解码所用的n-gram链,即在提示或已生成文本中找最长后缀的最近一次出现并复制其后续词元,查找在主机上完成,不需要前向计算也不需要训练。 评测覆盖Ouro-1.4B、Ouro-2.6B以及Raven-Llama、Raven-OLMo、Raven-TinyLlama五个模型,任务为GSM8K、MATH500、BBH、HumanEval+与MBPP+,单张H200、BF16、一次一个请求。
采样下保持无损靠的是预先固定每个位置的随机抽样,使同一位置在任何深度、任何草稿链下都用同一份噪声抽取。 若在每个检查深度各自做推测采样,被替换词元的残差分布会带入后续每一次检查;固定抽样后,准入、替换与重起草只改变提前算了什么,不改变最终提交什么。 在精确算术下,对任意检查次数与草稿链,提交的词元序列都是同一噪声下自回归生成的前缀并最终完全相等;全部运算用FP32时,LoopSkim加草稿头在七个设置共3300条提示上的输出与自回归逐词元相同。
启示与展望
评测限于参数量不超过3.5B的循环语言模型,任务为数学、代码与推理,硬件为H200与RTX 5090,批大小最多32个请求;设置按批大小分别选取,接入生产级服务引擎仍是后续工作。
LoopSkim以计算换延迟,每个输出词元在所有词元位置上跑的圈数是自回归的4.74至7.74倍,可能抬高每词元能耗并挤占其他请求的算力;相对LoopSpec的优势在长上下文下收窄,n-gram链在输出重复上下文或自身文本时收益最大;可选草稿头在训练数据排除的BBH上每个格子都略慢于不带头的LoopSkim。
