循环Transformer解码不再等满整轮:LoopFill把后缀检索与浅层预测并进一棵草稿树,七项基准上快过LoopAhead
循环Transformer反复复用同一组层,推理时每个词都要顺序走完多轮,延迟高;此前的流水线自推测方法只能沿循环深度一次草拟一个词,后一个词必须等前一个到达草拟深度才能进入流水线。LoopFill把后缀树检索出的多词续写与模型自身浅层循环的预测合并到同一棵草稿树,让多个未来词同时进入流水线,并在全深度上验证以保持自回归输出分布。在七个基准上,贪心解码下相对自回归解码的平均加速在Ouro-2.6B和Huginn-3.5B上均超过最强基线LoopAhead,分别高出40%和25%。