跳到主要内容
检索

# 多深度投机

1 篇关联报道

订阅更新
  1. arXiv

    循环语言模型解码不再逐层等:LoopSkim把每一层读出头当校验器,免训练提速达LoopSpec的1.73倍

    循环语言模型对每个词元反复套用同一组权重,自回归解码必须把每个词元的每一圈依次跑完。LoopSkim把流水线中浅层读出的草稿词元交给后续各层读出头逐一比对,只由满深度读出头提交词元,并预先固定每个位置的随机抽样,使采样下仍保持无损。在五个Ouro与Raven模型上,免训练版本相对自回归的平均加速是LoopSpec的1.73倍,可选草稿头把这一比值提高到1.99。

已读完全部报道