跳到主要内容
检索

# LoopVQ

1 篇关联报道

订阅更新
  1. arXiv

    循环Transformer的KV缓存压到0.5比特:LoopVQ让Ouro-1.4B在GSM8K保住75.82分,CQ只有46.78分

    循环Transformer复用同一批层,参数省了,但每个循环步仍各存一份键值缓存,缓存随循环步数线性增长,成为显存瓶颈。LoopVQ把相邻多个循环步的通道编进同一个子向量、共用一个码本索引,再用码本微调对齐全精度输出。在Ouro-1.4B上,0.5比特/元素时GSM8K得75.82分,而面向普通LLM的CQ与TaSQ分别只有46.78和57.32分。

已读完全部报道