跳到主要内容
检索

Amir Mann

1 篇关联报道

订阅更新
  1. arXiv

    扩散语言模型不再等整块收尾:B3让相邻两块共享一次前向,吞吐提升11.5%–14.5%

    块扩散语言模型逐块生成,一块要等最慢的 token 定稿才能开下一块,块尾的算力因此空转。B3 在当前块足够稳定时提前初始化下一块,让两块共享同一次前向并行去噪,并用模型自身接受行为在线校准开块时机,无需训练或调超参数。在 DiffusionGemma 26B、LLaDA 2.1 mini 16B 与 flash 100B 上跨 10 个数据集,B3 在生成质量相当的前提下把每秒 token 数提高 11.5%–14.5%。

已读完全部报道