跳到主要内容
返回时间线
arXiv来源发表:

扩散语言模型不再等整块收尾:B3让相邻两块共享一次前向,吞吐提升11.5%–14.5%

核心概要

块扩散语言模型逐块生成,一块要等最慢的 token 定稿才能开下一块,块尾的算力因此空转。B3 在当前块足够稳定时提前初始化下一块,让两块共享同一次前向并行去噪,并用模型自身接受行为在线校准开块时机,无需训练或调超参数。在 DiffusionGemma 26B、LLaDA 2.1 mini 16B 与 flash 100B 上跨 10 个数据集,B3 在生成质量相当的前提下把每秒 token 数提高 11.5%–14.5%。

AI-generated editorial illustration: Blurring the Block Boundaries: Overlapping Block Denoising for Efficient Diffusion Language Models

深度剖析

块扩散语言模型按块顺序生成,每块要等最慢的 token 定稿才推进,块边界因此成为同步屏障,下一块中容易预测的 token 只能空等。 此前的块扩散推理严格串行:当前块未完成收敛,下一块不会初始化,一次前向只服务一个块。 在 DiffusionGemma 于 HumanEval+ 上,一个块最后 20% 的步骤只产出 10% 的 token;块尾 token 占比与步骤占比之比在 DiffusionGemma 上为 0.35–0.71,在 LLaDA 2.1 mini 上为 0.05–0.62,1 表示两者持平。

B3 在当前块尚未完全定稿时就把下一块拉进同一次前向,两块并行去噪,把块尾的低接受率区间与下一块的开头重叠起来。 开块时机由模型自身的接受行为在线决定:当当前块每个 token 的熵都不超过一个由历史前沿推进步骤估计出的阈值时才开新块,因此不需要训练,也不需要按模型或任务调超参数。 在 DiffusionGemma 26B、LLaDA 2.1 flash 100B 和 LLaDA 2.1 mini 16B 上跨 10 个基准测试,B3 在全部 30 个模型–基准组合上都同时提高每秒 token 数与每次前向 token 数,平均准确率变化为 –0.40 到 +0.76 个百分点。

注意力保持块因果,当前块的预测不受提前开块影响;下一块在上一块尚未收敛的前缀上起草,随后由自编辑修正早期猜测。 在 LLaDA 2.1 mini 默认块大小 32 下,B3 是所比较方法中最快的,且准确率高于 FlowBlock 与 MBD-LMs;块大小 64 时同样在速度与准确率两轴上领先。 在 HumanEval+ 全部 164 道题上统计,未来块中起草的 token 被后续编辑的比例为 DiffusionGemma 1.98%、LLaDA 2.1 mini 4.29%,对应普通解码为 0.27% 与 2.80%,即 98.0% 与 95.7% 的起草 token 保持不变。

启示与展望

演示范围限于具备自编辑能力的块扩散语言模型:DiffusionGemma 26B、LLaDA 2.1 mini 16B 与 LLaDA 2.1 flash 100B,评测覆盖 10 个英文纯文本基准,墙钟加速在每种模型的一套推理栈上测得。

B3 不保证输出与原始解码逐 token 一致,平均准确率变化为 –0.40 到 +0.76 个百分点;加速上限受每块低接受率尾部限制,作者称 11.5%–14.5% 的吞吐增益属于中等;墙钟加速只在每种模型的一套推理栈上测得,在大批量推理等其他服务方式下可能不同;消融与同期方法比较因算力限制只用了 LLaDA 2.1 mini 和部分基准。