掩码扩散模型学会改稿:LOOT 让已生成词可被重写,256 次前向评估的 MAUVE 超过 ReMDM 2048 次
核心概要
掩码扩散模型一旦把词填上就无法再改,训练信号也只落在被遮住的位置。Leave-One-Out Transformer(LOOT)让每个位置的预测都不看该位置自身的输入,因此可见词也能被监督、已生成的词也能在推理时被重采样修正。在 OpenWebText 上,LOOT 配合 Blocked Gibbs 修正只用 256 次前向评估就取得 0.408 的 MAUVE,高于 ReMDM 在 2048 次评估下的 0.348;代价是单次前向约 2.2 倍 FLOPs,且长序列上的似然仍落后于标准双向 MDM。
深度剖析
掩码扩散语言模型在推理时获得了改写已生成词的能力,而不只是把 [MASK] 逐个替换成预测结果。 标准掩码扩散模型一旦把某个位置解遮罩就将其固定,错误会沿后续生成步骤传播;训练损失也只计算在被遮罩的位置上,可见词没有直接监督。 在 OpenWebText、序列长度 1024 的无条件生成上,LOOT-Blocked-Gibbs 在 256 次前向评估时 MAUVE 为 0.408,而 ReMDM 在 2048 次评估时为 0.348,两者样本熵匹配。
模型对每个位置的预测只依赖该位置的上下文,不依赖该位置当前的输入词,因此可见位置也构成一个可监督的预测任务。 此前的中空 Transformer 只在最后一层或每隔几层合并左右上下文,HollowDiff 还需要另设一个 MDM 预测器配合使用。 在 LM1B 的短程消融中,每层合并的 LOOT 验证困惑度为 36.23,优于每两层合并的 HollowDiff 的 37.23 和每三层合并的 37.91。
训练目标从只覆盖被遮罩位置改为覆盖全部位置,并消除了随噪声调度端点发散的逆概率权重。 HollowDiff 与 PGM 使用的 half-and-half 损失虽然也监督所有位置,但其 NELBO 权重在噪声调度的两端都会发散。 在 LM1B 上,LOOT 目标相对 half-and-half 损失把验证困惑度降低 3.12(36.23 对 39.35);在 OpenWebText 上,固定 LOOT 架构时该目标在序列长度 128 和 1024 下分别改善困惑度 2.89 和 2.80。
一次前向即可给出所有位置的替换分布,使 Gibbs 与 Metropolis–Hastings 这类经典采样可以直接用于文本修正。 ReMDM 的重新遮罩方法每次修正需要多次前向,且选择重遮罩哪个词只能依赖解遮罩时刻的置信度等启发式,随着上下文填充会过时。 在 OpenWebText 上,同一 LOOT 模型不加修正时 256 次评估的 MAUVE 仅 0.010,加上 Blocked Gibbs 或 Metropolis–Hastings 后分别升至 0.408 和 0.312。
启示与展望
已展示的范围是 LM1B 与 OpenWebText 上的语言建模与无条件生成,模型规模约 1.4 亿至 1.7 亿参数,采样评估使用 GPT-2 Large 计算生成困惑度、5000 个样本计算 MAUVE。读者对象是关注扩散语言模型训练目标与推理采样的研究人员。
在更长序列上 LOOT 仍保留相对标准双向 MDM 的似然差距,序列长度 1024 时留一架构本身带来 4.44 的困惑度惩罚;三种修正策略之间差距明显,生成质量强烈依赖采样算法;每次前向约需标准 MDM 的 2.2 倍 FLOPs。
