跳到主要内容
检索

# 留一Transformer(LOOT)

1 篇关联报道

订阅更新
  1. arXiv

    掩码扩散模型学会改稿:LOOT 让已生成词可被重写,256 次前向评估的 MAUVE 超过 ReMDM 2048 次

    掩码扩散模型一旦把词填上就无法再改,训练信号也只落在被遮住的位置。Leave-One-Out Transformer(LOOT)让每个位置的预测都不看该位置自身的输入,因此可见词也能被监督、已生成的词也能在推理时被重采样修正。在 OpenWebText 上,LOOT 配合 Blocked Gibbs 修正只用 256 次前向评估就取得 0.408 的 MAUVE,高于 ReMDM 在 2048 次评估下的 0.348;代价是单次前向约 2.2 倍 FLOPs,且长序列上的似然仍落后于标准双向 MDM。

已读完全部报道