文本生成不再逐步采样:Seq-Drifting 一次前向从噪声写出整句,LM1B 生成困惑度 36.01
核心概要
扩散语言模型能并行出词,却仍要多次采样才能得到高质量文本。Seq-Drifting 把漂移训练搬到连续词表示序列上,为每个位置构造随当前生成上下文变化的候选词集合,用吸引与排斥形成训练目标,使生成器一次前向就把噪声映射为整段文本。在 LM1B 上,使用公开预训练 GPT-2 构造支持集的 Seq-DriftingP 单步生成困惑度为 36.01,低于四步蒸馏基线 FMLM 的 98.76。
深度剖析
文本生成可以在一次前向中完成:生成器直接从共享噪声向量输出整条序列的连续词表示,再按余弦相似度解码成词,推理时不需要迭代采样器。 自回归模型逐词解码,延迟随序列长度增长;扩散语言模型虽并行出词,仍依赖多步细化,SDTT、Di4C、FMLM 等蒸馏方法在采样预算很小时生成质量受限。 在 LM1B 上,单步的 Seq-DriftingP 生成困惑度为 36.01,四步蒸馏基线 FMLM 为 98.76;在 OpenWebText 上两者分别为 128.33 和 111.49。
训练监督不再固定取自训练句中的观测词,而是每个位置给出一组随当前生成上下文变化的候选词,吸引把输出拉向其中最近的候选,排斥防止不同噪声样本塌缩到同一输出、也防止句内重复。 若直接把训练序列中观测到的词当作每个位置的漂移目标,该目标可能与生成器当前上下文不符,导致更新偏弱或错位。 候选集有两条构造路径:从语料检索,或用冻结语言模型对生成器当前前缀打分取概率最高的若干词;实验显示后者更强并作为默认,该支持模型只在训练时查询,推理时不需要。
吸引与排斥都在单位球面上按角度计算,更新沿大圆走一步,排斥改变方向而不增大向量模长。 在余弦解码下,径向增长会拉大欧氏距离却不改变词的身份,无约束的排斥可能把力气花在增大模长上而不带来词级多样性。 消融中把球面更新换成欧氏更新后,排斥使嵌入模长增大并导致训练发散;去掉句内排斥项后,输出塌缩为句内词重复,无条件设置下困惑度降到 10.01、熵降到 1.82。
启示与展望
已展示的范围是 LM1B 与 OpenWebText 上的无条件与条件生成,以及 WMT14 翻译、XSum 摘要和 SVAMP、ASDiv、ProofWriter 推理任务;条件生成使用 64 词上下文,OpenWebText 上输出 512 词。作者提出后续可用更强的支持模型、更丰富的语义监督和改进的词恢复来缩小与多步系统的差距。
翻译与摘要上相对多步结果仍有差距,作者推测部分源于训练所用候选集与评估所用单一参考之间的不匹配。超参数扫描显示生成困惑度随若干参数先改善后变差,支持集过小会使输出塌缩。从零训练条件生成需要先做无条件预热。
