跳到主要内容
检索

Jiayu Liu

1 篇关联报道

订阅更新
  1. arXiv

    文本生成不再逐步采样:Seq-Drifting 一次前向从噪声写出整句,LM1B 生成困惑度 36.01

    扩散语言模型能并行出词,却仍要多次采样才能得到高质量文本。Seq-Drifting 把漂移训练搬到连续词表示序列上,为每个位置构造随当前生成上下文变化的候选词集合,用吸引与排斥形成训练目标,使生成器一次前向就把噪声映射为整段文本。在 LM1B 上,使用公开预训练 GPT-2 构造支持集的 Seq-DriftingP 单步生成困惑度为 36.01,低于四步蒸馏基线 FMLM 的 98.76。

已读完全部报道