跳到主要内容
检索

# 矩匹配方向

1 篇关联报道

订阅更新
  1. arXiv

    解码感知的序列级损失被证明无下界:贪心与采样目标都会发散,教师强制仍是自回归模型监督学习的实用选择

    自回归语言模型训练时通常用教师强制,即每个词都依据真实前缀预测下一个词,但推理时模型只能依据自己生成的前缀,这一训练与推理的错配被称为暴露偏差。为消除错配而设计的两种序列级损失,一种基于贪心解码,一种基于自回归采样,都被证明无下界,因而无法用于学习。借助自回归 Gumbel 技巧,采样损失等于贪心损失在 Gumbel 扰动下的期望;对采样过程施加停止梯度得到的矩匹配方向虽不是任何损失的梯度,却在函数空间中是自回归负对数似然的下降方向,但方差很高。

已读完全部报道