跳到主要内容
返回时间线
arXiv来源发表:

解码感知的序列级损失被证明无下界:贪心与采样目标都会发散,教师强制仍是自回归模型监督学习的实用选择

核心概要

自回归语言模型训练时通常用教师强制,即每个词都依据真实前缀预测下一个词,但推理时模型只能依据自己生成的前缀,这一训练与推理的错配被称为暴露偏差。为消除错配而设计的两种序列级损失,一种基于贪心解码,一种基于自回归采样,都被证明无下界,因而无法用于学习。借助自回归 Gumbel 技巧,采样损失等于贪心损失在 Gumbel 扰动下的期望;对采样过程施加停止梯度得到的矩匹配方向虽不是任何损失的梯度,却在函数空间中是自回归负对数似然的下降方向,但方差很高。

Source-provided article image: On the Difficulty of Sequence-Level Supervised Learning for Autoregressive Language Models
arXiv · 第 6 页

深度剖析

把推理时的解码过程直接写进训练目标,并不能替代教师强制:两种按解码方式构造的序列级损失都会让训练发散。 教师强制只需一次前向、无需采样,但训练时依赖真实前缀、推理时依赖模型自身前缀,存在暴露偏差;已有的序列级方法依赖外部奖励信号,或需要序列空间上不可解的最大化、对数配分预言机。 基于贪心解码的损失被证明不连续、非凸且无下界;基于自回归采样的损失虽然光滑,同样被证明非凸且无下界,两者都会使损失趋向负无穷。

两种看似不同的解码感知损失其实是同一对象的确定性与随机两面。 此前贪心解码与祖先采样分别对应不同的训练目标,二者关系未被刻画。 自回归 Gumbel 技巧给出,采样损失等于贪心损失在独立同分布 Gumbel 扰动下的期望,贪心解码是其中的确定性极限。

去掉解码序列对参数的依赖后,可以得到一个理论上可用的更新方向,但代价是方差。 该矩匹配方向不是任何损失函数的梯度,因此不能按常规损失优化来理解。 在函数空间表示下,该方向被证明是自回归负对数似然的下降方向;其期望需要对整条序列分布做蒙特卡洛估计,采样前缀在时间步间相关,估计方差随序列长度增长。

启示与展望

分析针对从静态数据集做监督学习的自回归模型,结论覆盖基于贪心解码和基于自回归采样的两类内在序列级损失,以及施加停止梯度后得到的矩匹配方向;下降性质在函数空间中成立,作者明确指出这不能直接推出参数空间中的下降。

矩匹配方向的实际使用受高方差限制,因为其期望只能通过蒙特卡洛采样估计,而采样前缀在时间步之间相关,方差随序列长度增长;函数空间的下降保证不自动延伸到参数空间,因为参数化的 Gram 算子会改变内积。作者还指出,停止梯度的重参数化技巧不能迁移到强化学习后训练,因为奖励通常是独立函数,停止梯度会使信号消失。