跳到主要内容
返回时间线
arXiv来源发表:

掩码线性自注意力让Transformer直接算出最小二乘解,训练后确实用上了层归一化里的除法

核心概要

在简单线性回归的上下文学习任务上,一种带掩码的线性自注意力Transformer被构造成直接输出最小二乘估计的闭式解,而不是靠梯度下降逐步逼近。此前的构造需要假设提示序列足够长,掩码把预测点从上下文样本中分离出来,去掉了这一假设。以最小二乘估计为目标、加ℓ1正则训练后,10次独立训练中有两次的层归一化标准差倒数与样本方差倒数相关系数超过0.9,其中一次平均平方测试误差为0.000058。

Source-provided article image: In-context learning of solution to simple linear regression task using transformer with masked linear self-attention
arXiv

深度剖析

简单线性回归的上下文学习可以不再依赖梯度下降的迭代近似,而由Transformer在提示内直接给出最小二乘估计的解析结果。 此前多数关于Transformer实现回归求解器的工作,其实现的算法基本是梯度下降;线性回归的最小二乘解需要矩阵求逆即除法,梯度下降只能靠反复的乘加隐式完成这一步。 构造的TF(4, 2, 2)在输入序列长度51、上下文样本50、噪声方差0.04的设置下训练,输出与最小二乘估计在预测点上的值一致。

实现解析解的关键是把除法交给层归一化,并用掩码把预测点与上下文样本分开。 线性自注意力只计算序列内积,序列位置相关的信息会在内积中消失,因此预测点会污染上下文样本均值的计算。 掩码把序列最后一行置零,使预测点不参与均值与方差统计;层归一化沿嵌入维度计算的标准差承担了除以样本方差的作用。

训练得到的Transformer确实在使用这一构造,尽管权重表示并不唯一。 线性自注意力的表示不唯一,同一输出可由不同权重组合产生,因此构造是否被训练采用需要单独检验。 10次独立训练中第1次和第5次的层归一化标准差倒数与1/V_m相关系数分别为0.966911和0.988581,第1次平均平方测试误差0.000058;对第1次输出的线性回归R²为0.999974,系数(α3, α4, α5)约为(1, 1, −1)。

启示与展望

演示范围是简单线性回归任务上的TF(4, 2, 2),输入序列长度51、上下文样本50、噪声方差0.04,训练目标为预测点处的最小二乘估计,并对输出权重施加ℓ1正则。读者对象是关心上下文学习机制的研究者;源文提出的后续方向包括去掉ℓ1正则的训练、考察模型规模对实现方式的影响、其他提示格式,以及以预测点输出样本而非最小二乘估计作为训练目标。

构造依赖足够大的常数R,这迫使权重绝对值要么接近零要么极大;ℓ1正则被用来消除无关权重,源文认为这不够自然并可能给预测误差带来偏差。10次训练中只有两次的相关系数超过0.9,源文也指出梯度下降实现与TF(4, 2, 2)的可比性受层数限制。