跳到主要内容
检索

# 层归一化

1 篇关联报道

订阅更新
  1. arXiv

    掩码线性自注意力让Transformer直接算出最小二乘解,训练后确实用上了层归一化里的除法

    在简单线性回归的上下文学习任务上,一种带掩码的线性自注意力Transformer被构造成直接输出最小二乘估计的闭式解,而不是靠梯度下降逐步逼近。此前的构造需要假设提示序列足够长,掩码把预测点从上下文样本中分离出来,去掉了这一假设。以最小二乘估计为目标、加ℓ1正则训练后,10次独立训练中有两次的层归一化标准差倒数与样本方差倒数相关系数超过0.9,其中一次平均平方测试误差为0.000058。

已读完全部报道