注意力头的自对齐大半是背景几何:九个模型5408个头,前位空模型解释48%到63%
多头注意力中,头输出与自身 value 向量的余弦相似度常被当作冗余信号,但用同一序列更早位置的 value 作空模型对照后,九个多头预训练模型、5408 个头上这种对齐有 48% 到 63% 来自背景几何,且不随规模单调变化。在 50.9M 参数、八种子的预注册三臂配对训练中,沿自身 value 方向移除使验证损失低于基线,而固定任意秩一方向与基线无差异,自身方向移除也直接优于该对照。
多头注意力中,头输出与自身 value 向量的余弦相似度常被当作冗余信号,但用同一序列更早位置的 value 作空模型对照后,九个多头预训练模型、5408 个头上这种对齐有 48% 到 63% 来自背景几何,且不随规模单调变化。在 50.9M 参数、八种子的预注册三臂配对训练中,沿自身 value 方向移除使验证损失低于基线,而固定任意秩一方向与基线无差异,自身方向移除也直接优于该对照。
已读完全部报道