跳到主要内容
返回时间线
arXiv来源发表:

注意力头的自对齐大半是背景几何:九个模型5408个头,前位空模型解释48%到63%

核心概要

多头注意力中,头输出与自身 value 向量的余弦相似度常被当作冗余信号,但用同一序列更早位置的 value 作空模型对照后,九个多头预训练模型、5408 个头上这种对齐有 48% 到 63% 来自背景几何,且不随规模单调变化。在 50.9M 参数、八种子的预注册三臂配对训练中,沿自身 value 方向移除使验证损失低于基线,而固定任意秩一方向与基线无差异,自身方向移除也直接优于该对照。

AI-generated editorial illustration: Sanity Checks for Attention Surgery: Null Models and Matched Interventions for Representation-Motivated Design

深度剖析

注意力头输出与自身 value 向量的高余弦相似度不能直接读作该方向冗余,其中相当一部分来自因果模型里位置可以关注更早位置这一背景几何。 常见做法是在内部表示上测到一个较大的统计量,就按该方向做架构删除并报告训练收益,而没有先问这个统计量是否超过噪声底、是否超过几何空模型。 在九个多头预训练模型、共 5408 个注意力头、124M 到 6.9B 参数上,用同一序列中更早位置均匀抽取的 value 作空模型,可解释头部 value 余弦对齐的 48% 到 63%,且没有单调的规模趋势。

训练收益是否依赖被移除的那个方向,需要同参数化、同初始化的配对对照来判定,而不是只看删除后损失是否下降。 固定任意秩一方向与沿自身 value 方向使用相同的门控参数化,两者各自与基线比较,并在八个随机种子上直接配对比较。 在 50.9M 参数、预注册三臂八种子配对因子实验中,固定任意方向与基线无差异,自身方向移除使验证损失降低(Holm 校正后显著),并直接优于固定任意对照。

分组查询注意力下,这种对齐取决于用哪一组的 value:与自身键值组比较为正,与相邻组比较则反号。 多头模型没有共享 value 投影的组,这一对比在多头模型上无定义,只有在分组查询注意力模型上才能测。 Qwen2.5-0.5B 上组内超额为 +0.24,相邻组超额为负,Qwen2.5-1.5B 与 TinyLlama-1.1B 呈现相同符号。

启示与展望

已展示的范围是:冻结模型上的几何测量覆盖十二个预训练模型(含九个多头模型与三个分组查询模型),可分辨性分析覆盖 GPT-2、Pythia-160M、Pythia-410M,并在半预算协议下扩展到 Pythia-1.4B 与 Pythia-2.8B;训练结论来自一个 50.9M 参数、八层八头、从零训练的模型。读者若是想据此判断已训练好的大模型能否安全删除某个注意力方向,这份结果并不覆盖该场景。

训练实验没有确定更大规模下的效应符号或幅度,冻结模型与训练设置的门控约束和首 token 处理也不同,两者是相关但并非同一干预。固定任意方向对照与自身方向移除在投影范数和收敛门控强度上并不一致,对照方向还在所有位置固定,而自身方向移除在每个 token 上去掉的是随输入变化的方向,因此这一对比混合了自身 value 特异性与逐 token 对静态投影两种差别。GPT-2 的几何测量未在项目声明的容差内复现参考三元组,长度扫描解释了大部分差距,但自余弦分量的残差尚未定位到语料、截断或头级聚合中的哪一项。