QK-MAP 不再归一化查询与键:190M 到 7B 各规模训练与验证损失均低于 QK-Norm
核心概要
现代大模型常用 QK-Norm 压住注意力 logits 的增长,但归一化同时抹掉了查询与键的模长所携带的逐 token 信息。QK-MAP 改用多组可学习频率把输入模长编码成范数固定的相位模式,使模长变化体现在表示的方向与相位上而非向量长度上。在 190M 至 7B 参数、共享骨干与数据预算的预训练对比中,QK-MAP 在每个评估规模的训练与验证交叉熵都低于标准注意力和 QK-Norm,7B 上八任务平均准确率也最高。
深度剖析
QK-MAP 让查询和键的模长信息不再被归一化抹掉,同时仍把注意力 logits 限制在可控范围内,从而在语言模型预训练中替代 QK-Norm。 标准注意力保留模长信息但查询与键的范数会随训练增长,QK-Norm 压住这种增长却让同一方向上的不同模长几乎无法区分。 在 190M、370M、760M、1B 和 7B 五个规模上,各变体共享骨干、预训练数据、token 预算、批大小与随机种子,QK-MAP 在每个规模的训练与验证交叉熵都最低,验证优势覆盖 C4、Pile、M2D2-S2ORC 与 Dolma 各域。
实现上,QK-MAP 把进入注意力块的表示映射成多频率的正弦余弦特征,再用这些特征分别投影出查询和键。 这套映射借鉴 RoPE 用多组频率把位置写成有界相位组合的做法,但频率是可学习的,作用对象是 token 表示而非位置索引。 在 7B 检查点上,QK-MAP 在 32 到 512 token 的十一个领域、共 55 组领域与长度比较中首位键注意力都最低,均值比标准注意力低 9.1% 到 12.7%;合成长上下文测试中,相关证据相对干扰文本的注意力信噪比相对 QK-Norm 从 32 token 的 24.9% 增至 600 token 的 85.3%。
启示与展望
结论建立在 190M 至 7B 参数、序列长度 2048、共享 Dolma 系 OLMo 预训练混合与相同 token 预算的受控对比上,下游指标为八项零样本任务的无加权平均准确率;模长打乱与词替换扰动分析在 190M 检查点上完成,注意力诊断在 7B 检查点上完成。
多频率映射的全局单射性只在频率比值为无理数时成立,学习会改变频率,因此这只是充分条件而非无条件保证;词替换实验采用固定分块打分,与 QUEST 原文的滑窗协议不同,表中数值是本文检查点之间的匹配比较,不是对原论文绝对困惑度的复现。
