跳到主要内容
检索

# 查询-键归一化

1 篇关联报道

订阅更新
  1. arXiv

    QK-MAP 不再归一化查询与键:190M 到 7B 各规模训练与验证损失均低于 QK-Norm

    现代大模型常用 QK-Norm 压住注意力 logits 的增长,但归一化同时抹掉了查询与键的模长所携带的逐 token 信息。QK-MAP 改用多组可学习频率把输入模长编码成范数固定的相位模式,使模长变化体现在表示的方向与相位上而非向量长度上。在 190M 至 7B 参数、共享骨干与数据预算的预训练对比中,QK-MAP 在每个评估规模的训练与验证交叉熵都低于标准注意力和 QK-Norm,7B 上八任务平均准确率也最高。

已读完全部报道