位置编码多了一条卷积路线:ConvPE 给注意力分数加窗口偏置,8K 上下文困惑度低于 RoPE-8K
核心概要
ConvPE 把位置信息注入到注意力分数上:先对隐状态做低维投影,再用因果卷积生成随内容变化的窗口偏置,窗口之外的偏置严格为零。在 FineWeb-Edu-10BT 前 3B token 上从头预训练时,它的训练损失低于 RoPE 基线,达到基线最终损失所需 token 更少;扩展到 8K 上下文后,ConvPE-8K 的困惑度低于 RoPE-8K 与 YaRN。
深度剖析
Transformer 注入位置信息多了一个可选位置:不再只改 token 表示或旋转查询与键,而是直接在注意力分数矩阵上加一个局部、随内容变化的偏置。 此前主流做法是绝对位置向量或 RoPE 旋转,长上下文扩展要靠插值或频率缩放;注意力分数偏置路线中,ALiBi 用固定线性衰减,DAPE 卷积整张分数图。 在 FineWeb-Edu-10BT 前 3B token 上从头预训练时,ConvPE 收敛更快、最终训练损失低于 RoPE 基线,达到基线最终损失所需 token 更少。
偏置由隐状态经低维投影和因果卷积生成,每个偏置头学习一种相对位置模式,窗口之外的键不加位置偏置。 卷积窗口、投影维度和偏置头数是三个超参数,默认配置取窗口 128、投影维度 16、单偏置头,因为该配置在基座模型扫描中表现最好且偏置头开销最低。 在 tiny 与 base 两档骨干的超参数扫描中,每个 ConvPE 变体都优于 RoPE 基线;分组卷积的变体损失最差。
作为插件,ConvPE 可与 RoPE、注意力掩码和 KV 拼接共存,并可用高维卷积扩展到图像块网格。 二维版本 ConvPE2D 把一维因果卷积换成图像块网格上的二维卷积,每个块从邻域获得偏置。 在 CIFAR-100 上,ConvPE2D 的准确率高于同一复现中的八种二维位置机制基线,但仍低于作为参照的卷积网络。
启示与展望
已展示的范围是语言模型预训练、零样本下游评测、最长 8K 的上下文扩展,以及 ViT-Tiny 规模下的 CIFAR-10 与 CIFAR-100 图像分类。
主实验只用一个随机种子,模型规模有限,增益在更大规模上有多大尚不清楚;评估的最长上下文为 8K;二维超参数的影响还需要在更大模型和数据集上研究。
