位置编码多了一条卷积路线:ConvPE 给注意力分数加窗口偏置,8K 上下文困惑度低于 RoPE-8K
ConvPE 把位置信息注入到注意力分数上:先对隐状态做低维投影,再用因果卷积生成随内容变化的窗口偏置,窗口之外的偏置严格为零。在 FineWeb-Edu-10BT 前 3B token 上从头预训练时,它的训练损失低于 RoPE 基线,达到基线最终损失所需 token 更少;扩展到 8K 上下文后,ConvPE-8K 的困惑度低于 RoPE-8K 与 YaRN。
ConvPE 把位置信息注入到注意力分数上:先对隐状态做低维投影,再用因果卷积生成随内容变化的窗口偏置,窗口之外的偏置严格为零。在 FineWeb-Edu-10BT 前 3B token 上从头预训练时,它的训练损失低于 RoPE 基线,达到基线最终损失所需 token 更少;扩展到 8K 上下文后,ConvPE-8K 的困惑度低于 RoPE-8K 与 YaRN。
已读完全部报道