跳到主要内容
返回时间线
arXiv来源发表:

双向对数线性注意力补上序列起点:MQAR均值从76.37%升到96.12%,6144 token检索均值翻近一倍

核心概要

对数线性注意力把越早的上下文压得越粗,靠近查询的位置才保留细粒度摘要。双向对数线性注意力在原有Fenwick层级之外再加一条以序列起点为锚的层级,让早期与近期上下文都获得更细的读取。在深度与隐藏宽度对齐的MQAR上,十个训练种子的平均总体测试准确率由76.37%升到96.12%;近似参数匹配下,6144 token的六项RULER-NIAH均值由26.97%升到50.03%。

AI-generated editorial illustration: Bilateral Log-Linear Attention

深度剖析

双向对数线性注意力在原有层级之外增加一条以序列起点为锚的因果层级,使同一段因果前缀在早期和近期两端都能被更细地读取。 此前的对数线性注意力只保留Fenwick层级,近期token分到小桶、早期token并入越来越大的桶,早期关联因此共享更粗的摘要。 在深度与隐藏宽度对齐的MQAR上,十个训练种子的平均总体测试准确率由前向对数线性注意力的76.37%升到96.12%。

新增分支用固定层级把源位置按几何增长的桶分组,每个桶存一个固定维度的矩阵状态,写入时乘一个由输入决定的标量门。 反向分支没有进位合并和时间衰减,解码时只更新一个层级的状态,读取可见层级则按对数代价进行。 两条分支的读取各自做无仿射的RMS归一化,再由依赖层输入的softmax路由器按头混合;在近似参数匹配、6144 token的六项RULER-NIAH上,均值由26.97%升到50.03%。

两条分支共享查询、键和基础值特征,合并后的机制在固定特征维度与块大小下保持对数线性注意力的渐近开销。 新增层级只以常数因子增加计算与持久状态存储,训练与预填充仍为对数线性工作量,解码每token为对数工作量。 近似参数匹配下,双向注意力在八项下游检索任务中的七项优于前向对数线性注意力,检索均值为25.16%对21.63%。

启示与展望

评估覆盖512 token的合成多查询关联召回、约10B token预训练的6144 token块语言模型,以及2048、4096、6144三种长度的六项RULER-NIAH和八项下游检索任务;所有长度都在训练块长度之内。

在六项LM-Eval推理任务上,双向注意力的平均分为41.51%,层匹配的前向对数线性注意力为42.23%,近似参数匹配的为41.26%,推理任务得分呈混合变化而非一致提升;Transformer在RULER-NIAH与下游检索的总体分数上仍更高。