双向对数线性注意力补上序列起点:MQAR均值从76.37%升到96.12%,6144 token检索均值翻近一倍
对数线性注意力把越早的上下文压得越粗,靠近查询的位置才保留细粒度摘要。双向对数线性注意力在原有Fenwick层级之外再加一条以序列起点为锚的层级,让早期与近期上下文都获得更细的读取。在深度与隐藏宽度对齐的MQAR上,十个训练种子的平均总体测试准确率由76.37%升到96.12%;近似参数匹配下,6144 token的六项RULER-NIAH均值由26.97%升到50.03%。
对数线性注意力把越早的上下文压得越粗,靠近查询的位置才保留细粒度摘要。双向对数线性注意力在原有Fenwick层级之外再加一条以序列起点为锚的层级,让早期与近期上下文都获得更细的读取。在深度与隐藏宽度对齐的MQAR上,十个训练种子的平均总体测试准确率由76.37%升到96.12%;近似参数匹配下,6144 token的六项RULER-NIAH均值由26.97%升到50.03%。
已读完全部报道