跳到主要内容
检索

# 注意力压缩深度

1 篇关联报道

订阅更新
  1. arXiv

    给注意力加一条段落坐标后,真实段落比随机标签压得更深,但深度随语料变化且无语料统计量能完全复现

    作者用分层旋转位置编码(hRoPE)把段落、句子、词元索引拆成独立通道,在固定词元序列的前提下干预段落坐标,并用与词元距离精确匹配的估计量测量跨段落注意力,发现三个语料中注意力都被压缩,但密度匹配的随机标签通道同样被压缩,真正区分真实结构的是压缩深度——真实结构更深且随语料变化,而随机对照不随语料变化;比较词法持续性、段落长度与基于嵌入的连贯性三类共八个语料统计量,没有一个能完全复现深度的跨语料排序,其中基于嵌入的连贯性最接近。

已读完全部报道