给注意力加一条段落坐标后,真实段落比随机标签压得更深,但深度随语料变化且无语料统计量能完全复现
作者用分层旋转位置编码(hRoPE)把段落、句子、词元索引拆成独立通道,在固定词元序列的前提下干预段落坐标,并用与词元距离精确匹配的估计量测量跨段落注意力,发现三个语料中注意力都被压缩,但密度匹配的随机标签通道同样被压缩,真正区分真实结构的是压缩深度——真实结构更深且随语料变化,而随机对照不随语料变化;比较词法持续性、段落长度与基于嵌入的连贯性三类共八个语料统计量,没有一个能完全复现深度的跨语料排序,其中基于嵌入的连贯性最接近。