线性循环记忆的序信息有了代数判据:HyperSSM用四元数通道在32生成元群任务上保持精确
核心概要
线性循环记忆能否记住输入顺序,取决于其转移矩阵所在的数系。此前高效并行扫描依赖对角化,实数与复数转移彼此可交换,状态只记录出现过哪些输入而不记录先后。HyperSSM在通道中加入四元数块,保持线性时间推理与并行训练,在32个生成元的群任务上以最多五个状态数精确求解,并在比训练长25倍的序列上保持精确。
深度剖析
线性循环记忆的状态更新构成输入序列幺半群的一个线性表示,因此一个通道能否在任意长度上追踪某个群,取决于该群是否为其转移矩阵所生成群的商群。 此前的分析每次先固定一族转移矩阵再问它能做什么,例如复对角层与阿贝尔堆叠;这里反过来先问任务需要哪类记忆。 该判据对任意结合代数上的通道成立,复对角层此前的深度定理成为其在复通道上的特例。
每个这样的记忆都能分解为实数、复数与四元数上的独立块,因此保序通道的转移至少需要四个实维度。 对角SSM中所有转移可交换、可同时对角化,记忆分裂为一维通道;转移不可交换时无法对角化,但仍可块对角化。 酉矩阵、Householder乘积、置换矩阵与旋转等此前分别研究的转移族,都成为这三类块的特例。
HyperSSM让每个通道各自选择数系,四元数通道的输入同时决定旋转轴与角度,其余部分与Mamba的选择性SSM相同。 实数与复数乘法可交换,重排步骤不改变状态,任何读出都无法恢复顺序;四元数乘法不可交换。 所有通道共用同一个并行扫描,线性时间推理与并行训练的计算量不变,四元数乘积的代价是16次实数乘法,复数则为4次。
在形式语言与群基准上,HyperSSM用一至五个状态数达到精确,包括五个对象置换群在32个生成元下的情形。 同一设置下PD-SSM(128个复数)准确率为1.07%,Gated DeltaProduct为1.23%,接近0.83%的随机水平。 模型只以最终答案为监督,不获得任务群的信息,并在比训练长25倍的序列上保持精确。
启示与展望
理论覆盖线性递推、有界转移与连续读出,实验限于形式语言与群基准、BROAD陀螺仪数据、单量子比特门序列以及蛋白质骨架的扭转角表示。
衰减与噪声下的定量理论、下层取连续值时的深度上界、向重置与全部正则语言的扩展,以及这类通道与注意力混合的大模型中可读性是否保留,都仍是未解问题;模算术任务中虽存在三个数的精确记忆,梯度下降并未找到它。
