线性循环记忆的序信息有了代数判据:HyperSSM用四元数通道在32生成元群任务上保持精确
线性循环记忆能否记住输入顺序,取决于其转移矩阵所在的数系。此前高效并行扫描依赖对角化,实数与复数转移彼此可交换,状态只记录出现过哪些输入而不记录先后。HyperSSM在通道中加入四元数块,保持线性时间推理与并行训练,在32个生成元的群任务上以最多五个状态数精确求解,并在比训练长25倍的序列上保持精确。
线性循环记忆能否记住输入顺序,取决于其转移矩阵所在的数系。此前高效并行扫描依赖对角化,实数与复数转移彼此可交换,状态只记录出现过哪些输入而不记录先后。HyperSSM在通道中加入四元数块,保持线性时间推理与并行训练,在32个生成元的群任务上以最多五个状态数精确求解,并在比训练长25倍的序列上保持精确。
已读完全部报道