跳到主要内容
返回时间线
arXiv来源发表:

Transformer 的 token 群体可以被主动引导:最小代价控制把整群 token 送到指定分布

核心概要

Transformer 深层堆叠中,token 在单位球面上按注意力驱动的相互作用粒子演化,token 数趋于无穷时由积分-偏微分方程描述。此前的平均场分析只刻画 token 会聚成簇或出现亚稳多簇,并不设计如何把整群 token 送到指定分布。该工作把这一过程改写为球面几何上的平均场薛定谔桥,求出最小控制代价的反馈控制,并给出推广的动态 Sinkhorn 迭代来数值求解;在圆和二维球面上的数值实验中,受控 token 分布被引导到目标构型。

Source-provided article image: Mean-field Token Steering
arXiv

深度剖析

token 群体在层深方向上的演化现在可以被主动引导:给定初始与目标 token 分布,存在一条最小控制代价的受控轨迹,把整群 token 从前者送到后者。 此前的平均场 token 动力学研究只做分析,指出长期会形成单一簇、中间时刻出现部分聚簇的亚稳现象,并未设计把分布推向指定构型的修正。 在圆与二维球面上的数值实验中,受控密度快照与目标分布重合,按受控动力学模拟的 token 也向目标分布的模态集中。

实现方式是给注意力诱导的平均场速度叠加一个切于球面的修正速度场,控制代价按该速度场的动能对时间和 token 群体积分。 这一修正被表述为球面几何上的平均场薛定谔桥,与扩散生成模型中常见的标准薛定谔桥不同,它同时带有非局部注意力漂移和球面约束。 最优控制与最优边际流由一组非线性耦合的积分-偏微分方程及双线性边界条件确定,该结构在圆和二维球面两个设定下都被用于计算。

求解这组耦合方程用的是推广的动态 Sinkhorn 迭代,即迭代比例拟合算法。 标准薛定谔桥的方程是线性的,动态 Sinkhorn 递归可直接使用;注意力带来的非局部项使方程变为非线性,原有递归不能照搬。 算法采用内外两层不动点迭代,内层固定边际流后求解线性 Kolmogorov 方程并施加端点密度,外层更新边际流,以 Hilbert 射影度量判断收敛;实验在圆和二维球面上各做一次单峰到双峰的引导。

启示与展望

讨论范围限于平均场极限下、层深连续化、采用归一化自注意力的 token 分布演化,数值演示只在圆和二维球面上进行,任务是单峰分布到双峰分布的引导。

数值上只展示了局部收敛,收敛性的证明仍是进行中的研究;把该控制落实为在有限层上做稀疏干预、以及扩展到有限 token 数、离散层深和多头注意力,都还是待研究的方向。