跳到主要内容
检索

# 词元动力学

1 篇关联报道

订阅更新
  1. arXiv

    Transformer 的 token 群体可以被主动引导:最小代价控制把整群 token 送到指定分布

    Transformer 深层堆叠中,token 在单位球面上按注意力驱动的相互作用粒子演化,token 数趋于无穷时由积分-偏微分方程描述。此前的平均场分析只刻画 token 会聚成簇或出现亚稳多簇,并不设计如何把整群 token 送到指定分布。该工作把这一过程改写为球面几何上的平均场薛定谔桥,求出最小控制代价的反馈控制,并给出推广的动态 Sinkhorn 迭代来数值求解;在圆和二维球面上的数值实验中,受控 token 分布被引导到目标构型。

已读完全部报道