自注意力被写成多体物理的Dyson方程:分形节面不再被平均场抹平
核心概要
自注意力层被重新表述为实空间中的Dyson迭代,其softmax核充当两体自能,而DeepSets的对称求和池化只对应Hartree平均场。在拟合分形回流行列式时,DeepSets把节面抹成平滑包络,自注意力则恢复了嵌套分形口袋。近距离探针处,精确的非对角速度雅可比范数为123,自注意力给出125,DeepSets在约8处饱和。
深度剖析
对称求和池化与自注意力被放进同一个两体Dyson方程框架:前者是均匀权重1/N的Hartree平均场,后者是权重随状态变化的非局域两体自能。 此前DeepSets类池化在原子间势上能达到亚meV精度,却难以处理关联波函数与激发态,这一差别缺少统一的物理解释。 在分形回流行列式上,DeepSets把节面塌缩为平滑的平均场包络,换成PsiFormer式自注意力层后,嵌套分形口袋与偶极FTLE玫瑰图样同时恢复。
自注意力把每个粒子的查询与所有键的内积经softmax归一化,得到随状态变化的两体核,再据此加权传递值向量。 DeepSets把每个粒子的值向量做全局平均,所有粒子共享同一个背景势,非对角雅可比按1/N衰减。 在N=6、二维、开边界的热Slater行列式设定中,探针粒子与环上粒子距离rij=0.05时,精确非对角速度雅可比范数为123,自注意力拟合为125,DeepSets在rij<0.8时饱和在约8。
启示与展望
演示范围是一个N=6、二维、开边界的热Slater行列式,目标为强分形回流行列式,两个模型共享相同编码器与解码器,自注意力版本为H=4头、dk=32。文中把结论外推到双索引紧束缚与Kohn–Sham哈密顿量矩阵元、以及激发态交叉的多态哈密顿量,作为下一步方向而非已验证结果。
分形回流波函数本身是依据标度论证提出的候选形式,并未构造对应的哈密顿量。定量对照只在单一N=6开边界设定上完成,自注意力在远距离观察者处给出0.021,而精确值为0.070。稠密自注意力的O(N²)开销被解释为未屏蔽成对相互作用的固有代价。
