自注意力被写成多体物理的Dyson方程:分形节面不再被平均场抹平
自注意力层被重新表述为实空间中的Dyson迭代,其softmax核充当两体自能,而DeepSets的对称求和池化只对应Hartree平均场。在拟合分形回流行列式时,DeepSets把节面抹成平滑包络,自注意力则恢复了嵌套分形口袋。近距离探针处,精确的非对角速度雅可比范数为123,自注意力给出125,DeepSets在约8处饱和。
自注意力层被重新表述为实空间中的Dyson迭代,其softmax核充当两体自能,而DeepSets的对称求和池化只对应Hartree平均场。在拟合分形回流行列式时,DeepSets把节面抹成平滑包络,自注意力则恢复了嵌套分形口袋。近距离探针处,精确的非对角速度雅可比范数为123,自注意力给出125,DeepSets在约8处饱和。
已读完全部报道