跳到主要内容
返回时间线
arXiv来源发表:

等变注意力跑上512块GPU:Tessera把分子动力学推到3070万原子,弱扩展效率89.7%

核心概要

消息传递等变Transformer能越过单一截断传播信息,但此前公开系统最多只做到数十块GPU。IQuest Research的Tessera把原子按空间填充曲线排序后等数切分,使每块GPU张量形状固定、可整段捕获为CUDA Graph,在512块GPU上以89.7%弱扩展效率维持3070万原子的完整力评估步,并在1024万原子盐溶液上把能量漂移控制在0.42 μeV/atom/ps。

Source-provided article image: Ab Initio Accuracy Beyond the Cutoff: Distributed Message-Passing Equivariant Attention at Tens-of-Millions-of-Atom Scale
Fig. 1 · arXiv · 第 2 页

深度剖析

分子动力学要在千万原子规模上保留从头算精度,难点不在浮点吞吐,而在每层注意力都要跨设备交换边界特征,且邻居图随原子移动不断改变形状。 严格局域的机器学习力场把每个原子的能量限制在自身截断球内,信息不沿分子图传播;等变消息传递模型靠堆叠层把感受野扩到23 Å,但此前公开系统最多只到数十块GPU。 在512块H100上,Tessera维持3070万原子的完整力评估步,弱扩展效率89.7%;机器与问题规模同增16倍时,单步时间只上升1.11–1.29倍。

做法是把原子坐标量化到空间填充曲线上排序,再按等原子数切成连续分段,一段对应一块GPU。 等体积网格把每块GPU的邻居限制在27个格子内,但原子数随密度漂移,张量形状随之改变;忽略几何的等数切分则让邻居退化到接近全部GPU。 在每GPU 2.5万原子下,最重的GPU在64、128、256、512块GPU时分别向6、11、14、19个源GPU请求候选,设备数增8倍只让邻居数增3.2倍;配合0.5 Å的保守邻居皮肤,十步中有九步复用拓扑,整个重建区间的前向与反向作为一个CUDA Graph重放。

启示与展望

演示范围是H100集群上32至512块GPU的弱扩展、每GPU 1万至6万原子,以及256块A100上1024万原子KCl溶液和1006万原子诺如病毒衣壳的轨迹;这些是吞吐、稳定性与结构检查,模型本身的精度另行确立。

作者指出邻居数仍随设备数上升,元数据全收集是下一个增长项;组合得到的15.7倍邻居开销降幅是上界而非实测加速;6万原子/GPU那一点额外启用了激活重算,不与1万到2.5万的趋势严格可比;达到ns/day量级仍留待后续工作。