跳到主要内容
返回时间线
arXiv来源发表:

神经算子按输入省算力未必更快:共形校准选模数或通道,实测延迟几乎不动

核心概要

神经算子对每个输入使用相同的傅里叶模态数和通道宽度,按输入削减计算量本应省时。研究用共形校准在固定误差预算下为每个输入选择模态数或通道宽度,并给出同时覆盖所有候选的误差包络。在Burgers与Darcy流上,模态截断没有带来可测的延迟下降,因为全网格变换和逐点通道混合主导开销;收窄通道能降低Darcy前向成本,但基于参考的选宽必须先算稠密预测,而仅用输入的二元路由虽避开这一遍,匹配的静态宽度往往同样快或更快。

Source-provided article image: Conformally Calibrated Adaptive Computation in Neural Operators
arXiv

深度剖析

按输入减少神经算子的计算量,并不等于缩短推理时间;这一差距在傅里叶神经算子上被直接测量出来。 傅里叶神经算子对每个输入使用同一套谱带宽和通道宽度,而不同偏微分方程实例的复杂度差别很大。 在Burgers上截断模态数后,批大小1和20的扫描都没有可测的延迟下降;Darcy在批大小20下从12个模态减到2个,实测延迟只降低0.7%,批大小1时差0.3%。

选择规则把误差控制与执行时间分开处理:先用共形校准给出误差保证,再单独核算参考前向、打分、分发和候选推理的完整耗时。 此前的自适应算子工作多改变谱计算或参数成本,并不按预设误差容限为每个输入挑选模态或通道预算。 三角不等式包络在Burgers上覆盖99–100%的评估样本,保留31–55%的训练模态;直接分数规则以更小的支撑换取覆盖,Burgers为83–99%,Darcy为85.4–93.1%。

仅用输入的二元宽度路由避开了稠密预测这一遍,完整流水线在批大小64的Darcy上达到稠密延迟的0.466–0.887倍。 基于参考的选宽必须先计算稠密预测,因此每个输入都要额外付出这一遍成本。 在单独生成的1000例Darcy测试集上,匹配的静态宽度在八个可行嵌套单元中覆盖全部高于路由,独立模型比较中九个单元有六个更高。

启示与展望

结论覆盖测试所用的FNO架构、Burgers与Darcy两个基准、批大小1至128以及单块RTX A6000;覆盖率在各自固定网格上按绝对误差计算,不代表跨分辨率的函数空间覆盖。作者提出,更高分辨率的二维问题、三维或含时PDE,以及融合的仅输入路由,是检验谱收缩占比是否上升的下一步。

分裂共形保证在标定抽样与部署抽样上取平均,624个标定样本下单次拟合策略的覆盖率可能比目标低几个百分点;在分布偏移压力测试中,Burgers黏度改变和Darcy系数扩到1–1000时覆盖率降到0%,此时全模型自身误差已远超标定分位数,增加支撑或宽度都无法恢复精度。