跳到主要内容
返回时间线
arXiv来源发表:

隐式神经表示改用空间局部小批量:同一套配方在六个双曲守恒律问题上把相对误差压到1.1–2.3%

核心概要

隐式神经表示通常要用散布在整个区域上的小批量训练,因为一批点若全落在一个小区域,通用网络就会失准。低秩神经表示把每层权重写成共享基与小型超网络输出系数的乘积,因此可以只用自适应网格解中某个小单元、某个时间快照内的点做一步训练。在六个双曲守恒律问题上,同一套局部训练配方达到1.1–2.3%的相对误差,参数量只有同宽度稠密网络的十分之一;在匹配规模、相同局部批次与步数下,超网络-SIREN、DeepONet 和傅里叶神经算子停在16–78%,低秩表示则为4.9%。

Source-provided article image: Spatially local mini-batching for implicit neural representations
arXiv

深度剖析

隐式神经表示可以只用空间上局部、彼此相关的小批量训练,而不必每一步都让一批点铺满整个区域。 此前的做法是让每个批次都覆盖整个区域,遇到激波、接触间断这类局部特征时,靠残差自适应采样把点移向大残差处,局部性通常做进网络结构而不是批次。 在六个用自适应网格有限体积求解器算出的双曲守恒律问题上,同一套局部训练配方把相对误差做到1.1–2.3%,而模型存储的参数量是同宽度稠密网络的十分之一。

局部步之所以可行,是因为低秩神经表示在单个小单元内的隐状态落在低维子空间附近,一步梯度只通过各层系数触及共享基。 低秩表示把每个权重矩阵写成共享基与超网络输出系数的秩乘积,超网络只输出系数,不输出权重。 在周期声学数据上,用同样的局部批次和同样的训练预算训练同规模基线,超网络-SIREN 为16.3%、傅里叶神经算子为16.0%和16.8%、DeepONet 为77–78%,低秩表示为4.9%。

局部批次并非更准的训练方式,全局批次对低秩表示同样更准,但低秩表示在局部批次下的精度损失随宽度增长保持大致不变。 同一四阶段训练流程改用每步4096个随机点后,四个阶段后误差为8.4%、2.1%、1.6%和1.4%,而局部批次为11.2%、7.3%、5.4%和4.9%。 在宽度500、1000、2000上,自适应采样下局部与全局误差之比为4.7、5.5和5.4;超网络-SIREN 的同一比值在宽度48到384上从2.8升到7.9。

启示与展望

演示范围是二维、以时间为唯一参数的双曲守恒律问题,数据来自 Clawpack/AMRClaw 三级自适应的数值解,误差在求解器自适应点上按单元面积加权计算。读者对象是需要从按区域存储的求解器输出训练代理模型的研究人员与工程师。作者明确把局部步相对全局步的实际成本节省列为未测量的开放问题。

除投影器比较外,每个结果都来自单次训练,宽度1000时不同随机种子的误差相差约一个百分点,宽度500时相差数个点,因此这一量级的单次差异无法分辨。基线比较只在一个问题上进行,只有超网络-SIREN 和低秩表示做了多宽度扫描,且每个宽度只给两个学习率。逐单元缩减在求解点少的单元上过拟合,所提补救办法已指出但未调优。作者也说明局部批次在精度上并不优于全局批次。