变压器不再为每个动力系统重解反问题:一次预训练,参数估计与轨迹预测共用同一套计算
核心概要
对由未知参数决定的一族常微分方程,预训练后的变压器可以在不更新权重的情况下,仅凭新系统少量含噪轨迹观测同时给出参数估计与轨迹预测。理论构造把估计写成两阶段近似最大似然:先在参数空间粗搜索落入局部强凸区域,再用梯度下降线性收敛;预测则把该估计代入解映射的神经网络近似。误差界把有限观测、有限预训练任务、上下文长度与变压器规模分开,数值实验显示推理上下文变长时误差下降后趋于平台。
深度剖析
预训练变压器被证明能对参数化常微分方程做上下文内参数估计与轨迹预测,且估计问题一般是非凸的。 此前的变压器上下文学习理论主要针对凸统计问题模拟梯度类算法,或只给出不利用统计结构的通用函数逼近保证。 在可辨识性与正则性假设下,构造出的变压器从含噪轨迹观测中恢复参数,恢复误差界同时分出有限观测的统计误差、灵敏度量的近似误差与有限步梯度下降的优化误差。
实现方式是把两阶段近似最大似然装进变压器:先粗搜索定位,再局部梯度下降。 粗搜索在参数空间的有限网格上比较经验损失,把初值放进总体风险局部强凸的邻域,从而绕开全局凸性要求。 前馈网络承担解映射与灵敏度量的近似和标量运算,注意力在各观测 token 之间汇总经验损失与梯度贡献;预测时在恢复参数与查询时刻上评估解映射近似,联合模型复用同一估计计算,模型规模与单独预测构造同阶。
启示与展望
讨论范围限于前向映射形式已知、参数在紧集内、观测为高斯噪声且观测时随机采样的参数化常微分方程族;理论结论针对构造出的变压器与近似经验风险最小化器,数值实验使用四个有显式解的方程族,其中出生-死亡系统按可辨识参数组合评估。
预训练保证是在新任务观测数固定的条件下建立的,而实验中固定训练上下文长度的网络能在更长推理上下文上获益,这一现象尚无解释;实验曲线趋于平台,说明单独增加预训练任务数或观测数未必消除剩余误差,且实验未隔离非凸性与可辨识性的各自影响。
