跳到主要内容
返回时间线
arXiv来源发表:

系统辨识不再逐条重跑:扩散模型训练一次,记录长五倍仍保住状态精度

核心概要

贝叶斯系统辨识要从测量记录中推断动力系统的隐藏状态与参数,传统粒子马尔可夫链蒙特卡洛方法每来一条新记录、换一种任务都要重跑。这里把隐马尔可夫模型下的系统辨识当作一般贝叶斯反问题,用一次训练的条件扩散模型近似状态与参数的联合后验,部署时只改条件掩码即可完成联合推断、状态平滑、参数推断或补全缺失测量。在四个基准系统上,训练片段五倍长的记录上状态精度保持不变,而稠密注意力的 Simformer 基线状态误差可增长十倍以上。

Source-provided article image: Conditional Diffusion Models for Amortized Bayesian System Identification
arXiv

深度剖析

一个训练好的条件扩散模型可以同时给出动力系统隐藏状态与参数的联合后验,并在不重新训练的情况下换用不同推断任务、不同长度的测量记录。 此前的粒子马尔可夫链蒙特卡洛类方法必须为每条新记录、每种任务和每种缺失测量模式重新运行整条推断流程,且成本随状态维度和记录长度增长。 在四个基准系统上,同一模型在潜变量系统上既完成全测量条件下的联合推断,也完成连续测量被删除后的补全,补全的后验带覆盖真实轨迹。

模型把参数、隐藏状态、测量和输入当作不同类型的词元,用马尔可夫注意力掩码只保留隐马尔可夫模型分解所规定的直接依赖,因此记录变长时每个状态的直接邻域不变。 Simformer 只区分参数与数据,不区分隐藏状态,稠密注意力让每个词元关注所有其他词元,成本随记录长度二次增长。 在 lrw 与 dw 上分别训练马尔可夫掩码与稠密注意力、旋转位置编码与高斯傅里叶嵌入及无时间编码的全部组合,状态误差在马尔可夫掩码下几乎不随记录变长而上升,在稠密注意力下则上升。

时间只用词元之间的相对差编码,模型因此在短片段上训练、在完整记录上部署。 绝对时间的高斯傅里叶嵌入在超出训练轨迹长度的记录上要外推到训练中未出现的时间。 在 lrw 上,部署记录长度从训练长度延伸到五倍时,模型状态误差保持平稳,而稠密注意力 Simformer 基线的状态误差增长十倍以上。

启示与展望

演示范围限于四个基准系统,状态均以方差为 1 的高斯噪声测量,参考后验可得;推断目标为隐马尔可夫状态空间形式下的联合后验,部署记录最长到训练片段长度的五倍。

参数后验不会随记录变长而收窄,因为模型只在训练窗口内学会汇总参数证据;在训练长度上,即使训练预算扩大八倍,参数误差仍约为 pmmh 的两到五倍;五掩码混合与随机掩码在联合推断上区间重叠,混合掩码对其他任务是否有帮助尚待检验。