跳到主要内容
返回时间线
arXiv来源发表:

非线性系统辨识不再挑激励信号:强化学习智能体自己学会填满状态空间

核心概要

非线性系统辨识的激励信号设计此前依赖预设信号类别和逐次优化,且主要面向线性模型的最小化参数方差。这里把空间填充输入设计改写为强化学习问题,智能体按系统观测逐步给出受幅值约束的输入,无需选择输入类别或调频率带。在非线性弹簧-质量-阻尼与Van der Pol两个基准系统上,同一幅值界内学到的策略取得最佳整体空间填充表现,样本分布比现有空间填充多正弦设计更均匀。

Source-provided article image: A Reinforcement Learning Approach to Space-Filling Input Design for Nonlinear System Identification
arXiv

深度剖析

激励信号不再从预设的信号类别里挑,而是由智能体根据系统当前观测逐步生成,幅值界在构造上即被满足。 此前的空间填充方法依赖预先定义的输入信号类别,需要为具体系统求解显式优化问题,并且每换一组初始条件就要重新优化。 在非线性弹簧-质量-阻尼系统和Van der Pol振荡器两个基准上,与调好频率范围的扫频正弦、波峰因数优化多正弦以及Kiss等人的空间填充多正弦设计比较,学习到的策略在两个系统上都取得最佳整体空间填充表现。

智能体把状态空间划成网格,每进入一个从未访问的格子就得到奖励,重复访问只给较小的回看奖励。 奖励由新颖性奖励和回看奖励两部分组成,前者直接对应覆盖目标,后者在未到达新区域时保持反馈信息量。 训练用近端策略优化,在并行环境中运行,智能体观测当前状态、上一状态、上一动作以及访问张量的压缩表示,访问张量由离线训练的自编码器压缩到低维。

学到的输入呈现有物理含义的形态,在机械系统上表现为共振激励加幅值调制,在Van der Pol系统上表现为一次长幅值衰减。 基线方法只调整预先选定信号类别的参数,而智能体自行决定激励的形态并适配到每个系统。 机械系统上学习输入的域覆盖率为71.72%,变异系数0.52,低于其余三种输入;Van der Pol系统上覆盖率为30.46%,变异系数1.28,为四者最低。

启示与展望

演示范围限于两个二状态非线性基准系统的仿真:带非线性刚度的弹簧-质量-阻尼系统和Van der Pol振荡器,输入幅值限制在连续区间内,设计在离线阶段用精确系统方程完成。

设计阶段用精确系统方程替代了替代模型,以隔离输入设计问题与替代模型误差;从各输入生成的数据集辨识非线性模型并比较独立验证信号上的预测误差,以及在有模型失配和测量噪声时把学到的输入用于真实系统,都留待后续工作。