神经控制李雅普诺夫函数改由结构保证正定,倒立摆上PLNet取得最大认证吸引域
核心概要
对已知的非线性离散时间系统,控制器与控制李雅普诺夫函数可以联合训练,而候选函数的正定性不再靠训练样本上的惩罚维持。输入凸神经网络和Polyak-Łojasiewicz网络(一类带上下二次界、因而按构造正定的网络)直接满足正定与径向无界,只剩闭环下降条件需要形式化验证。在倒立摆与路径跟踪两个基准上,PLNet在倒立摆取得最大的基础与扩展认证吸引域,五个种子都只经一轮认证即通过。
深度剖析
控制器与李雅普诺夫函数仍联合训练,但候选函数的正定性和径向无界性改由网络结构直接保证,不再依赖训练时的范数或二次项惩罚。 此前的做法多在训练中通过显式范数项或二次项鼓励正定,再对全部李雅普诺夫条件做形式化验证。 倒立摆上PLNet取得所有架构中最大的基础与扩展认证吸引域,五个种子下PLNet与二次型基线都只需一轮认证;ICNN-L2是唯一有一个种子未能认证训练区域的架构。
验证环节把混合整数线性规划推广到混合整数二次规划,以覆盖输出含二次项的网络,并在不重新训练的前提下逐环扩大已认证区域。 此前的离散时间神经李雅普诺夫控制用混合整数线性规划验证,难以直接处理二次型李雅普诺夫函数。 ICNN-L2、PLNet与二次型基线用混合整数二次规划验证,ICNN-L1、MLP与MLP-ReLU-L1用混合整数线性规划验证,求解器为CPLEX 22.2.0.0,每次运行限时15分钟。
训练分三阶段推进:控制器先模仿线性化系统上的LQR控制器,再单独训练李雅普诺夫函数,最后联合训练并送入验证器。 从随机初始化直接联合训练控制器与李雅普诺夫函数常常无法收敛,因为随机初始化的MLP控制器高度非线性、可能使闭环不稳定。 两个基准各用五个种子(11至15)评估六种参数化,控制器统一为177个参数的MLP,PLNet、ICNN与MLP候选分别有342、323和321个可训练参数。
启示与展望
演示范围限于两个已知动力学的低维离散时间基准:倒立摆和路径跟踪,采样时间均为0.05秒,验证在训练域划分出的超矩形单元上逐块进行。验证刻意排除原点附近的小邻域,因此给出的是实际稳定性保证,而非原点的渐近稳定性。
PLNet的单调性常数与Lipschitz常数之比会影响子水平集的各向同性和认证吸引域大小,测试中最小的比值在两个系统上都给出最大吸引域,但约束过紧可能限制网络表达能力,导致训练或验证失败。路径跟踪上二次型基线的最大扩展吸引域反而超过所有神经候选,说明结构优势并不在所有指标上一致。
