跳到主要内容
返回时间线
arXiv来源发表:

MPPI的探索协方差不只是搜索:它同时决定闭环反馈增益,探索太小会让倒立摆失稳

核心概要

带热启动的模型预测路径积分(MPPI)控制中,探索协方差不仅决定采样范围,还决定闭环反馈增益。在线性二次问题、样本数趋于无穷时,探索过小会让MPPI几乎重复上一时刻的解,无法稳定指数不稳定的被控对象;同一协方差又压低有效样本数,使稳定性与样本效率形成结构性冲突。为此提出的稳定子空间MPPI(SS-MPPI)只对稳定所需方向解析计算、其余方向采样,在倒立摆和四足机器人仿真中于小探索、少样本下保持稳定。

Source-provided article image: Exploration as Feedback in Model Predictive Path Integral Control
arXiv

深度剖析

带热启动的MPPI中,探索协方差同时充当闭环反馈增益,因此探索不足本身就能让闭环失稳,而不只是让解偏向上一时刻的控制序列。 此前的稳定性分析把较小的探索协方差只当作对热启动解的偏置,并要求低温和足够样本;探索过少是否会破坏闭环稳定一直没有定论。 在线性二次问题、样本数趋于无穷的极限下,MPPI的更新可写成热启动名义序列与精确MPC解之间的插值,插值权重由探索协方差决定;倒立摆线性化上扫描探索方差,MPPI只在阈值以上稳定,而谱半径与有效样本数上界的计算与蒙特卡洛估计相差不超过百分之一。

稳定所需的大探索与样本效率所需的小探索由同一个协方差承担,因此二者冲突是结构性的,增加样本或调温度都无法化解。 此前把探索协方差视为单次更新的自由超参数,分别研究更新质量与所需样本数,没有把跨时间步的反馈作用与推断效率放在同一框架里。 对线性二次问题,归一化有效样本数的上界用反馈增益表示,温度只以协方差尺度的形式进入闭环与上界;倒立摆上MPPI的有效样本数在阈值处降到一半以下,而按协方差整形的CoVO-MPC把阈值放大约十倍。

SS-MPPI把控制序列中稳定所需的方向解析计算、其余方向继续采样,从而在小探索下保持闭环稳定并让有效样本数接近一。 此前的采样加计算方案由设计者、代价或模型决定计算哪一部分,SS-MPPI改由被控对象与热启动构成的闭环稳定性来选择计算子空间。 倒立摆上只计算第一个输入就让SS-MPPI在整个扫描范围内稳定、有效样本数高于一半;Unitree Go2在Genesis中以1 m/s前行时,站立构型线性化选出前两个输入块,SS-MPPI在测试的每个方差下都能行走,并在减少样本时保持约原距离。

启示与展望

结论的严格部分针对线性二次问题、样本数趋于无穷的极限;非线性情形只在平衡点附近给出指数吸引不动点的命题,四足机器人以1 m/s前行的结果来自Genesis仿真,稳定子空间与终端权重取自站立构型的线性化。

非线性扩展的稳定性保证只在平衡点附近成立,行走时没有固定平衡点,因此四足结果属于仿真中的经验验证;非二次代价下加权样本均值未必是最小值点,不动点可能偏离原点。