采样型MPC不再每步重采轨迹:PPO-MPPI复用旧轨迹,四足与四旋翼控制逼近DIAL-MPC而耗时约为其四分之一
核心概要
采样型模型预测控制(MPC)靠反复前向仿真候选轨迹来选控制量,计算开销大。PPO-MPPI与SPO-MPPI把强化学习中的近端策略优化搬到这一框架里,用同一批已评估轨迹做多次更新,不再额外仿真。在Unitree Go2四足1.5 m/s速度跟踪上,两者平均速度约1.28–1.29 m/s,高于Vanilla-MPPI的1.006 m/s;在Skydio X2四旋翼心形路径跟踪上,SPO-MPPI平均位置误差0.0854 m,略低于DIAL-MPC的0.0866 m,而每次更新耗时约为DIAL-MPC的四分之一。
深度剖析
采样型MPC的每次规划更新都要重新生成并前向仿真一批候选控制序列,轨迹评估在高保真仿真器上主导了计算开销。 常规MPPI及其推广的预条件梯度更新在每次更新提议分布后都必须采样新轨迹,固定计算预算内可做的优化迭代因此受限。 在Unitree Go2四足以1.5 m/s跟踪机体前向速度时,PPO-MPPI与SPO-MPPI的平均速度分别为1.2887和1.2802 m/s,Vanilla-MPPI为1.0056 m/s,而两者计算时间0.0334 s与Vanilla-MPPI的0.0321 s接近。
做法是把轨迹优化写成对开环控制序列分布的KL正则化自由能最小化,再用同一批已评估轨迹多次改进该分布。 方法借用强化学习中的性能差恒等式,定义带符号的指数优势函数,把自由能下降写成在当前采样分布下的优势加权期望。 PPO-MPPI用似然比裁剪构造替代目标,SPO-MPPI改用对似然比偏离的二次惩罚;两者在固定协方差高斯采样下给出种群层面的单调改进保证,PPO-MPPI还证明收敛到一阶驻点。
在四旋翼路径跟踪上,复用轨迹的两种方法把每次MPC更新的计算时间压到DIAL-MPC的约四分之一。 DIAL-MPC要做五级轨迹退火,而PPO-MPPI与SPO-MPPI把采样预算用于对同一批轨迹的多次优化更新。 Skydio X2跟踪宽、定高、周期给定的心形参考轨迹时,PPO-MPPI平均位置误差0.1012 m、SPO-MPPI为0.0854 m,DIAL-MPC为0.0866 m;两者每次更新约0.0217–0.0218 s,DIAL-MPC为0.0811 s。
启示与展望
演示范围限于仿真中的两个任务:Unitree Go2四足以1.5 m/s跟踪机体前向速度,以及Skydio X2跟踪心形参考路径,所有轨迹在MJX上用单块GPU并行仿真,每个采样阶段评估1024条轨迹。理论结论限定在种群层面,收敛到一阶驻点的证明还要求固定协方差的高斯采样分布。
单调改进保证是种群层面的,不覆盖有限样本下的蒙特卡洛估计误差;收敛结论依赖固定协方差高斯采样与代价有界等假设。裁剪在似然比越过阈值后梯度消失,可能允许较大分布偏移,SPO-MPPI的二次惩罚正是为抑制这一点而引入。实验只报告仿真结果。
