5吨滑移装载机学会两轮特技:强化学习策略在真实机器上完成举升、平衡与越障
核心概要
一台5吨重的John Deere 332G滑移装载机在仿真中训练出强化学习策略,迁移到真机后能靠前后摆动把车身举上前轮、在两轮上保持平衡并跟踪速度指令。与模型预测控制基线相比,两者在静止平衡和速度跟踪上表现相当,但基线在超过3.5的目标速度下失稳,也无法通过75毫米高的起伏地形,而学习策略可以。整套方法不依赖预先的机器模型,而是先用实测数据训练执行器网络来缩小仿真与现实的差距。
深度剖析
一台整机重5吨的John Deere 332G滑移装载机可以在无人操作下完成此前只有少数顶尖操作员在世界纪录表演中做到的动作:靠前后摆动积累动量把车身举到两个前轮上,并在两轮姿态下行驶、转向和旋转。 此前的强化学习与仿真到现实迁移多用于静态稳定的重型机械任务,例如用冲击锤破岩、自适应挖掘和液压挖掘机臂整平;涉及欠驱动平衡和频繁接触切换的高动态动作则留给基于模型的控制。 真机实验显示,摆动举升控制器在训练中出现过的臂架配置下可靠完成动作;当臂架高于训练范围时,14次试验中有3次铲斗触地。
控制策略完全在仿真中训练,不需要专家示范,也不需要事先的机器专用模型;仿真由刚体模型和一个从真机数据学出的执行器网络组成,后者负责复现液压驱动的延迟与非线性。 液压执行器含有流体、柔性管路和明显延迟,从第一性原理建模既费力又难以准确,而模型误差会直接破坏仿真到现实的迁移。 执行器网络以控制输入和轮速的历史为输入预测下一时刻轮速,训练数据来自幅值最高达最大指令100%、总计1.5的阶跃、正弦、斜坡和零输入序列,随后又加入20的平衡过程数据。
在平衡状态下,学习策略能跟踪最高到训练上限的速度指令,并在只训练过平坦地面的情况下驶过75毫米高的起伏;模型预测控制基线在超过3.5的速度下向前倒到铲斗或向后倒到后轮。 模型预测控制此前在液压系统的轨迹跟踪和振动控制上表现良好,但面对接触切换和非凸优化时需要针对具体任务手工扩展模型。 在旋转指令测试中,学习策略在最大转速下仍保持平衡但振荡加大,基线在高速旋转时振荡更小;在起伏地形上基线保持平衡却无法通过,即使提高目标速度也不行。
启示与展望
演示范围是一台John Deere 332G滑移装载机和一台Super Mega Bot电动平台,动作由四个分别训练的子技能按手工设定的切换条件组合而成;作者提出可用分层强化学习替代切换逻辑,并把激光雷达或相机感知列为未来方向。
作者把真机与仿真之间残留的差距归因于平衡俯仰角平均小2度、臂架扰动下振荡幅度低于仿真等现象;臂架高于训练范围时出现的铲斗触地被归因于系统惯量增大。
