训练时用集中式安全滤波器,部署时拆掉:三机训练的策略零样本扩到二十机,每机算力不变
核心概要
多智能体强化学习训练时靠集中式控制屏障函数滤波器纠正不安全动作,但该滤波器求解的约束数随队伍规模平方增长,部署时又无法保留。这套方法只用已执行的安全动作做隐式Q学习提取策略,再在合成的近碰撞状态上向训练滤波器学习,使去掉滤波器后的策略仍受约束。局部观测策略在训练场景的测试回合中零碰撞,三机训练的策略零样本迁移到二十机时每机计算量恒定,并在八机以内保持零碰撞。
深度剖析
多智能体强化学习可以做到训练时由集中式安全滤波器保证不碰撞,部署时只留一个不看全局状态、不通信的策略。 此前带控制屏障函数滤波器的多智能体方法在部署时仍要在线求解一个联合二次规划,其约束数随队伍规模平方增长,且需要每个智能体的状态与动作。 在双积分动力学、局部观测、3机4障碍的最难设置上,去掉滤波器后该方法在测试回合中碰撞率为0.0%,而同样带滤波器训练的多智能体SAC为98.3%。
策略不再从滤波后的数据里学价值,而是只从真正执行过的安全动作中提取,避免把被滤波器改写的原始动作估得过高。 滤波器会把许多原始动作映射到同一个安全动作,演员-评论家方法因此会高估那些后果已被纠正的不安全提议;带滤波器训练的SAC在去掉滤波器后几乎每个回合都碰撞。 在3机4障碍设置上,仅用隐式Q学习而无蒸馏时碰撞率为8.0%,加上近碰撞状态蒸馏后降为0.0%。
训练滤波器还被当作老师,在合成的近碰撞状态上给出标签,补上回放缓冲区里根本不存在的危险状态。 滤波器阻止了碰撞,缓冲区里因此缺少无滤波器策略可能到达的近碰撞状态,仅靠数据内学习无法覆盖这些状态。 在16机2障碍的零样本设置中,仅用隐式Q学习碰撞率为100.0%,加入蒸馏后为7.0%,仅蒸馏不用强化学习项为2.0%。
部署后的策略只依赖局部观测,参数不随队伍规模变化,因此三机训练的策略可以直接用于更大的队伍。 联合二次规划在三个智能体时约需若干毫秒,到二十个智能体时增长到控制周期的三分之一,而每个智能体的局部策略耗时恒定。 三机双积分策略不做重训直接部署到二十机,在八机以内两种布局都没有回合发生碰撞,随机布局在十六机以内碰撞率低于某一水平,二十机时达到某一水平,同时目标到达率超过某一水平。
启示与展望
演示范围是半径固定的圆盘智能体在带圆形障碍的场地内做单积分或双积分运动,训练时使用集中式控制屏障函数滤波器,部署时只用局部观测、不通信、不带滤波器;硬件上最多五架Crazyflie在动捕定位、地面计算机计算策略、固定高度飞行的条件下验证。
双积分动力学下没有离散时间的训练保证,滤波器用带惩罚的松弛量保持二次规划可行,理论界中的离散化项在所用控制步长下可能吃掉大部分安全裕度,因此双积分的安全性以实测为准;零样本扩展时碰撞随队伍增大而出现,圆形压力测试中十二机以上开始碰撞,多与障碍有关。
