跳到主要内容
返回时间线
arXiv来源发表:

把信念空间规划器蒸馏成策略:Scavenger 里成功率超 90%,强化学习基线最多 5%

核心概要

在部分可观测、需要先获取信息才能行动的任务里,直接训练智能体很难稳定满足依赖信念的规则。做法是先在仿真器里用信念空间任务与运动规划器离线生成轨迹,再蒸馏成只看原始观测的策略,并加入双重平均损失与近最优强化两项改动。在新提出的 Scavenger 域中,视觉提示和自然语言提示两个版本的成功率都超过 90%,而奖励工程化的强化学习基线最多 5%。

Source-provided article image: Deploying Physically and Epistemically Compliant Agents by Distilling Belief-Space Task and Motion Planners
arXiv

深度剖析

智能体可以在不显式估计信念的情况下,按依赖信念的规则行动:策略直接读取原始观测,在需要先找到提示再猜测的 Scavenger 任务中,两个提示版本的成功率都超过 90%。 此前的做法要么用强化学习把规则写进奖励,但奖励难以完全刻画规格,优化不到位时行为不合规;要么在线运行信念空间规划器,需要手工编写在线规划与信念状态估计,工程开销大。 同一任务上,扁平与分层两种 PPO 强化学习基线在视觉提示和语言提示两个版本中成功率都不超过 5%,尽管它们获得了更多实际训练时间和稠密奖励。

做法是把规划与执行分开:离线阶段用带仿真器信息的信念空间任务与运动规划器生成样本轨迹,再把规划蒸馏成以观测-动作历史为输入的策略。 此前的规划器模仿工作面向全观测域,历史依赖带来的分布偏移在部分可观测下更严重,原有反馈机制只处理非法动作,无法从策略到达的每个状态重新规划。 两项改动针对历史策略:双重平均损失把整条轨迹的平均损失与任务切换时刻的平均损失合并,近最优强化则在策略成功轨迹长度落在规划器轨迹的给定倍数以内时,把该轨迹加入训练数据。

蒸馏出的策略能迁移到训练中未见的指令和更大的平面图:语言提示版本在留出指令和刻意含糊的指令上成功率超过 60%,在房间数多于训练时的平面图上成功率超过 75%。 训练时的平面图只有 3 到 6 个房间,语言指令由同一方式生成并经过改写。 泛化测试使用语言提示训练出的策略,每个条件跑 50 回合;房间数扩展到 8、12 和 18 个,其中 18 个是训练所见最大房间数的三倍。

启示与展望

演示范围限于 Scavenger 这一程序化生成的多房间仿真域,观测是两张 128×128 的 RGB 图像,动作是每步不超过 0.3 单位的位置控制;方法前提是能为问题写出可处理的信念空间规划模型并可访问仿真器。作者提出,如何脱离这一前提、以及如何形式化非机器人场景(如终端或计算机使用)的安全约束,是后续工作。

完备性结论只覆盖无噪声观测模型下的静态搜索,并依赖规划器可从任意状态与信念重新规划、且每次重规划覆盖一定概率的候选集合这一效率假设;作者指出放宽这些假设属于未来工作。策略本身尚无形式化证书,把模仿学习理论与规划器的可靠性和完备性保证结合,才能为蒸馏策略给出安全论证。