跳到主要内容
返回时间线
arXiv来源发表:

目标不必来自真实轨迹:TD-Aug用几何视界模型想象目标,拼接任务平均成功率从31升到79

核心概要

离线目标条件行为克隆在需要拼接的任务上泛化很差,因为训练目标只来自单条轨迹的未来状态。TD-Aug改为从几何视界模型采样混合策略的后继测度,把想象出的远期状态当作额外目标训练策略。在OGBench的pointmaze拼接任务上,平均成功率由31升到79,并超过GCIQL、QRL、CRL与HIQL等离线目标条件强化学习基线。

Source-provided article image: Imagining Goals with Geometric Horizon Models for Policy Generalization
arXiv

深度剖析

离线训练的目标条件策略在需要拼接的零样本任务上表现差,TD-Aug把生成模型想象出的远期状态当作训练目标,补上了这类任务所需的目标分布。 此前的目标条件行为克隆只从同一条轨迹中采样未来状态作为目标,覆盖不到需要跨轨迹组合才能到达的状态;基于聚类的方法只能做一步拼接,还依赖状态间距离度量等启发式。 在OGBench的pointmaze拼接任务上,无增强的目标条件流式行为克隆平均成功率为31,加入TD-Aug后为79,同一张表里GCIQL为35、QRL为58、CRL为4、HIQL为30。

做法是先学一个能直接采样远期状态的生成模型,再用它批量生成目标,与真实未来状态按比例混合后训练策略。 所用的生成模型是几何视界模型,即对策略后继测度的生成式近似,用TD-Flows训练;后继测度描述从当前状态出发、按策略行走后落在各状态的概率分布。 训练目标混合了单步转移与数据集中的蒙特卡洛远期样本,在pointmaze-large-stitch上随视界增大,该组合目标的生成样本与留出长轨迹之间的推土机距离最低。

同一套目标增强在图像输入和机械臂操作上也带来提升,说明它不只适用于低维导航。 视觉任务中先在自编码器得到的低维隐空间里学几何视界模型,生成的目标直接送入策略而不解码;操作任务则使用动作分块并预测整块之后的状态。 visual-antmaze拼接任务上,自编码器行为克隆平均成功率为29,加TD-Aug后为56;cube-double、cube-triple与puzzle-4x4的拼接数据集上,行为克隆平均成功率为13,加TD-Aug后为52。

启示与展望

结论建立在OGBench仿真基准上,包括pointmaze的medium、large、giant与teleport拼接任务、visual-antmaze拼接任务,以及cube-double、cube-triple、puzzle-4x4的拼接数据集;作者指出,把基于时间差分的几何视界模型训练高效稳定地扩展到高维、部分可观测的真实机器人任务,仍是待解问题。

作者说明,混合目标在视界增大时是对真实后继测度的有偏近似,因为蒙特卡洛样本来自被截断的单条轨迹;视觉任务中单纯依赖时间差分自举效果变差,作者将其归因于在高维近似空间中自举的困难。