延迟观测下训练智能体:Hindsight Critics 只改评论家,8 个环境中 4 个延迟鲁棒性得分最高
核心概要
观测延迟让智能体拿到的是过去的状态,标准强化学习算法因此性能下降。Hindsight Critics 在训练时用完整轨迹回推出当前状态的状态估计,只让评论家使用这一估计,演员在部署时仍只看延迟观测。在 DelayBench 的 8 个连续控制环境中,它的延迟鲁棒性得分在 4 个环境最高,能部分抵消中等延迟带来的退化,但 16 步的大延迟仍难以应对。
深度剖析
训练阶段可以用事后信息修正评论家看到的状态,而部署时的演员不必改变输入。 延迟感知方法通常靠历史堆叠、循环策略或前向模型改写策略输入,这些改动在真实部署中可能难以实现。 在 DelayBench 的 8 个连续控制环境上,Hindsight Critics 的延迟鲁棒性得分在 4 个环境中最高,PPO 在 3 个、DDPG 在 1 个环境中最高。
做法是把每条动作对应的当前状态从后续观测中估计出来,只用于训练评论家。 演员仍以延迟观测为条件,评论家则改为在事后对齐的状态估计上学习价值。 在固定延迟假设下,状态估计直接取自同一轨迹中更晚的观测,回合结束的边界情况用环境返回的终止状态处理;每个算法、环境和延迟组合用 20 个随机种子训练,并在 20 个评估回合上确定性评估。
这种不对称还能与已有的延迟缓解手段叠加。 单独使用历史堆叠或前向模型时,所有方法的得分都上升,但需要扩大策略输入或在部署时多带一个网络。 与历史堆叠结合时,Hindsight Critics 在 8 个环境中的 5 个优于 PPO 和 SAC;与前向模型结合时在 4 个环境中领先。
启示与展望
评估限于 DelayBench 的 8 个连续控制环境、默认观测延迟范围,以及固定且同质的延迟假设;部署时演员只使用延迟观测,评论家在部署中被丢弃。
由于演员观测未被修改,策略必须隐式预判未来状态,这只在延迟固定且同质时可行;真实系统的异构延迟和抖动通信会让这种预判策略过于脆弱,16 步的大延迟下方法也难以学到满意行为。
