外部建议不再只用一次:Encoder BPA 用隐状态编码检索旧建议,早期训练更快
核心概要
交互式强化学习里的外部建议过去往往只用一次就丢弃,Broad-Persistent Advising 靠 K-means 聚类把建议复用到相似状态,但高维机器人环境中聚类数很少,行为不同的状态可能被并到一起。Encoder BPA 改用预训练编码器把最近状态序列映射为隐表示,再按余弦相似度、top-k 聚合和一致性条件检索旧建议。在 Cart-Pole、Inverted Pendulum、MuJoCo Ant 和部分可观测 Ant 上,它在训练早期比纯强化学习、非持久、持久建议和原 BPA 表现更好,连续动作环境中后期则可能因复用不当建议而回落。
深度剖析
外部训练者给出的建议现在可以跨状态复用,而不必在每一步用完后丢弃,复用的依据从原始状态的聚类编号换成了状态序列的隐表示。 原 BPA 用 K-means 把状态压成少量簇,例如 Domestic Robot 环境中每帧是 RGB 图像,肘部法只选出四个簇,行为不同的状态可能落入同一簇。 在 Cart-Pole、Inverted Pendulum、MuJoCo Ant 和 POMDP Ant 四个环境中,Encoder BPA 在训练早期优于纯强化学习、非持久建议、持久建议和原 BPA 的对比曲线。
做法是先用教师网络采集的状态转移数据训练一个编码器,让它从最近的状态序列预测教师动作,再把编码器冻结用于检索。 检索时把当前隐表示与持久记忆中存储的隐表示做余弦相似度比较,先按相似度阈值过滤,再用 top-5 多数投票或平均得到候选动作,并用一致性阈值决定是否复用。 LSTM 与 Mamba 两种编码器在四个环境中的 Spearman 相关系数均为强负值,例如 Inverted Pendulum 上分别为 -0.986 和 -0.967,说明隐表示越相似,对应教师动作的距离越小。
复用频率在多数环境中高于原 BPA 和基于状态的持久建议。 基于状态的持久建议在连续状态空间中几乎遇不到完全相同的状态,Cart-Pole 平均复用 18 次,Inverted Pendulum 为 1 次,Ant 和 POMDP 均为 0 次。 原 BPA 在四个环境中的平均复用次数分别为 6032、5892、141952 和 73990,LSTM 编码器为 28025、16553、119721 和 63288,Mamba 编码器为 27737、17813、127132 和 99505。
启示与展望
演示范围限于 Cart-Pole、Inverted Pendulum、MuJoCo Ant 和遮蔽了躯干速度两个状态分量的 POMDP Ant 四个仿真环境,建议由频率 0.5、准确率 1.0 或 0.9 的模拟顾问给出,评价指标是最近 100 回合平均奖励与建议复用次数。
连续动作环境中后期,平均策略可能把不再合适的建议并入候选动作,导致奖励下降;一致性阈值从 0.5 降到 0.3 会大幅减少复用次数;建议准确率降到 0.9 时方法与其他交互式方法一样对噪声建议敏感,编码器只负责检索而不评估建议质量;相似度与一致性阈值的微小变化会显著改变复用频率。
