网格细胞当作后继特征的谱基:目标一换,智能体靠一次线性回归就重新适应
核心概要
持续强化学习里,后继特征把环境动态与任务奖励分开,但特征基选得不好就得随任务重学。Spectral-SF 把基取成固定参考策略转移矩阵的特征向量,使每个后继特征等于对应基特征乘以一个已知常数,长期回报因此与即时奖励共用同一组特征,无需后继特征网络或回放缓冲。在含两个目标的网格世界中,以均匀随机游走为参考策略的 Spectral-SF 在每次目标切换后都维持接近最高的回报,而 SimpleSF 与 DQN 在每次切换时丢掉大部分回报。
深度剖析
智能体换目标时不必重学环境动态,只需重新拟合奖励权重,就能在每次目标切换后保持接近最高的回报。 此前后继特征通常要由神经网络用时序差分学习,策略或任务一变就得重新组织;SimpleSF 与 DQN 在目标切换时回报大幅下跌。 在 Inverted-LWalls 网格世界的两目标序列中,离线与在线两个 Spectral-SF 变体在首次任务的一小部分步数内接近最高回报,并在其后每次目标切换后只出现短暂下降。
做法是把特征基取成固定参考策略转移矩阵的特征向量,于是后继特征有闭式解。 一般情形下,一个状态-动作对的后继特征无法只由该对自身的基特征算出,这正是后继特征通常必须学习的原因。 当基特征的张成空间在转移矩阵下不变时,后继特征是该对基特征的线性组合,系数为闭式;取特征向量时每个后继特征就是其基特征乘以对应特征值。实验以均匀随机游走为参考策略,其基即图拉普拉斯低频特征向量,也就是网格细胞。
启示与展望
演示范围是一个小型确定性网格世界,布局固定、含两个目标位置,状态-动作图有有限个节点;离线变体的基与常数来自覆盖全部转移的随机游走,在线变体则从自身观测到的转移建图,但需要每一步的格子身份而非像素。
与 SimpleSF 和 DQN 的比较不在同等信息条件下,应读作上界而非正面对比;两个 Spectral-SF 变体的回报都略低于最高值,作者将其归于对称化游走、保留特征向量的张成空间以及在线估计奖励权重等近似。当正负奖励并存时,对参考策略动作值贪心可能被困住,因此实验中移除了熔岩格。
