JEPA-PS把优化器记忆变成可测量对象:CartPole上整条轨迹有用,崎岖地形几乎只靠最优点
核心概要
黑箱优化器通常只被问是否赢过基线,很少被问它究竟用了搜索历史的哪一部分。JEPA-PS用联合嵌入预测架构在随机 rollout 上做与奖励无关的预训练,只学习预测轨迹下一点的隐表示,测试时读一段评估历史、一次前向给出下一个候选。在15个控制环境与12个优化器的比较中,它不敌调好的经典搜索,但消融显示历史依赖随问题变化:CartPole上完整历史比只用最优点高约22%,MountainCar上两者几乎无差别。
深度剖析
一个学习型优化器对历史的依赖程度不是架构常数,而由具体搜索问题决定。 经典方法由设计者固定记忆量:CEM只保留精英集、CMA-ES把历史压成协方差矩阵、贝叶斯优化保留全部观测。 在CartPole上完整历史相对只用最优点的平均最优奖励增益约22%,在MountainCar、Walker2d和Hopper上该增益接近零。
JEPA-PS把“试过什么”和“效果多好”分开,使历史可以被逐项删改后观察候选如何变化。 此前的学习型优化器多以奖励预测或梯度匹配为目标元学习更新规则,难以单独检验历史的作用。 预训练只用参数向量与标量回报,损失预测下一轨迹点的隐表示;测试时无任务描述、无奖励塑形、无测试时梯度,单次前向给出候选。
历史依赖与适应度—距离相关(FDC,衡量随机采样点离最优点的远近是否随奖励变好而缩短)存在小样本关联。 此前没有把优化器的记忆需求与优化器无关的地形描述量联系起来。 七个环境上Pearson相关系数为0.738,五个环境子集上排序敏感性探针为0.832;去掉CartPole后Pearson降到约0.50,同一七环境上的Spearman相关为0.571,作者将其视为初步结果。
启示与展望
演示范围限于线性策略下的控制环境,主比较覆盖15个环境、12个优化器,迁移测试限于CartPole的物理参数变体;作者明确说明JEPA-PS不是通用优化器,也未提出利用地形与记忆关联的优化器。
地形关联基于七个环境的小样本,且受CartPole强烈影响,作者称其为初步结果;基于奖励排序敏感性的独立探针未予佐证;在MountainCar这类受下限限制的任务上,历史增益接近零也可能意味着两种条件都未取得进展。
