棱镜偏移下手臂不再从头学:预训练策略并行切换,适应速度中位数约为朴素网络12%
核心概要
面对棱镜眼镜造成的视觉偏移,经典规范神经网络此前只能从零重学动作策略,误差按1/t缓慢下降。研究者让网络并行保存多套针对不同目标位置预训练的策略矩阵,由类似注意力的混合权重λ挑选最可信的一套。在10×10网格的手臂到达任务中,该迁移学习者在棱镜暴露后约5次试次内缩短到达时间,并在棱镜移除后出现后效应;棱镜偏移后第一次试次,其到达时长中位数约为朴素学习者的12%。
深度剖析
棱镜偏移后,网络不必重学感觉—运动映射,而是从已有策略中挑一套并调整权重,因此到达目标的时间在几次试次内就回落。 此前的规范神经网络遇到新环境要从零学习生成模型,泛化误差按1/t量级缓慢下降,难以解释人类约10次试次内完成的棱镜适应。 在10×10网格、每阶段200次试次的三阶段模拟中,迁移学习者在棱镜暴露阶段到达时长约5次试次后下降、约10次试次收敛,并在棱镜移除后出现后效应,而直接学习策略矩阵的朴素学习者未能复现后效应。
实现方式是在输出层把多套预训练策略矩阵按混合权重加权组合,权重由感觉证据驱动向最可信的一套集中。 朴素学习者只更新单一策略矩阵V,迁移学习者则用λ选择并组合预训练好的V_k,相当于在部分可观测马尔可夫决策过程里调制策略矩阵的混合。 每套策略矩阵针对一个目标位置预训练,共准备100套覆盖10×10网格;模拟中λ在棱镜暴露阶段转向对应新目标位置的策略,在暴露后阶段回到基线策略。
这种离散选择带来的收敛速度在数学上是指数阶,快于连续参数重学的幂律阶。 朴素学习者的策略矩阵后验服从Dirichlet分布,泛化误差按1/t衰减;迁移学习者的混合权重随证据差以指数形式收敛。 在动作按随机游走设定的简化模拟中,迁移学习者的混合权重泛化误差约2400步收敛,半对数图上近似直线;朴素学习者则需更长时间才在对数—对数图上对齐1/t直线。
启示与展望
演示范围限于10×10离散网格上的手臂到达任务与模拟棱镜偏移,状态和动作均为离散;作者指出,向连续环境推广的混合模型是否仍呈指数衰减尚待评估。
作者说明该架构比朴素网络更占内存,其优势应理解为内存资源充足条件下的优势;棱镜偏移超过预训练策略覆盖的4格曼哈顿距离范围时适应失败;风险值Γ减弱时适应速度敏感下降,而后效应只在风险对比足够低时才减弱。
