自驱动实验室的Q学习不再调学习率:异方差高斯过程给每个目标单独定噪声,五个基准上更快逼近最佳回报
核心概要
自驱动实验室的每轮实验都是真实反应器或培养过程,通常只有几十到几百轮,不足以再调学习率。异方差高斯过程Q学习(HGPQ)把Q函数直接建成高斯过程,用卡尔曼增益充当学习率,并用第二个异方差高斯过程估计每个贝尔曼目标的噪声方差,使噪声大的目标少移动估计。在包含化学反应器和生物过程的五个模拟基准上合并统计,HGPQ用比GP、核方法和深度强化学习基线更少的轮数接近任一方法找到的最佳回报。
深度剖析
Q学习不再需要为每个问题调一个学习率:更新幅度由高斯过程后验直接给出,每个贝尔曼目标按自身可靠程度加权。 此前的GP Q学习要么调学习率本身,要么用单一噪声水平代替学习率,而实验室过程的噪声随仪器、物料批次和操作条件变化,事先很少已知。 在五个模拟基准上合并统计,HGPQ在150轮内达到69%的阈值、300轮内达到77%,超过除Ensemble-DQN外每个基线用满750或2000轮预算后的成绩;GPQ-SLR与GPQ-CLR在300轮预算结束时约达到一半阈值。
做法是把每个贝尔曼目标当作Q函数的一次带噪测量,学习率取卡尔曼增益,整步更新等价于一次高斯过程回归。 卡尔曼增益在估计不确定、目标精确时接近一,在估计精确或目标噪声大时接近零,并借后验协方差把更新扩散到邻近状态—输入对,无需衰减日程。 目标方差由第二个异方差高斯过程用留一残差估计;在半批反应器上,HGPQ最终回报为0.059,调好的常数方差为0.007。
逐目标方差不是装饰:把方差在目标之间随机置换会显著变差。 置换后方差数值不变,只是不再对应各自的目标。 在倒立摆上最终代价放大6.5倍,在目标跟踪上放大3.2倍,均为二十个配对种子上的结果。
启示与展望
结论建立在五个模拟基准和两个合成MDP上,包括半批反应器、光合生物量生产、倒立摆、目标跟踪和非平稳线性MDP,预算为HGPQ 300轮、核方法与深度强化学习基线750至2000轮。理论保证针对固定核、目标收集时即给定的逐目标方差,不覆盖算法中重新估计的方差与重拟合的核。基准以惩罚而非硬约束处理状态越界,后续工作计划用可行性回退处理约束。
理论界要求固定核与收集时给定的方差,而实际算法每轮重拟合核并重新估计方差;界中的预热期至少随维度指数增长。在值函数线性的非平稳LMDP上,KOVI、KTD与KFQL与HGPQ表现相当。稀疏HGPQ在目标跟踪、十倍过程噪声下需35轮,SAC需31轮。反应器上最佳最终回报仍由深度强化学习在2000轮后取得。
