自驱动实验室的Q学习不再调学习率:异方差高斯过程给每个目标单独定噪声,五个基准上更快逼近最佳回报
自驱动实验室的每轮实验都是真实反应器或培养过程,通常只有几十到几百轮,不足以再调学习率。异方差高斯过程Q学习(HGPQ)把Q函数直接建成高斯过程,用卡尔曼增益充当学习率,并用第二个异方差高斯过程估计每个贝尔曼目标的噪声方差,使噪声大的目标少移动估计。在包含化学反应器和生物过程的五个模拟基准上合并统计,HGPQ用比GP、核方法和深度强化学习基线更少的轮数接近任一方法找到的最佳回报。
自驱动实验室的每轮实验都是真实反应器或培养过程,通常只有几十到几百轮,不足以再调学习率。异方差高斯过程Q学习(HGPQ)把Q函数直接建成高斯过程,用卡尔曼增益充当学习率,并用第二个异方差高斯过程估计每个贝尔曼目标的噪声方差,使噪声大的目标少移动估计。在包含化学反应器和生物过程的五个模拟基准上合并统计,HGPQ用比GP、核方法和深度强化学习基线更少的轮数接近任一方法找到的最佳回报。
已读完全部报道