跳到主要内容
检索

# SARSA算法

1 篇关联报道

订阅更新
  1. 线性函数逼近下的Q学习有了收敛条件:折扣越重,学习策略的信息只能外推到越近的贪心策略

    在状态空间无限、Q函数无法逐项存储的马尔可夫决策问题里,线性函数逼近的Q学习此前缺乏收敛保证。分析给出一个充分条件:学习策略诱导的马尔可夫链一致遍历、特征有界且线性无关,并且贪心动作特征二阶矩被学习策略动作的二阶矩按折扣因子留出余量,此时参数估计以概率1收敛到投影后的不动点。折扣越接近1,学习策略的信息只能安全外推到越近的贪心策略。

已读完全部报道