跳到主要内容
检索

Yanjie Dong

1 篇关联报道

订阅更新
  1. arXiv

    单条马尔可夫轨迹上的ICM演员-评论家有了有限时间界:归一化步长收敛更快,Muon把秩因子压进噪声项

    此前对重要性修正动量(ICM)演员-评论家的有限时间分析依赖独立同分布的无偏梯度或重启回合,而强化学习实际沿单条马尔可夫轨迹采样,梯度既有偏又相关。该分析把岭正则化路径式最小二乘时序差分评论家与ICM演员结合,在每帧T步转移上平均策略梯度,给出沿单条轨迹的有限时间界:归一化步长的平均梯度范数按O(K-1/3+1/T)衰减,非归一化步长按O(K-1/4+1/T)衰减。界中保留平稳分布与折扣分布失配形成的常数底,其余误差项随帧长至少以1/T下降。

已读完全部报道