单条马尔可夫轨迹上的ICM演员-评论家有了有限时间界:归一化步长收敛更快,Muon把秩因子压进噪声项
核心概要
此前对重要性修正动量(ICM)演员-评论家的有限时间分析依赖独立同分布的无偏梯度或重启回合,而强化学习实际沿单条马尔可夫轨迹采样,梯度既有偏又相关。该分析把岭正则化路径式最小二乘时序差分评论家与ICM演员结合,在每帧T步转移上平均策略梯度,给出沿单条轨迹的有限时间界:归一化步长的平均梯度范数按O(K-1/3+1/T)衰减,非归一化步长按O(K-1/4+1/T)衰减。界中保留平稳分布与折扣分布失配形成的常数底,其余误差项随帧长至少以1/T下降。
深度剖析
沿单条马尔可夫轨迹学习的演员-评论家现在有了显式的有限时间收敛界,而且归一化步长与正交化步长都被纳入同一分析。 此前的有限时间分析只覆盖非归一化步长,归一化与正交化动量的分析则假定梯度是无偏的独立同分布样本,或依赖重启回合。 在评论家、策略梯度估计器和ICM都固定的条件下,平均梯度范数在K次更新后对归一化步长以O(K-1/3+1/T)为界,对非归一化步长以O(K-1/4+1/T)为界,其中T是每帧的转移数。
评论家不再需要步长、混合时间或秩条件,每帧直接解一个岭正则化系统。 常规做法是每步做一次半梯度时序差分更新,需要调步长并承受随机更新的慢暂态。 评论家用仅含矩阵乘法的牛顿-舒尔茨迭代近似岭正则化路径式最小二乘解,牛顿-舒尔茨误差随迭代次数P1超线性下降,马尔可夫采样误差为τmix/T量级。
四个具体演员更新被放进同一框架比较,Muon的秩因子只出现在噪声与修正项。 此前Muon类方法在强化学习中只有经验研究,缺少沿单条轨迹的有限时间保证。 在无量纲步长常数下,Muon把min{m,n}1/2因子限制在噪声和修正项;正交化保证比归一化获得更大无噪上升,当且仅当梯度的核秩超过谱范数与Frobenius范数曲率常数之比。
启示与展望
分析针对折扣马尔可夫决策过程、线性值函数评论家和单条连续轨迹上的K次更新,每帧含T步转移;结论以定理形式给出,未包含实验验证。
界中保留平稳分布与折扣状态访问分布失配造成的常数底,该底不随帧长或更新次数消失;作者指出消除它需要不同的采样协议。非归一化步长的界还要求步长常数随1/T收紧。
