跳到主要内容
检索

# 超梯度估计

1 篇关联报道

订阅更新
  1. arXiv

    双层优化不再把权重矩阵压平成向量:BiMuon 用正交化更新,收敛阶追平单层 Muon

    BiMuon 把 Muon 式的正交化矩阵更新引入随机双层优化,让上层参数按矩阵的奇异谱更新,而不是压平成向量逐坐标走。此前的双层方法几乎都采用这种压平做法,而分析显示下层问题的曲率会经双层复合被平方放大,使上层超梯度的奇异值分布更不均衡。BiMuon 先跟踪下层解、再用截断 Neumann 级数估计超梯度,最后对动量做正交化;精确极分解与有限 Newton–Schulz 两个版本都给出有限时间收敛率,样本复杂度与单层 Muon 类方法的最好已知结果一致。

已读完全部报道