双层优化不再把权重矩阵压平成向量:BiMuon 用正交化更新,收敛阶追平单层 Muon
核心概要
BiMuon 把 Muon 式的正交化矩阵更新引入随机双层优化,让上层参数按矩阵的奇异谱更新,而不是压平成向量逐坐标走。此前的双层方法几乎都采用这种压平做法,而分析显示下层问题的曲率会经双层复合被平方放大,使上层超梯度的奇异值分布更不均衡。BiMuon 先跟踪下层解、再用截断 Neumann 级数估计超梯度,最后对动量做正交化;精确极分解与有限 Newton–Schulz 两个版本都给出有限时间收敛率,样本复杂度与单层 Muon 类方法的最好已知结果一致。
深度剖析
双层优化里的上层参数可以按矩阵来更新,而不必先压平成向量再逐坐标走。 此前的双层方法几乎都采用压平向量做法,把权重矩阵向量化后做逐坐标更新,因而没有利用神经网络中普遍存在的矩阵结构。 一个二次双层算例显示,下层 Hessian 的条件数会经双层复合被平方放大,使上层超梯度的奇异值高度不均,压平更新因此被少数谱方向主导。
做法是把超梯度估计与正交化更新拆开:下层用热启动随机梯度下降跟踪移动的解,上层用截断 Neumann 级数估计超梯度,最后只对上层动量施加 Muon 式正交化。 Muon 式正交化通过归一化奇异值削弱大奇异值分量的主导,此前只在单层随机优化中有收敛保证,未处理下层跟踪误差与隐式超梯度误差。 精确极分解与有限 Newton–Schulz 两个版本都达到有限时间收敛率,样本复杂度与单层 Muon 类方法的最好已知结果一致;CIFAR-10 表示学习上,两个版本在相同随机导数预算下取得更低的优化后上层验证损失。
启示与展望
演示范围是冻结预训练特征上的矩阵值上层表示学习,以及带受控块敏感度的分块步长分配;收敛结论建立在下层强凸、光滑性与无偏随机导数等假设之上。
理论中的谱不均衡放大来自二次模型、各向同性验证曲率与对齐位移等条件,属于局部二阶机制而非任意光滑双层问题的普遍恒等式;有限 Newton–Schulz 的逐点近似结论并不直接给出定理所用的整轮误差条件。
