跳到主要内容
检索

# 拟牛顿法

1 篇关联报道

订阅更新
  1. arXiv

    SoftServe 用变分目标构造正定曲率估计,在病态深度学习任务上取得低于 Adam、Muon、SOAP 的损失

    作者提出 SoftServe 一族拟牛顿方法,从 Berglund 等(2025)的变分目标中导出正定曲率估计,即使存在负曲率也保持正定,并给出对角与 Kronecker 分解两种变体,用稳定的耦合 Newton-Schulz 迭代以 GPU 友好的矩阵乘法替代昂贵的矩阵分解;在循环网络、深度自编码器、物理信息神经网络以及一个 1.36 亿参数的物理信息扩散模型等严重病态问题上,其损失常低于 Adam、Muon 和 SOAP 等基线。

已读完全部报道