跳到主要内容
检索

# 随机梯度下降

4 篇关联报道

订阅更新
  1. arXiv

    约束优化不再均匀抽约束:保留近期违反项,合成问题上迭代误差降两个数量级

    面对不等式约束数量极大的随机梯度优化,一种自适应约束采样方法不再每步从全部约束中均匀抽取,而是维护一个近期被违反约束的“重要集”,按概率在重要集与全体约束之间取样。在100维合成凸问题上,它把ABSGD、Projection-SGD与Huber-penalty SGD三种方法的迭代点与最优解的最终欧氏距离平均降低约两个数量级,APDSG降低一到两个数量级;在Dubins Car控制障碍函数合成中,最大约束违反量平均降低半个数量级、最多一个数量级。

  2. arXiv

    梯度下降的隐式偏好不再只由初始化决定:步长把极限解推向带扰动的加权L1极小点

    深层线性对角网络的训练极限此前只在梯度流(步长趋于零的连续版本)下被刻画,隐式偏好完全由初始化决定。该分析把离散的梯度下降与随机梯度下降本身写成受扰动的镜像梯度下降,在任意层数下证明迭代点收敛,并把极限解刻画为一个以扰动后初始化为参数的凸极小问题。扰动幅度随步长线性缩小,极限因此对应加权L1极小化,权重同时依赖初始化、步长与整条迭代轨迹。

  3. arXiv

    随机梯度下降的收敛率可以“搬运”:先在扩散方程上做一次Lyapunov计算,再逐窗传回离散迭代

    随机梯度算法的有限时间收敛界可以从关联随机微分方程的Lyapunov估计直接搬运过来,强凸SGD与随机Heavy Ball都由此复现已知速率。

  4. 长谷川靖与大关真之在固定模型、采样器与步长下比较 Ising 与 QUBO 编码,发现 QUBO 的 Fisher 信息谱熵更低、SGD 收敛更慢,而自然梯度下降使两种编码收敛趋同

    该研究在固定玻尔兹曼机模型、模拟退火采样器与学习率设计的受控协议下比较 Ising({−1,+1})与 QUBO({0,1})两种变量编码,利用 Fisher 信息矩阵等于充分统计量协方差这一恒等式可视化经验矩,发现 QUBO 在一阶与二阶统计量之间产生更大的交叉项,使 Fisher 信息矩阵出现更多小特征值方向并降低谱熵,从而解释了随机梯度下降下 QUBO 收敛更慢,而按 Fisher 信息矩阵度量重标定更新的自然梯度下降因重参数化不变性使两种编码收敛相近。

已读完全部报道