跳到主要内容
检索

# 符号加权L1正则化

1 篇关联报道

订阅更新
  1. arXiv

    持续分类的L2正则换了权重:稀疏教师下符号加权L1的误差随稀疏因子线性下降

    在两层对角线性网络的持续分类中,把权重空间的L2正则改为带符号权重的形式,可在预测器空间诱导出符号加权L1正则,使稀疏教师下的超额风险随稀疏因子线性下降,而普通L1只达到近线性、随任务数仅多对数下降。该结论来自高维渐近分析,以及合成高斯、MNIST线性分类和两层ReLU三组实验;优势随教师稀疏度降低而减弱。

已读完全部报道