持续分类的L2正则换了权重:稀疏教师下符号加权L1的误差随稀疏因子线性下降
核心概要
在两层对角线性网络的持续分类中,把权重空间的L2正则改为带符号权重的形式,可在预测器空间诱导出符号加权L1正则,使稀疏教师下的超额风险随稀疏因子线性下降,而普通L1只达到近线性、随任务数仅多对数下降。该结论来自高维渐近分析,以及合成高斯、MNIST线性分类和两层ReLU三组实验;优势随教师稀疏度降低而减弱。
深度剖析
持续分类的线性预测器第一次有了高维渐近刻画:在特征服从高斯分布、标签由带翻转噪声的logistic教师生成时,每个坐标的学得权重等价于对受高斯噪声污染的有效信号做一次标量近端估计。 此前的持续学习理论分析主要停留在持续线性回归,分类情形缺少对应的精确刻画。 该刻画在维度与样本数成比例趋于无穷的极限下给出,并以状态演化方程存在唯一解为前提。
在单层情形下,各向同性L2正则的最优强度随任务数近似线性衰减,超额风险随任务数近似线性下降,与线性回归中的已知结论一致。 这一缩放规律此前只在持续线性回归中被推导过。 合成数据实验显示,改变教师稀疏度时L2正则的超额风险几乎不变,说明它没有利用稀疏结构。
符号加权L1把保持过去解逐坐标符号的权重放进正则项,在稀疏教师下超额风险随稀疏因子线性下降,而普通L1只达到近线性。 普通L1虽然能利用稀疏性,但随任务数仅以多对数速度下降,长任务序列上收敛慢。 该界在正齐次正则族内是紧的:任何正齐次正则都无法让超额风险随任务数消失。
在合成高斯数据、MNIST线性分类和MNIST两层ReLU三组设置中,教师越稀疏,符号加权L1相对L2和L1的优势越大。 稀疏度降低后,L1较早进入平台,L2继续改善并最终取得更低损失。 结果报告的是学习一串任务后的留出测试损失,曲线按种子平均并给出一个标准差的阴影区间;正文称5个种子,附录汇总表列为3个种子,两处不一致。
启示与展望
结论针对特征为高斯分布、标签由带翻转噪声的logistic教师生成的高维持续分类,模型为单层线性预测器或两层对角线性网络;实验覆盖合成高斯数据、MNIST线性分类和MNIST两层ReLU三组设置,教师均为稀疏模型。
理论结果依赖状态演化方程在每个任务上存在唯一解这一假设;符号加权L1的优势只在教师足够稀疏时明显,稀疏度降低后L2最终会取得更低损失,且正齐次正则本身无法让超额风险随任务数消失。实验种子数在正文与附录汇总表之间不一致,具体数值以原文为准。
