跳到主要内容
返回时间线
arXiv来源发表:

二次流形拟合不再预设噪声:AMLE-SQMF 从数据估出形状参数,人脸重建与固定指数版本相当

核心概要

高维数据常落在低维弯曲流形附近,二次流形拟合用局部二次曲面逼近这种结构,但以往方法把残差当作高斯噪声,损失函数固定。AMLE-SQMF 改用形状参数未知的广义高斯分布描述残差,把形状参数与流形参数一起做最大似然估计,让拟合损失随数据自适应。在合成球面与含噪人脸图像上,该方法能估计出噪声形状参数,人脸重建误差在多数测试条件下低于所比较的流形去噪方法,与固定指数版本相比则保持有竞争力的精度。

Source-provided article image: Shape-Adaptive Subspace-Constrained Quadratic Matrix Factorization
arXiv

深度剖析

二次流形拟合的残差模型不再由使用者预先指定,而是由数据估计出一个控制尾部厚薄的形状参数,拟合损失随之改变。 此前的二次拟合方法多采用平方欧氏损失,这对应高斯噪声假设,对重尾残差和离群点不够稳健;残差里还混有二次截断带来的近似误差,其分布未必是高斯的。 在单位球面上均匀采样 1000 个点并加入广义高斯噪声,拟合指数与噪声形状匹配时,所比较的四种指数设置下优化时间均短于标准梯度下降,其中指数 1.25 与 1.75 处缩短最多。

做法是把残差写成广义高斯分布,形状参数等于 2 时退化为高斯、等于 1 时对应拉普拉斯,再由最大似然同时定出流形参数和这个形状参数。 尺度参数用闭式最大似然解消去,得到只含流形参数与形状参数的轮廓负对数似然,避免了对尺度变量的直接优化。 优化在两步之间交替:固定形状参数时用梯度下降拟合二次流形,切向与法向基的正交归一约束通过把拼接矩阵限制在 Stiefel 流形上并用黎曼梯度下降加回缩来保持;固定流形时对形状参数做一维优化。

启示与展望

实验覆盖合成球面与二维二次流形上的参数估计,Frey Face 上的噪声尺度与邻域样本量对参数估计的影响,Isomap Face 上的人脸重建,以及 Yale Face Database B 上的潜空间插值;方法面向局部二次流形逼近这一设定,读者应据此判断其适用范围。

形状参数估计的精度随环境维度和样本量增大而提高,在噪声尺度较小时估计偏差更明显;作者把更一般的结构化与相关残差模型、以及形状参数估计的统计一致性和交替优化的更强理论保证列为后续工作。