线性贝叶斯神经网络中似然退火使预测均值与方差在不同温度尺度上发生相变,无法同时恢复NNGP后验两阶矩
该工作研究单隐层线性贝叶斯神经网络在NTK参数化下的高斯平均场变分推断,推导了温度按宽度幂律衰减时预测分布的极限,发现预测均值与方差在不同温度尺度上发生相变:均值在温度低于显式阈值时偏离先验并最终等于最小二乘预测,方差则在更冷温度下才偏离先验,且不存在能同时恢复未退火NNGP后验均值与方差的温度调度。
该工作研究单隐层线性贝叶斯神经网络在NTK参数化下的高斯平均场变分推断,推导了温度按宽度幂律衰减时预测分布的极限,发现预测均值与方差在不同温度尺度上发生相变:均值在温度低于显式阈值时偏离先验并最终等于最小二乘预测,方差则在更冷温度下才偏离先验,且不存在能同时恢复未退火NNGP后验均值与方差的温度调度。
本文研究哈密顿量为广义 U-统计量、基测度任意的多线性 Gibbs 测度,在耦合矩阵按割范数收敛的条件下,把自由能极限表示为函数空间上的无穷维优化问题,给出复制对称(优化子为常函数)的充分条件并用反例说明其必要性,进而得到局部场、哈密顿量与全局磁化等统计量的弱极限、对比量的普适弱定律 n-1Σc_iX_i→0(当 Σc_i=o(n))、局部与全局磁化的指数集中界,以及高阶相互作用下温度参数的相变点存在性。
已读完全部报道