线性贝叶斯神经网络中似然退火使预测均值与方差在不同温度尺度上发生相变,无法同时恢复NNGP后验两阶矩
该工作研究单隐层线性贝叶斯神经网络在NTK参数化下的高斯平均场变分推断,推导了温度按宽度幂律衰减时预测分布的极限,发现预测均值与方差在不同温度尺度上发生相变:均值在温度低于显式阈值时偏离先验并最终等于最小二乘预测,方差则在更冷温度下才偏离先验,且不存在能同时恢复未退火NNGP后验均值与方差的温度调度。
该工作研究单隐层线性贝叶斯神经网络在NTK参数化下的高斯平均场变分推断,推导了温度按宽度幂律衰减时预测分布的极限,发现预测均值与方差在不同温度尺度上发生相变:均值在温度低于显式阈值时偏离先验并最终等于最小二乘预测,方差则在更冷温度下才偏离先验,且不存在能同时恢复未退火NNGP后验均值与方差的温度调度。
已读完全部报道