线性贝叶斯神经网络中似然退火使预测均值与方差在不同温度尺度上发生相变,无法同时恢复NNGP后验两阶矩
该工作研究单隐层线性贝叶斯神经网络在NTK参数化下的高斯平均场变分推断,推导了温度按宽度幂律衰减时预测分布的极限,发现预测均值与方差在不同温度尺度上发生相变:均值在温度低于显式阈值时偏离先验并最终等于最小二乘预测,方差则在更冷温度下才偏离先验,且不存在能同时恢复未退火NNGP后验均值与方差的温度调度。
该工作研究单隐层线性贝叶斯神经网络在NTK参数化下的高斯平均场变分推断,推导了温度按宽度幂律衰减时预测分布的极限,发现预测均值与方差在不同温度尺度上发生相变:均值在温度低于显式阈值时偏离先验并最终等于最小二乘预测,方差则在更冷温度下才偏离先验,且不存在能同时恢复未退火NNGP后验均值与方差的温度调度。
该工作提出直接消息近似(DMA),不再像期望传播(EP)和变分消息传递(VMP)那样近似因子图每条边上的边缘分布,而是直接近似因子到变量的消息,对可归一化因子定义一致性条件(当其余入消息均为 Dirac delta 时要求精确),证明了一个主定理:在消息为 proper、图任意的条件下,用消息 KL 界定边缘 KL,并给出三条结构性推论——Dirac 输入一致性、无需 EP 式内层迭代、不产生负精度消息;此外为乘积因子固有的非 proper 反向消息证明了互补的 O(1/r2) 保证;作为具体实例,推导了乘积因子与 leaky-ReLU 因子的显式 DMA 消息,组装出每个训练样本一次前向/后向扫描、且不含梯度学习率超参数的贝
已读完全部报道