DMA 直接近似因子到变量消息,证明边缘 KL 受消息 KL 约束,并据此构建无需学习率的贝叶斯神经网络推理
该工作提出直接消息近似(DMA),不再像期望传播(EP)和变分消息传递(VMP)那样近似因子图每条边上的边缘分布,而是直接近似因子到变量的消息,对可归一化因子定义一致性条件(当其余入消息均为 Dirac delta 时要求精确),证明了一个主定理:在消息为 proper、图任意的条件下,用消息 KL 界定边缘 KL,并给出三条结构性推论——Dirac 输入一致性、无需 EP 式内层迭代、不产生负精度消息;此外为乘积因子固有的非 proper 反向消息证明了互补的 O(1/r2) 保证;作为具体实例,推导了乘积因子与 leaky-ReLU 因子的显式 DMA 消息,组装出每个训练样本一次前向/后向扫描、且不含梯度学习率超参数的贝