贝叶斯神经网络输出分布首次被完整包住:非线性抽象域把区间域的总变差距离最多压低约950倍
核心概要
贝叶斯神经网络把权重当作分布,但此前要么靠采样、要么只传播期望和熵,无法对完整输出分布给出可靠保证。这项工作建立边际收集语义,并用指数仿射上下界配合支撑集划分表示概率测度,构造出可组合的抽象变换器,在多个回归基准上给出完整输出分布的可靠包络。与区间抽象域相比,总变差距离最多改善约950倍,代价是运行时间有所增加。
深度剖析
贝叶斯神经网络的完整输出分布现在可以被可靠地包住,而不只是被有限次采样近似或只给出期望、方差、熵这类局部统计量。 此前的采样方法把贝叶斯网络退化为确定性网络再分析,保证依赖抽到的样本,低概率尾部事件容易漏掉;只传播部分统计量的方法则只能回答预先设定的查询。 在三个UCI回归数据集训练的前馈贝叶斯网络上,与同样设计的区间抽象域相比,总变差距离在Energy数据集的一个基准上从298206.33降到16858.80,比值17.69,在另一基准上从3665.16降到20.45,比值179.24。
做法是把每个神经元的概率测度按支撑集切成若干区间,在每段上用指数仿射函数给出密度的上下界,从而同时表示连续密度和ReLU产生的离散点质量。 线性表示难以刻画高斯密度这类非线性形状,而直接截断无界尾部又会丢掉不可忽略的概率质量。 对高斯密度先取对数,利用对数密度的凹性用割线作下界、切线作上界,再指数化回密度;无界尾部单独用保守常数下界处理,仿射层则把边缘化改写成按输入盒加权的条件期望求和。
启示与展望
演示范围是预训练的前馈贝叶斯网络,采用均值场高斯后验和ReLU激活,回归任务,隐藏宽度从4到128;另在简化后的贝叶斯推断程序上验证了扩展性。读者对象是关心不确定性量化与形式化推理的研究者和工程师。
精度随网络规模增大而下降,尾部概率估计在小网络上更紧;区间域基线因常数界在无界区间不可积,比较被限制在有界支撑设定下。
