摘要统计够不够,不再只看互信息下界:分类器估出差距,地震目录比较才可信
核心概要
在基于模拟的推断中,高维或变长数据常被压成低维摘要,摘要保留多少参数信息通常用互信息衡量,而互信息在无似然场景下无法直接计算。此前用神经网络后验估计算出的Barber–Agakov下界代替互信息,但下界偏小既可能是摘要不足,也可能是密度估计不准。该工作用分类器估计下界与真实互信息之间的差距,并把比较限制在包含观测的数据空间邻域内,在时序ETAS地震目录上比较学习摘要与手工摘要,显示学习摘要的下界更大且差距也更大,因而下界之差低估了互信息之差。
深度剖析
摘要统计是否保留了足够参数信息,现在可以连同估计误差一起报告,而不只是一个可能被密度估计误差污染的下界数值。 此前把训练好的神经后验给出的Barber–Agakov下界直接当作互信息的估计,前提是估计器足够准确、下界与互信息之间的差距可以忽略。 在时序ETAS模型的重复实验中,第20轮学习摘要的下界在每一次重复里都高于手工摘要;但两个摘要的差距中位数都高于零差距参照,说明忽略差距的假设并不严格成立。
做法是把下界与互信息之差改写成两个可采样联合分布之间的KL散度,再用二分类器区分它们来估计这个差。 这个差原本涉及未知的摘要条件后验,无法直接计算,因此此前只能假设它可忽略。 分类器在未参与拟合的抽样上评估;把同一程序用于来自同一分布的两半样本时,得到的参照值显示分类器没有引入系统性偏移,其离散程度给出诊断的分辨率。
比较还被限制在包含观测值的数据空间区域内,模拟集中在该邻域,同时保持目标后验不变。 在完整先验预测分布上训练会把大量模拟花在与观测无关的区域,分支过程模型还可能产生超临界、事件数无界的目录。 限制通过目录规模界定,上下界允许目录事件数在观测规模的四分之一到四倍之间,从而在保留较宽目录范围的同时限制超临界抽样的模拟成本。
启示与展望
演示范围是时序ETAS地震目录模型上的两个等维摘要:Stockman等人设计的手工摘要与端到端训练的嵌入网络摘要,比较在逐轮增加模拟预算的设置下进行,并以MCMC后验作为参照。读者对象是使用基于模拟的推断、需要压缩变长或高维模拟输出的研究人员。
诊断给出的是限制数据空间内对目录的平均差距,并非在单个观测处的局部量;结果支持两个摘要谁保留更多参数信息的相对判断,而不确定任一摘要相对全数据损失了多少信息。C2ST结果显示学习摘要的后验更接近MCMC参照,但在所考虑的模拟预算下两种近似都未与参照不可区分。如何选取观测中心区域仍取决于具体问题,作者将其留作后续工作。
