跳到主要内容
返回时间线
arXiv来源发表:

Hawkes过程被低估了:补上样条基线与核后,五个标准数据集上追平或超过THP、SAHP、NHP

核心概要

此前神经时序点过程(用神经网络参数化事件发生强度的模型)被报告大幅优于Hawkes过程,但对照中的Hawkes只用了常数基线和固定指数核。把基线与触发核换成可学习样条、并加入抑制变体后,最佳Hawkes在五个标准数据集上追平或超过THP、SAHP、NHP,与灵活的NeuralSplineTPP和IntensityFree相比仍有差距,仅在Amazon上明显;作者同时开源了统一实现两族模型的TorchPP框架。

AI-generated editorial illustration: Flexible Intensities Matter: A Comprehensive Re-evaluation of Hawkes Processes and Neural Temporal Point Processes

深度剖析

Hawkes过程与神经时序点过程之间此前报告的性能差距,在Hawkes获得可学习样条基线和样条触发核后大部分消失。 以往基准把Hawkes限制在常数基线与固定指数核的最简形式,再与灵活得多的神经模型比较,且未纳入健康数据。 在Taxi、StackOverflow、Retweet、Amazon、Taobao五个标准数据集上,最佳Hawkes变体在联合对数似然上追平或超过THP、SAHP、NHP;Inhib. Spline/Spline Hawkes在Retweet上为整体最佳,Spline/Spline Hawkes在StackOverflow和Taobao上与NeuralSplineTPP持平,与灵活神经模型的剩余差距在Taxi上很小,仅在Amazon上明显。

强度参数化的灵活度同样是神经时序点过程的限制因素,收益几乎全部落在事件发生时间的密度上。 此前神经模型多用Softplus包裹的强度头,需要数值积分,且时间形状受限。 把Transformer换成样条强度头的NeuralSplineTPP超过THP、SAHP、NeuralConstTPP和NHP,并与无强度的IntensityFree持平;把对数似然拆成时间项与类型条件项后,样条结点数从少增到多时,Retweet和Amazon上时间项提升0.9–1.6 nats,而类型项在任何数据集上都不提升。

在两份大规模医疗事件序列上,成对加性交互已能解释大部分下一事件结构,神经模型的优势集中在同一分钟内记录的事件。 此前的比较没有覆盖电子健康记录这类大规模医疗数据。 在UK Biobank的1,257类首次发病疾病史上,Spline/Spline Hawkes在联合对数似然上仅落后NeuralSplineTPP少量nats,并优于其他神经模型;在MIMIC-IV的117类ICU事件上,NeuralSplineTPP领先最佳Hawkes变体,差距集中在与上一事件同一分钟记录的事件上,其余事件上两者差距很小。

启示与展望

结论覆盖Poisson与Hawkes过程以及所评估的Transformer强度模型、NHP和IntensityFree,任务限定为自回归下一事件预测,数据为五个标准数据集加UK Biobank与MIMIC-IV两个医疗任务;长期模拟、规划决策以及Cox型、流、扩散、状态空间模型均未评估。

作者指出结论依赖七个数据集,其他领域可能更有利于神经模型;UK Biobank任务省略了性别与生活方式协变量,且未评估抑制型Hawkes;MIMIC-IV只用了部分记录值,不作为医学预测模型;Retweet的整数时间戳会让连续密度的时间似然无界,需按记录时间分箱评分。