跳到主要内容
返回时间线
arXiv来源发表:

LENS 不再只给交互打分:换一份独立数据复现,才决定哪些特征对进入模型

核心概要

特征交互的排序分数高,可能只是模型拟合了噪声,而排序方法把截断点留给使用者。LENS 用同一学习算法在互不重叠的数据上训练两个模型,只通过预测访问它们:先按去掉主效应后的交互强度排序,再检验第二个模型是否以足够强度复现该模式,并用一次多重检验校正决定保留哪些特征对。在 F1–F10 基准上,LENS 配合 XGBoost 找回 91% 的实质交互,DIAMOND 为 45%,且未选出假对。

AI-generated editorial illustration: Beyond Interaction Scores: Selecting Feature Interactions via Independent Replication

深度剖析

特征对是否保留,改由第二个独立训练的模型能否复现其交互模式来决定,而不是由单个模型的交互分数高低决定。 此前的排序方法给每对特征打分,却把截断点留给使用者;检验方法虽能定截断点,却依赖反复重拟合模型或对特征联合分布建模。 在 16 个合成设计上,LENS 的排序精度与 TreeSHAP 等模型专用方法相当;在 F1–F10 上配合 XGBoost 找回 91% 的实质交互,同样模型族的 DIAMOND 为 45%,且 LENS 未选出假对。

做法是把数据分成发现、确认和评估三部分,训练两个同类模型,只通过预测查询它们。 对每个特征对,先构造联合效应曲面并减去两个特征各自的主效应,得到只含交互的残差表,用其能量排序。 在 179,000 行评估数据上,法国车险数据中 VehAgeVehBrand 的复现比为 0.78,而排名第五的 VehAgeRegion 只有 0.03,前者保留、后者被拒。

仅看复现比例还不够,复现出的交互强度还必须超过一个下限。 两个独立拟合在期望上会抵消各自的拟合波动,但同一学习算法在两边共有的系统性模式仍会保留,复现比例因此可能接近 1,哪怕该模式弱到无关紧要。 去掉强度下限后,XGBoost 在 F1–F10 上仍找回全部实质交互,但假发现比例升到 0.24,在无交互设计上每次运行都返回列表;加上下限后,无交互设计上 120 次 XGBoost 运行中只有 7 次返回一对。

启示与展望

演示范围是 16 个合成设计加法国车险与两个信用数据集,模型族为 XGBoost 与 DIAMOND 的多层感知机;LENS 检验的是拟合模型学到的交互,且两个模型来自同一学习算法。

特征强相关时,代理对仍会被保留:在 Pair-corr 设计上,XGBoost 版 LENS 的假发现比例为 0.67。复现比例单独使用会保留任意弱的共享模式,因此强度下限不可省;作者也指出跨学习算法的复现变体尚未评估。