跳到主要内容
返回时间线
arXiv来源发表:

可解释回归不再止于两两交互:MJBoost 用 Kolmogorov–Arnold 单元把三阶以上结构也画出来

核心概要

可解释的表格回归模型通常只保留主效应和两两交互,目标一旦依赖三个以上输入的联合作用,精度就会下降。MJBoost 把每一轮提升的弱学习器换成一个内外函数都带惩罚样条的 Kolmogorov–Arnold 单元,使模型能表示任意阶交互,并给出精确的函数方差分解。在三到六阶交互的合成目标上,其测试误差最多比 EBM 低 13 倍,各阶方差份额与真值相差不超过 0.04;在 OpenML-CTR23 的 35 个回归任务上,它在 21 个任务上优于 EBM、2 个任务上更差。

Source-provided article image: Gradient Boosting with Kolmogorov-Arnold Units for Interpretable Regression beyond Pairwise Interactions
arXiv

深度剖析

可解释的表格回归模型现在可以包含三阶及以上的输入联合作用,而不必退回黑箱加事后解释。 此前的可解释模型,包括可解释提升机 EBM 及其神经版本,都把预测限制在主效应与两两交互之内;当目标依赖三个以上输入时,只能取最佳的主效应加两两投影,剩余部分被丢掉。 在三到六阶交互的合成目标上,MJBoost 的测试误差最多比 EBM 低 13 倍;在指数族目标、交互阶数为三时,归一化测试 RMSE 为 MJBoost 0.017、其两阶截断 0.185、EBM 0.206,说明精度来自三阶及以上的单元。

每一轮提升加入一个 Kolmogorov–Arnold 单元,该单元只通过一条内函数曲线接触每个输入,因此拟合后的模型可以精确拆成主效应、两两效应和高阶余项。 该单元的内函数与外函数都是惩罚 B 样条,通过交替惩罚最小二乘以闭式求解,而不是随机梯度下降;起点取自残差的主 Hessian 方向。 在 OpenML-CTR23 的 35 个回归任务上,主效应与两两效应合计解释拟合模型方差的中位数 0.992;去掉高阶部分使测试 RMSE 中位数上升 4.1%,在 FPS benchmark、video transcoding、auction verification 和 naval propulsion plant 四个任务上分别上升 1981%、1166%、401% 和 252%。

启示与展望

演示范围是合成交互目标、OpenML-CTR23 的 35 个回归任务和 OpenML-CC18 的 32 个二分类与 11 个多分类任务,全部在单 CPU 线程下拟合;代码以 Python 包 mjboost 发布,提供 scikit-learn 接口和函数方差分解。

高阶部分在多数任务上很小,主效应与两两效应已解释中位数 0.992 的方差,因此可读性收益依数据而定;整个 CTR23 运行消耗 130 CPU 小时,约为 EBM 的 1.91 倍,且分类任务上相对 EBM 的优势并不普遍。