跳到主要内容
返回时间线

KAN符号提取不再逐边孤立拟合:改用端到端损失选算子,Feynman任务中位测试误差最多降99.8%

核心概要

Kolmogorov–Arnold网络(KAN)的边函数可以换成符号算子,从而得到可检验的解析表达式,但常规做法是逐条边单独拟合算子,结果对初始化和参数拟合很敏感。GSR把候选算子临时插入网络、短时微调后按端到端损失择优;GMP则用可微门控在训练中学习算子偏好,再离散化并可选做短程贪心修正。在SRBench的Feynman十个目标上,单因素超参数扫描显示GSR与FastKAN+GSR在七个目标上取得最低中位测试误差,其中Feynman I.12.1上FastKAN+GSR把中位误差从9.49降到0.0212。

Source-provided article image: In-Context Symbolic Regression for Robustness-Improved Kolmogorov-Arnold Networks
Fig. 1 · 第 3 页

深度剖析

KAN的符号提取改为在整网语境中评判候选算子,而不是只看单条边曲线拟合得好不好。 此前的AutoSym做法把每条学到的边函数单独采样,再挑局部拟合最好的库算子,因此同一数据集在初始化、样条网格或训练稍有变化时就可能选出不同算子。 在SRBench Feynman十个目标上做单因素扫描,宽度、正则强度与剪枝轮数逐一变动,GSR与FastKAN+GSR在七个目标上取得最低中位测试误差,而FastKAN+AutoSym在II.34.29a、II.6.15a、II.6.15b三个目标上最低。

GSR按边重要性逐条转换:把候选算子临时放到该边上,短时重训整个网络,用验证损失决定是否提交。 这种选择方式借用了匹配追踪的贪心结构,但字典是符号算子库,改进判据是整网端到端损失,而不是残差范数或单条曲线的拟合误差。 实验使用含25种一元算子形式的算子库,每个候选评估100步,参考配置为宽度5、正则系数10^-2、3轮剪枝、种子1,每个数据集共15次运行、12种不同配置。

GMP把算子选择搬进训练:每条边在算子库上维护一组可微门控,用熵正则和周期性top-k剪枝逼出稀疏选择,收敛后取最大概率算子并可选做受限贪心修正。 这样不必为每条边逐一试遍所有候选,把昂贵的语境评估摊销到训练过程中,代价是门控收敛可能慢于贪心后处理。 在共享的剪枝节奏下,部分GMP运行在默认设置下不可用或成功种子少于三个,II.6.15a上GMP虽取得该固定设置的最低均值,但作者提示应谨慎解读。

启示与展望

结论限定在SRBench Feynman带单位子集的十个目标、固定训练协议与含25种一元算子的库内,衡量的是宽度、正则强度、剪枝轮数与随机种子扰动下的测试误差分布,而非真实科学数据或高噪声、稀疏观测、分布外场景。

作者指出单因素扫描无法刻画宽度与剪枝等因子的高阶交互,算子库内的仿射重参数化会让不同算子在有界域上难以区分,因此“正确恢复”本身并不唯一;GMP的部分缺失被归因于门控在共享剪枝节奏下分离较慢,属于当前流程下的失败而非定论。