曲线分类不再只靠整条曲线:窗口级主成分让GL-FRF在20个UCR数据集中的16个胜过同树数全曲线森林
核心概要
功能随机森林通常对整条曲线做一次主成分分解,短区间内的判别特征容易被稀释。GL-FRF把调优后的全曲线森林与逐窗口森林用带惩罚的凸权重堆叠,全曲线森林始终是可行解;在20个UCR数据集上,它在16个上优于树数相同的调优全曲线森林,Brier分数最多降低0.21,Holm校正后仍显著。WC-FRF把各窗口得分拼接后训练单一森林,在13个真实数据集上更准,但在信号需要整条曲线的模拟场景中明显变差。
深度剖析
曲线分类的输入表示从整条曲线的一次主成分分解,扩展为整条曲线加若干等宽窗口各自平滑、各自分解的表示,再决定如何融合。 此前的功能随机森林只在全曲线主成分得分上训练,短区间内的判别特征可能被整条曲线的方差结构稀释,而信号位置事先未知。 在20个UCR数据集上,GL-FRF在16个上优于树数相同的调优全曲线森林,Brier分数中位差0.015,最大降幅出现在Trace(0.213)和FreezerRegularTrain(0.178),Holm校正后差异仍显著。
GL-FRF把全曲线森林和每个窗口的森林作为并列专家,用交叉拟合预测估计凸组合权重,权重落在概率单纯形上。 堆叠(stacking)是把多个模型的预测再组合起来的做法,这里两个惩罚项分别把总局部权重拉向全曲线专家、把各局部权重拉向相等。 权重由训练集内三层交叉拟合的预测估计,窗口数和惩罚强度由嵌套交叉验证选择;当局部专家无助于交叉拟合损失时,全曲线专家获得全部权重,方法精确退化为调优全曲线森林。
WC-FRF把各窗口的主成分得分拼接成一个特征向量,训练单一森林,让树在分裂时自行选择窗口并表达窗口间交互。 与先训练各窗口森林再加权的GL-FRF相反,WC-FRF在森林之前融合,因此没有全曲线表示,也没有显式回退。 在20个真实数据集上WC-FRF在13个上Brier分数低于GL-FRF,中位差0.007,但差异不显著(校正后0.286);在跨窗口交互的模拟场景S5中,WC-FRF的Brier分数为0.493,接近常数预测,而GL-FRF为0.079。
启示与展望
评估覆盖12个已知信号结构的模拟场景和20个UCR单变量等长曲线数据集,每类至少12条训练曲线,比较对象限于基于主成分的森林、随机区间森林和功能最近邻。
模拟场景未能复现窗口在真实数据上起作用的那些情形,因此窗口级表示何时优于调优全局表示仍待刻画;局部性对照与GL-FRF在曲线平滑方式上也不同,部分差异可能来自窗口各自的平滑。
