跳到主要内容
返回时间线
arXiv来源发表:

冻结的时间序列基础模型也能连续换工况:PACT只改嵌入,四工况轴承流平均宏F1保持0.95以上

核心概要

时间序列基础模型在工况反复变化时,整体微调会改动所有工况共享的参数,旧工况随之退化。PACT把冻结的源嵌入空间划成若干局部区域,每个新工况只在受影响区域学一份轻量残差修正,并保留一条恒等通路,由学习到的门控在推理时软性选择。在四工况轴承故障流上,每个新工况只用5%标注校准数据、推理时不提供工况身份,平均宏F1保持在0.95以上。

Source-provided article image: Recurrent Domain Incremental Adaptation of Time-Series Foundation Models
arXiv

深度剖析

时间序列基础模型在工况反复切换时,可以只修正嵌入空间里受影响的局部区域,而不改动预训练编码器和分类头。 此前要么整体微调共享参数,要么用正则化约束改动,前者会牺牲旧工况,后者在适应与保持之间取舍;按工况分配参数的方法通常依赖硬路由或工况身份。 在冻结的Sundial骨干上,PACT在FD、WISDM、HHAR和UCI-HAR四个数据集上取得最高最终平均宏F1,其中FD和WISDM分别比表中最强基线高11.15和8.34个百分点,HHAR上领先0.71个百分点,Sleep-EDF上LwF以0.09个百分点领先。

修正发生在分类头之前的嵌入上,编码器、分类头和此前学到的修正全部冻结,新工况无法覆盖它们。 每个新工况到来时,用其少量标注校准样本在源嵌入空间划分出的各个局部区域(以源嵌入k均值质心定义的Voronoi区域)内学习低秩残差修正,初始化为零即恒等。 每个新工况的校准预算为FD、HHAR、Sleep-EDF训练划分的5%,WISDM至多450例,UCI-HAR至多100例;推理时不提供工况身份,由每个区域的两层MLP门控在恒等通路与已积累的修正之间做softmax加权。

恒等通路让旧预测只在门控把嵌入送入非恒等修正时才可能改变,因此保留有可分析的条件。 PACT冻结此前学到的修正并只更新其路由,参数得以保留,但门控重拟合仍可能改变先前工况上的预测,因此不保证旧预测不变。 在FD上,命题1对891个初始正确的源预测中的889个给出保持认证,这889个认证预测全部保持正确;HHAR和UCI-HAR的认证覆盖率分别为97.5%和71.1%,认证预测均被保持。

启示与展望

演示范围是标签空间与任务同构、工况反复出现的时间序列分类流:FD四个运行工况、HHAR九个用户、WISDM与UCI-HAR及Sleep-EDF各九名受试者,推理时不提供工况身份,校准只用新工况训练划分的一小部分标注样本。

保持是条件性的而非零遗忘保证:剩余误差来自路由和所施加修正的幅度,门控重拟合仍可能改变先前工况上的预测。重叠工况仍难区分,HHAR和UCI-HAR上与oracle路由的差距说明工况分配还有改进空间;校准类别失衡或缺失类别会降低适配质量,FD上把85%标签给单一类别使平均宏F1下降9.08个百分点。