跳到主要内容
返回时间线
arXiv来源发表:

表格聚类不再逐数据集调参:TabClustPFN 一次前向同时给出分组与簇数

核心概要

TabClustPFN 把表格聚类改成一次前向推理:预训练好的网络直接输出每个样本的簇归属和簇数,不再为每个数据集单独拟合。此前基于先验拟合网络的聚类方法要么要求已知簇数,要么靠按到原点距离排序簇标签来回避标签置换,且预训练先验只覆盖低维高斯混合。在 44 个真实表格数据集上,该模型在已知簇数与自行推断簇数两种设定下的中位 ARI 排名分别为第一和第二,推断簇数的中位绝对误差约为 1。

深度剖析

表格聚类现在可以在一次前向中同时得到簇归属和簇数,不需要针对单个数据集做优化或调参。 此前的先验拟合网络聚类方法只部分解决无监督带来的困难:ZEUS 学出表格嵌入后仍交给需要已知簇数的 k-means,Cluster-PFN 则用簇中心到原点的距离强行给簇排序来消除标签置换。 在 44 个真实表格数据集上,已知簇数的 TabClustPFN 取得最好的中位 ARI 排名,用网络自行推断簇数的版本排名第二;推断簇数的中位绝对误差约为 1,低于其他基于先验拟合网络的方法。

模型把簇归属和簇数拆成两个网络,前者在给定簇数下推断划分,后者从划分统计量反推簇数。 划分推断网络维护 K 个可学习的簇原型,与数据表示通过交叉注意力反复互相修正,再用归一化后的余弦相似度加 softmax 得到软归属;簇数推断网络把各候选簇数下的共归属统计量汇总后送入多层感知机。 预训练数据由受控重叠的高斯混合与经可逆残差网络非线性变换的簇两类合成数据混合构成,覆盖数值与类别混合特征;训练目标采用可微的调整兰德指数松弛,按构造对簇标签置换不变。

启示与展望

演示范围是簇数 2 到 10、特征维不超过 64、样本数不超过 1000 的表格数据集,真实基准由 OpenML 与 UCI 等来源筛选后共 44 个;超出该范围的样本数和特征维另有冻结权重的分布外评估。

特征维超出预训练范围时直接外推较困难,主因是降维后簇数估计变差,从而拉低未知簇数下的 ARI;高难度合成数据集上各方法的表现都明显下降,该模型也不例外。