公平图聚类不再只修结果:FairPGT把注意力也拉回组别中性,最大三图上统计平价差距约为DMoN的十分之一
核心概要
属性图聚类若让社区与受保护群体重合,聚类结果就会带上人群偏差,而图变换器的注意力本身也会偏向同组节点。FairPGT把注意力限制在METIS划分内并用路由令牌跨划分传递信息,同时在聚类分配上用互信息项约束统计平价、在编码器注意力上用归一化跨组注意力比(nCGAR)做自蒸馏。在Credit、Pokec-n、Pokec-z三个最大图上,它同时取得最高NMI和最低统计平价差距,差距约为DMoN的十分之一;在社区与群体完全重合的随机块模型上,其NMI达到任何精确公平聚类理论上界的97%。
深度剖析
公平图聚类现在可以同时约束两处:聚类分配的人群比例,以及编码器注意力对不同群体的偏向。 此前的公平聚类方法只在分配或表示上加约束,其编码器不使用注意力,因此注意力的群体依赖既未被测量也未被控制。 在Credit、Pokec-n、Pokec-z三个最大图上,FairPGT是唯一同时取得最高NMI和最低统计平价差距的方法;Pokec-n与Pokec-z上的差距为0.006和0.005,约为DMoN的0.054和0.056的十分之一。
做法是把全局注意力切成小块,再用少量令牌把各块连起来,使变换器能处理数万节点的图。 全局注意力每层代价随节点数平方增长,在公平图学习基准的较大图上难以承受。 注意力在METIS划分内计算,每个划分约2500个节点,划分之间通过每划分一个路由令牌做全局自注意力与回传;在LastFM上划分从1增到64时峰值内存从11.9 GB降到0.75 GB。
注意力层面的公平用一个可读的比值来度量:归一化跨组注意力比(nCGAR),1表示与群体构成相符的中性注意力。 原始注意力质量计数无法区分“偏好本组”和“大组天然获得更多注意力”,nCGAR按划分内群体构成做归一化,因而可跨划分、层、头比较。 训练时把当前注意力按nCGAR重新平衡后作为自蒸馏目标;在社区与群体完全重合的随机块模型上,只用分配层公平项会让注意力反弹为偏异组(nCGAR达2.9至3.7),两项同时使用时nCGAR保持在0.84至1.01。
启示与展望
实验覆盖七个属性图(391至67796个节点),受保护属性在五个图上为二元、在Pokec两图上为四组,类别标签只用于评估;受保护属性仅进入训练目标,推理时模型只从节点特征计算聚类。在NBA与German两个最小图上,公平谱聚类sFairSC的NMI或统计平价差距优于FairPGT。
nCGAR平衡的是每个划分内的聚合注意力,而非按群体分别平衡;在LastFM第二层,一组送出56%至62%的跨组注意力,另一组为34%至49%,聚合平衡部分来自两者相互抵消。方法为直推式,划分与谱编码在全图上一次算好,加入新节点目前需要重跑整个流程;多属性交叉群体(如性别与四个年龄组)尚未评估。
