跳到主要内容
返回时间线
arXiv来源发表:

蜂群学习给验证者加一道零知识门禁:梯度放大攻击下,CIFAR-100仍保住94%干净精度

核心概要

蜂群学习把模型验证交给同伴节点,却从不核查这些节点私有数据的质量,验证者本身因此成为攻击面。该框架要求候选验证者先用零知识证明表明参考模型在其私有数据上正确运行,再由已准入验证者经拜占庭容错共识为每个提交确定梯度掩码与聚合权重。在梯度放大攻击使FedAvg跌到随机水平时,CIFAR-100上保留94%干净精度,FashionMNIST上超过99%,而FedAvg分别只有2.1%和11%。

Source-provided article image: Robust and Private Swarm Learning via Zero-Knowledge Validator Admission and Consensus Aggregation
arXiv

深度剖析

蜂群学习不再默认验证者的私有数据可信,验证者必须先证明参考模型在自己数据上跑对,才能参与打分和聚合。 此前的蜂群学习协议不证明验证者所用数据,偏斜、陈旧或对抗性的验证数据无人核查,少数验证者即可左右聚合。 在FashionMNIST参考模型上,60个类别偏斜的验证者各持120样本,用无标签类别画像挑选20个验证者,其合并测试集与均匀分布的总体变差距离为0.025,真实标签的oracle为0.021,随机挑选为0.21。

聚合权重改由验证者对提交的打分决定,不再按客户端自报的数据集大小分配。 FedAvg按本地样本数加权,蜂群学习去掉中心服务器后,这一权重失去了可信来源。 在CIFAR-10强非独立同分布设置下跟踪61轮,持有最大分区的客户端8从FedAvg的23.7%被降到第60轮的17.4%,客户端4从18.4%降到8.9%,客户端7则从15.0%升到23.0%。

梯度掩码只保留对验证损失最敏感的坐标,并按验证者共识分数加权,从而压掉被整体放大的恶意更新。 梯度放大攻击把更新乘以固定倍数,在简单加权平均下单个提交即可主导聚合,使FedAvg跌到随机水平。 在四个数据集、三种拓扑和10%、20%、30%攻击者比例下各跑三个随机种子共216次实验,CIFAR-100在攻击者占10%、20%、30%时分别保留94.1%、94.2%、87.5%,FedAvg在各比例下均为2.1%;FashionMNIST上该方法保留99.5%。

启示与展望

演示范围是四个图像分类基准上的非独立同分布划分,攻击仅限客户端本地的梯度放大,验证者本身未被投毒;零知识准入的完整流水线在单块GPU上以FashionMNIST的紧凑参考模型跑通,单次证明约84秒、验证约3秒、证明文件879KB。

作者明确把对更广泛拜占庭行为的抵抗列为目标而非已证结果,多攻击评估留待后续;准入证明只证明参考模型在承诺数据上正确执行,不保证样本真实、标签正确或数据未被用于训练,验证者用训练过的数据充当评测集仍是残余威胁;极端异质性(Dirichlet参数0.1)和大验证者规模都会侵蚀精度或梯度多样性。