跳到主要内容
返回时间线
researchsquare.com来源发表:

隐私联邦学习不再整包上传:按网络阶段筛出可共享的体育语义,强隐私下识别率提高约4个点

核心概要

体育图像分散在学校、俱乐部等机构,联邦学习虽不传原图,但上传的模型更新仍可能泄露信息,差分隐私的裁剪与噪声又会损伤有用知识。FedSS 在裁剪之前按网络阶段评估每部分更新的可共享程度,只把跨客户端可迁移的体育语义加噪上传,把客户端特有的外观、背景等上下文留在本地。在 sport22 与 sport100 上,它相对最强基线 DPSIR-Fed 在视觉上下文异质设置下分别高出 5.78 和 5.71 个百分点,在 ε=4 的强隐私设置下把 sport22 准确率从 42.67% 提到 46.81%。

Source-provided article image: FedSS: Shareability-Aware Privacy-Preserving Federated Learning for Sports Recognition
researchsquare.com · 第 8 页

深度剖析

联邦体育识别现在可以只共享跨客户端通用的那部分模型更新,而不是把整份更新统一裁剪、加噪后上传。 此前的差分隐私联邦学习把本地表示和模型更新当作一个整体处理,不区分哪些成分适合跨客户端共享。 在 sport22 与 sport100 的视觉上下文异质设置下,FedSS 的 Top-1 准确率比最强基线 DPSIR-Fed 分别高 5.78 和 5.71 个百分点;在标签与视觉上下文同时异质的设置下,优势为 3.11 和 2.64 个百分点。

做法是把 ResNet-18 主干切成五个阶段,为每个阶段算一个 0 到 1 之间的可共享系数,再据此把候选更新软拆成体育语义部分和客户端上下文部分。 可共享系数由三项等权平均得到:该阶段对正确识别运动的贡献、与服务器维护的跨客户端历史更新的一致性、以及该阶段信号在隐私扰动下的稳定程度。 只有体育语义部分经过 L2 裁剪和高斯加噪后上传,上下文部分以本地残差形式保留、不参与通信;实验在 100 客户端、每轮 10% 参与和 500 客户端、每轮 2% 参与两种规模下进行,结果取三个随机种子的均值与标准差。

启示与展望

演示范围是 sport22 与 sport100 两个公开体育图像分类基准上的 ResNet-18 分类器,覆盖 IID、标签异质、视觉上下文异质及其组合四种数据分布,以及 100 客户端 10% 参与和 500 客户端 2% 参与两种联邦规模。默认配置为 400 轮通信、20 个本地轮次、裁剪阈值 0.4、噪声乘子 0.95,在 S1 下对应约 ε=12 的隐私预算。作者提出后续将扩展到视频与多模态体育数据、真实的跨机构数据异质以及更细粒度的自适应可共享性估计。

隐私保证依赖每次释放的客户端更新都被独立裁剪与加噪,可共享系数和本地残差不得直接上传;理论分析中的语义与上下文分解只用于分析,训练时并不可得。可共享阈值 τ 与上下文保留系数 μ 在中等取值时最好,过大或过小都会削弱效果;联邦规模从 S1 增到 S2 时所有方法的绝对准确率都下降。作者说明代码与实验配置将在合理请求或发表后公开。