共享决策规则可以只改自己那一块:30条记录下96.6%,七种基线全部不劣
核心概要
多家机构共用同一条公开决策规则,各自握有证明规则在本方对象上出错的私有记录,却不愿汇总。一种做法把公开规则精确编译成小型ReLU网络,各方只能提交带类型的声明,经证据门筛选后编译成写入本方保留单元的权重补丁。在两项预先注册的合成数据检验中,每方30条记录时该学习器得分96.6%,未改动的公开规则为91.7%,对七种经调优的基线均达到2个百分点以内的非劣效;去掉编译先验后同一搜索降至84.0%。
深度剖析
共享决策规则现在可以只在本方对象上被修正,而不改动其他任何一方的判定。 此前要么把记录汇总训练一个共同模型,要么用联邦学习交换梯度或权重,前者按设计就泄露记录,后者可从上传量反推记录,且事后移除一方需要重训或近似遗忘。 在第二项确认性检验的主格(本方专属真值、无标签噪声、每方30条记录)上,带证据门的类型化学习器得分96.6%,未改动的公开规则为91.7%,对七种经交叉验证调优的基线全部满足2个百分点以内的非劣效,每个配对差的置信下界都在零以上。
改动以声明为单位,声明由公开编译器转成只写入本方保留单元的权重补丁。 声明只是几个取自固定类别的命名取值,例如对象、适用范围、形式与幅度,学习器在本方记录上穷举这个小空间,并只在记录通过一个考虑选择效应的证据门时才提交。 验收方从声明重新推导补丁并做穷举检查;在合成基准的每一次抽样中,类型化补丁对其它方的溢出为0,撤回后模型哈希逐位复原,每方披露约2.2个声明取值,而汇总与个性化联邦对照上传210到约992个取值。
这套机制在规则之外还有边界:它只收紧规则,且依赖一个尚不存在的参考集。 当真实情况比公开规则更宽松、或由所有方共享时,逐方声明无法表达,学习器只能选择不改或落后于汇总方法。 在放宽类真值上,学习器在0.0%的抽样中提出声明,准确率与公开规则相同(93.5%对93.5%);在共享真值上落后于汇总大网络与汇总梯度提升树;验收测试所需的、没有任何一方参与挑选的带标签参考集,目前在任何已知应用中都还不存在。
启示与展望
已演示的范围是合成筛查基准上的准确率比较,以及一条公开降额规则在三千三百万个有效输入上的精确编译、组合、非干涉与精确撤回;真实记录基准没有准确率评估,因为真实器件不存在留出真值。材料面向需要让多方在不汇总记录的前提下修正同一条规则的工程师与标准使用者。
类型化空间是按包含本方专属真值构造的,因此可实现在设计上成立;证据门在打乱结果上提出的比例远高于预先设定的10%,在第二项检验后的探索性零假设检查中,调优设置在100条记录时假提议率为6.2%,超过其5%的选取上限。给定记录的语言模型在一次抽样上判定360个探针项中的347项正确,补丁网络为348项。
