首页 > 社交 > 科普中国

联邦学习前路如何?杨强:已到“合久必分”的状态

常驻编辑 科普中国 2022-11-15 联邦   合久必分   前路   可信   框架   模型   隐私   团队   状态   性能   银行   数据   论文   杨强
。如果是一个极端安全的模型,安全到不能实际使用,这东西也没用。”FTV拜客生活常识网

对此,论文《联邦学习中隐私与模型性能没有免费午餐定理》通过研究给出的答案是:隐私保护、模型性能、算法效率三者需要平衡,且可以平衡。FTV拜客生活常识网

在联邦学习过程中,一个半诚实的攻击者,通过观察和了解参与方的数据信息,可能可以推断用户的隐私数据。这种针对隐私的攻击叫做“贝叶斯推断攻击(Bayesian Inference Attack)”。FTV拜客生活常识网

FTV拜客生活常识网

文章从信息论的角度,为联邦学习中隐私泄露和效用损失的分析提供了一个通用框架FTV拜客生活常识网

这个理论框架揭示了对于满足“贝叶斯隐私”的多方计算系统而言,都满足“ 安全 + 效能 常数”这一“安全-效益恒定定律”。FTV拜客生活常识网

无免费午餐定理通过量化隐私和效用之间的约束关系,证明信息的相互泄露和模型效能是互相制约的。FTV拜客生活常识网

之所以叫“无免费的午餐”,是因为研究表明,一般情况下,隐私和效用的权衡中,必须用一定程度的效用降低来交换隐私的保护,将潜在的隐私损失维持在可接受范围内。FTV拜客生活常识网

那么,能不能发明一种“聪明”的算法,把安全性、模型效能、准确率同时最大化呢?FTV拜客生活常识网

微众银行AI团队和中山大学合作发表的另一篇论文——《FedCG:利用条件生成对抗网络在联邦学习中保护隐私并保持模型性能》——正面回答了这个问题。FTV拜客生活常识网

FedCG,文章提出的一种新的联邦学习方法,利用条件生成对抗网络,以实现高水平的隐私保护,同时保持模型的性能。FTV拜客生活常识网

具体而言,FedCG将每个联邦学习参与者的本地网络分解成一个私有提取器和一个公共分类器,然后保持提取器的本地性来保护隐私。FTV拜客生活常识网

FTV拜客生活常识网

FedCG概述图FTV拜客生活常识网

它结合条件生成对抗网络和分割学习,不是暴露提取器,而是通过与服务器共享客户端的生成器来聚合客户端的共享知识,从而提高本地网络的性能。FTV拜客生活常识网

实验表明,与联邦学习基线相比,FedCG有更好的隐私保护能力,同时在模型性能上也具有竞争力FTV拜客生活常识网

另外,考虑到联邦学习不是一次性的训练,它涉及数据的收集、选择,模型的训练、推断甚至交换,整个过程可能面临非法复制、重新分发、滥用的风险。FTV拜客生活常识网

针对于此,结合对模型知识产权保护的思考,微众银行AI团队进行了一项工作:提出一种联邦深度神经网络(FedDNN)所有权验证方案,称为FedIPR。FTV拜客生活常识网

《FedIPR:联邦学习模型所属权验证》一文详细介绍道,FedIPR方案允许嵌入和验证私有水印,来申明FedDNN模型的所有权。FTV拜客生活常识网

有了这个方案,模型由谁做出、有谁用过、谁进行过模型交易,以及模型的危险性、特别性等,都会得到很好的检测。FTV拜客生活常识网

FTV拜客生活常识网

如此这般,方便了对联邦学习模型进行全生命周期管理,也对模型知识产权起到保护作用。

相关阅读:

  • 潘周聃回应走红,当时表情僵硬是“有苦难言”,学历背景曝
  • 白宫:紧急情况下医生需遵守联邦法律为女性提供堕胎服务
  • 美国会众议院通过两项法案,旨在从联邦层面保护女性堕胎
  • 俄航天公司的新负责人可能会修订太空计划
  • 苹果公司请求联邦法院撤销Epic案的应用商店相关禁令
  • 早期月球的岩石中发现地球气体可以帮助科学家进一步了
  • 科学家预测地外文明
  • 全球屏息!美联储凌晨发布决议,加息75基点概率高达八成,道
  • 美联储宣布加息75个基点
  • 深夜突发!美联储“暴力”加息75个基点,苹果市值一夜蒸发
    • 网站地图 |
    • 声明:登载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述。文章内容仅供参考,不做权威认证,如若验证其真实性,请咨询相关权威专业人士。