对此,论文《联邦学习中隐私与模型性能没有免费午餐定理》通过研究给出的答案是:隐私保护、模型性能、算法效率三者需要平衡,且可以平衡。
在联邦学习过程中,一个半诚实的攻击者,通过观察和了解参与方的数据信息,可能可以推断用户的隐私数据。这种针对隐私的攻击叫做“贝叶斯推断攻击(Bayesian Inference Attack)”。

文章从信息论的角度,为联邦学习中隐私泄露和效用损失的分析提供了一个通用框架。
这个理论框架揭示了对于满足“贝叶斯隐私”的多方计算系统而言,都满足“ 安全 + 效能 常数”这一“安全-效益恒定定律”。
无免费午餐定理通过量化隐私和效用之间的约束关系,证明信息的相互泄露和模型效能是互相制约的。
之所以叫“无免费的午餐”,是因为研究表明,一般情况下,隐私和效用的权衡中,必须用一定程度的效用降低来交换隐私的保护,将潜在的隐私损失维持在可接受范围内。
那么,能不能发明一种“聪明”的算法,把安全性、模型效能、准确率同时最大化呢?
微众银行AI团队和中山大学合作发表的另一篇论文——《FedCG:利用条件生成对抗网络在联邦学习中保护隐私并保持模型性能》——正面回答了这个问题。
FedCG,文章提出的一种新的联邦学习方法,利用条件生成对抗网络,以实现高水平的隐私保护,同时保持模型的性能。
具体而言,FedCG将每个联邦学习参与者的本地网络分解成一个私有提取器和一个公共分类器,然后保持提取器的本地性来保护隐私。

FedCG概述图
它结合条件生成对抗网络和分割学习,不是暴露提取器,而是通过与服务器共享客户端的生成器来聚合客户端的共享知识,从而提高本地网络的性能。
实验表明,与联邦学习基线相比,FedCG有更好的隐私保护能力,同时在模型性能上也具有竞争力。
另外,考虑到联邦学习不是一次性的训练,它涉及数据的收集、选择,模型的训练、推断甚至交换,整个过程可能面临非法复制、重新分发、滥用的风险。
针对于此,结合对模型知识产权保护的思考,微众银行AI团队进行了一项工作:提出一种联邦深度神经网络(FedDNN)所有权验证方案,称为FedIPR。
《FedIPR:联邦学习模型所属权验证》一文详细介绍道,FedIPR方案允许嵌入和验证私有水印,来申明FedDNN模型的所有权。
有了这个方案,模型由谁做出、有谁用过、谁进行过模型交易,以及模型的危险性、特别性等,都会得到很好的检测。

如此这般,方便了对联邦学习模型进行全生命周期管理,也对模型知识产权起到保护作用。