联邦学习的隐私保护技术研究

石进 周颖 邓家磊

摘  要：联邦学习作为一种新兴的人工智能计算框架，旨在解决分布式环境下数据安全交换与隐私保护，然而联邦学习在应用时仍然存在安全问题。鉴于此，文章从多个层面分析联邦学习的隐私安全问题，并针对性地提出了防御措施;面向联邦学习安全高速数据交换，提出了一种基于改进同态加密算法的联邦学习模型，为联邦学习落地实施提供借鉴和参考。

关键词：联邦学习;用户隐私;数据安全;同态加密

中图分类号：TP309;TP181      文献标识码：A 文章编号：2096-4706（2021）01-0138-05

Study on Privacy Protection Techniques of Federated Learning

SHI Jin，ZHOU Ying，DENG Jialei

（Diankeyun（Beijing）Technology Co.，Ltd.，Beijing  100041，China）

Abstract：As a new artificial intelligent computing framework，federated learning aims to solve the problem of data safety exchange and privacy protection in distributed environment. However，federated learning still has security problems in application. In view of this，the paper analyzes the privacy security issues of federated learning from multiple levels and contrapuntally puts forward defensive measures. A federated learning model based on improved homomorphism encryption algorithm is proposed for high-speed data exchange of federated learning security，which provides reference for the implementation of federated learning.

Keywords：federated learning;user privacy;data security;homomorphism encryption

0  引  言

联邦学习顺应了移动互联网时代对安全隐私问题的需求，一经出现即受到广泛关注，在科技金融、医疗卫生等行业的应用也在逐步推广。微众银行推出了开源联邦学习框架FATE，谷歌公司推出了TensorFlow Federated（TFF），Uber公司也推出了开源框架Horovod，上述框架可帮助开发者快速实现联邦学习在行业领域的落地实施。然而联邦学习在数据采集、模型训练的过程中可能面临隐私泄露和数据安全问题，本文通过分析联邦学习存在的问题及应对策略，推动联邦学习应用安全落地。

1  联邦学习中的特性和问题

1.1  联邦学习的特性

面向分布式环境下数据资源共享交换，谷歌在2016年最先提出联邦学习模型，并且能够保证数据提供方的隐私和数据安全[1]。与传统集中式的数据训练方式不同，联邦学习的训练过程发生在终端侧，即训练数据保存在终端本地，无需上传至云端，这种方式极大地降低了原始数据泄露的风险。

与传统的数据拥有者提供数据且以集中式的方式完成训练过程不同，联邦学习在数据拥有者本地完成训练过程。联邦学习通常具有以下特性：

（1）大规模分布性（Massively distributed）：参与数据训练的终端呈现分散分布的特点，终端多，规模大，多终端联合训练共同构成训练模型。Mcmahan等[2]研究显示，Facebook、微信等热门移动应用的月活跃用户规模达10亿量级，传统的分布式机器学习难以适应如此巨大规模的数据分布。

（2）独立性（Non-IID）：终端侧的训练数据通常与终端用户的使用习惯、行为爱好等个性化行为密切相关，因而终端数据独立，且各终端的数据分布通常不一致。因而，数据的总体分布不会由某个特定终端側的数据分布决定。

（3）不平均性（Unbalance）：由于个体差异性，终端侧的数据量差别较大，训练集的数量没有明显的规律。

（4）通信受限（Limited Communication）：联邦学习在数据训练时会受到终端在线时间、网络环境等因素的影响，很难保证终端保持固定且全程参与训练过程。

1.2  联邦学习的过程步骤

联邦学习的参与方分为服务器和终端，其中终端负责本地训练，服务器负责对终端训练的模型进行联合构建后获得共享模型。联邦学习训练过程步骤如下所示：

（1）终端从服务器下载最新的共享数据模型。

（2）终端利用保存在本地的数据集训练该共享模型，并将本地的模型上传至服务器。

（3）在服务器上，依据权重通过加权平均的方式对各终端侧上传的模型进行计算，得到更新后的共享模型。

（4）终端从服务器下载更新后的共享数据模型。依据各方数据源的分布情况不同[3]，联邦学习分为3类：横向联邦学习（Horizontal Federated Learning）、纵向联邦学习（Vertical Federated Learning）和联邦迁移学习（Federated Transfer Learning）。横向联邦学习是指各数据源之间的参与用户重叠少而数据特征重叠多的情况，通过从用户维度对数据集进行切分，利用数据特征相同但用户不完全相同的数据进行训练。纵向联邦学习是指各数据源之间的参与用户重叠多而数据特征重叠少的情况，从数据特征维度对数据集进行切分，利用相同用户但数据特征不完全相同的数据进行训练。联邦迁移学习是指数据特征和参与用户重叠都较少的情况，无须对数据集进行切分，而是采用迁移学习的方式来解决数据来源少或者标签数据量少的问题。

1.3  联邦学习产生的隐私和安全问题

联邦学习虽然能够保证数据在本地完成训练过程，无须将数据直接提供给第三方，但是其仍然存在一些隐私和安全问题，主要体现在以下几个方面：

（1）在数据采集阶段的直接数据泄露。主要表现在数据收集者在未经允许的情况下私自收集用户数据，或者将数据直接交换共享等。

（2）由于模型泛化能力不足而出现的间接隐私泄露。主要表现在有经验的数据分析者通过模型逆向推理手段从共享模型中发掘若干与用户相关的数据，究其原因是复杂的模型在数据训练时对数据有一定的“记忆”效果。

（3）由于安全防御手段不足导致的模型污染。主要表现在一些攻击者假冒数据提供者提供一些伪造的数据，进而导致模型不能反映实际的数据分布特征。

本文重点讨论间接的隐私问题和安全问题，隐私问题通常发生在模型训练阶段，用户可能对数据一无所知，也有可能具有一定的专业背景知识，通过对模型进行分析提取出敏感的个人信息，但是模型本身不受影响;与隐私问题不同的是，安全问题可以发生在模型训练或者模型应用阶段，模型被恶意诱导或者毁坏，但是数据本身不受影响。

2  联邦学习中的隐私和安全问题

2.1  隐私攻击

2.1.1  成员推断攻击

成员推断攻击是指非法攻击者推测某个用户是否是模型的训练者之一，即成员数据是否被应用于训练。成员推断攻击可能会泄露数据成员信息，比如，在金融或者医疗等领域应用时，用户身份非常敏感，成员推断攻击可能会造成严重的后果。

成员推断攻击首次出现在Shokri等[4]的论述中，假设成员推断是在“黑盒模式”下进行，通过模拟数据构造一个影子模型，根据影子模型和目标模型的训练结果来判断目标是否是模型训练的实际参与者。Salem等[5]提出了一种更为宽松约束条件下的推断攻击方法。Yeom等[6]提出了一种“白盒模式”下的推断方法，即攻击者已知模型训练方法，通过评估某条数据在模型训练时的损失是否超过平均训练损失来判定该数据是否是训练数据。

目前，成员推断攻击在实际应用时有较大的局限性，通常在满足特定的假设条件下进行，但是随着研究的深入，成员推断攻击可能带来的损失很难估量。需要通过优化模型和训练算法，结合加密手段、干扰措施来增强联邦学习的隐私保护能力。

2.1.2  模型逆向攻击

通过动态解析或者计算数据间的相似度的方法，可以从结构简单的算法模型中推断出用户隐私信息。Fredrikson等[7]在已知患者的基本信息和预测结果的条件下，针对用药线性模型成功推断出患者的敏感基因型。在一些复杂的算法模型中，在已知样本标签的条件下，利用预置信度对模型不断修正，成功获得用户的真实信息[8]，但这种方法仅适用于训练样本量很小的情况。

2.1.3  模型提取攻击

早期的模型提取攻击方法简单，应用范围小[9]。Tramèr等[10]在等式求解的基础上，结合预置信度极大地提高了攻击效果，模型提取攻击的范围进一步加大。Shokri等的研究结果表明，训练模型对训练数据有一定的“记忆”效果，在提取的替代模型的基础上再次进行模型逆向攻击将会更大提升其危害性。

2.2  安全攻擊

2.2.1  对抗攻击

对抗攻击通过在模型训练中添加伪造样本（即对抗样本），改变模型训练结果，进而使得模型输出效果与真实数据分布不一致。研究发现，通过在数据中添加一个微小的改变即可改变训练输出结果[11]。对抗攻击出现了多种不同的形式，如Least-Likely-Class Iterative Methods[12]、Jacobian-based Saliency Map Attack（JSMA）[13]、DeepFool[14]等等。对抗攻击由于其使用约束条件简单，伪造成本低，已被攻击者广泛应用于图像、语音、文本等多个领域，成为数据模型的一个重要威胁。

2.2.2  数据投毒攻击

数据投毒攻击是指攻击者通过添加错误样本或者伪造标签，降低训练数据的质量，进而影响训练模型的过程。文献[15]通过多种混合注入方式，在少量注入伪造数据的情况下即可获得九成以上的攻击成功率。文献[16]和[17]针对某些算法的优化梯度，通过梯度上升策略改变模型训练结果。数据投毒攻击也是一种被广泛研究的攻击手段。

2.2.3  模型投毒攻击

不同于数据投毒攻击直接对数据进行操作来影响模型训练，模型投毒攻击利用错误的参数或者无关的模型，在共享模型聚合的过程中延长模型的收敛时间或者形成非预期的模型，严重影响模型的准确性。文献[18]通过伪造代理的方式参与模型训练，攻击方式隐蔽而且效果很明显。

3  联邦学习中的隐私保护技术

3.1  隐私泄露防御

3.1.1  差分隐私

联邦学习中任何一个数据提供方都可以从服务器中获得总体参数，恶意的数据提供方通过分析共享模型，导致其他数据提供方的隐私信息可能会存在泄露风险，考虑采用差分隐私保护的方法来规避隐私泄露风险。

对于任意的邻近数据集D和D′，都能满足Pr[M（D）∈S]≤eε·Pr[M（D′）∈S]，其中M、R为所有输出的集合，S为R的任意子集，则称算法M满足ε-差分隐私。当ε越大时，算法M的模型准确性更高，但是隐私保护等级越低。

通过差分隐私技术能够保证共享模型不会泄露数据提供方的信息，即能够在一定程度上防御成员推理攻击。研究结果表明，在数据提供方数量较大时，通过隐私差分技术能够以较小的性能损失来保护数据提供方的隐私[19]。差分隐私也存在一定的局限性，它只能对单一记录提供隐私保护，如果不同的记录之间存在一定的关联关系，攻击者仍然可以对满足差分隐私保护的算法进行成员推理攻击[20]。

3.1.2  同态加密

采用同态加密的方式来保护用户隐私是一种常用的防御手段。对使用同态加密的数据进行处理得到一个输出，对输出进行解密得到一个结果，与用同一方法处理未加密的原始数据得到的输出结果是一样的。利用同态加密，对加密后的参数进行聚合后就无法获得原始用户参数。

加性同态加密的定义为：

Encpk（m1）=c1，Encpk（m2）=c2

Decsk（c1?c2）=m1+m2

其中，加密方案公钥加法同态加密，pk是公钥，sk是私钥，密文c1是对明文m1的加密结果，密文c2是对明文m2的加密结果，而?是某种乘法或者加法运算。利用同态加密结合联邦学习，通过同态加密对模型训练的中间结果进行加密，能有效保证联邦学习模型训练过程中用户隐私。

3.1.3  秘密共享

秘密共享机制适用于解决恶意服务器参与联邦学习的训练时敏感信息泄露的情形。服务器作为共享模型的聚合方，能够轻易获得各个数据提供方的模型参数信息，这对数据提供方的隐私带来巨大的威胁。

（n，t）秘密共享是一种常用的秘密信息共享手段，其中n是秘密被划分的数量（秘密被划分为n份后，分别有n个参与方保管，每个参与方保管1份），t为参与恢复秘密的用户数量。该算法将秘密信息s划分为n份，分别由n个不同的参与方保管。任意t个参与者合作都可以恢复秘密信息s，少于t个参与者则无法恢复秘密信息s。通过秘密共享的方式，将秘密的所有权分散至各个参与方，而非某个特定的管理方或参与方，避免由于单个管理方或者参与方被攻击导致的秘密泄露，在很大程度上提高了秘密信息的安全性。

3.2  安全防御

3.2.1  对抗攻击防御

在模型构建的全生命周期，有多种防御手段应对对抗攻击，主要包括以下三种：

（1）对抗训练。在模型训练阶段，将真实样本和对抗样本一起作为训练样本来生成结果模型。对抗训练能够在训练阶段就发现对抗样本的特征，具有较强的健壮性。但该方法仅适用于训练样本中的对抗集，不能很好地适应未知对抗样本的情况。

（2）数据处理。针对对抗攻击的数据处理方法主要分为三类。一类是向样本中加入白噪声，通过对样本进行随机化处理增强模型的泛化能力，比如对图像数据进行裁剪、翻转、缩放等方式，能在一定程度上防御对抗攻击;第二类是对样本进行过滤降噪，减轻对抗样本带来的干扰，比如通过平滑空间滤波、标量量化等处理手段来降低噪声的影响，能够有效发现对抗样本;第三类是对样本进行压缩，该方式仅适用于图像，即对压缩后的图像进行训练，该方法在降低噪声比例的同时也会降低图像分类的准确率。

（3）防御蒸馏。利用训练集获得一个原始模型，通过模型提取的方式从原始模型中“蒸馏”出一个新的模型，该方法能降低模型的复杂度。对防御蒸馏技术的研究表明，该方法能显著降低对抗攻击的成功率，且在没有明显干扰的情况下保证模型训练的准确度和效率。

3.2.2  数据投毒防御

从数据训练流程分，数据投毒防御分为两种。一种是在训练数据之前采用技术手段保证数据提供方的合法用户身份;另一种是在模型训练中，对于无法保证数据安全性时，采用检测手段来保证数据不被非法篡改。

為保证数据源不受污染，在数据训练之前应采用健壮的身份认证机制来验证用户身份，避免由于恶意用户参与导致的数据不可信。

在模型训练过程中，通过将数据集分为若干个子集合，分别对子集合进行训练并比较模型训练的结果来找出表现异常的数据子集，该方法具有较高的识别准确率。

3.2.3  模型投毒防御

对于模型参数更新异常问题，防御方法主要分为两种。一种是统计方法，即将各个数据提供方提交的模型参数进行统计学分析（如直方图统计），若某个参数的统计规律明显跟其他参数存在差异，则认为该参数的提供方不可信。另一种是准确度比较，即对比各个模型在验证集上的准确度，对于明显低于平均准确度的模型，则认为其提供方存在异常。

4  一种基于改进同态加密的联邦学习模型

4.1  同态加密改进算法

同态加密是一种无须访问原始明文数据的密码技术，通过对加密后的数据进行运算并解密，与直接在原始明文数据上运算得到的结果一致。将同态加密与联邦学习结合，对训练方向参数服务器传递的中间训练结果进行加密，保证训练方的数据不被第三方获知。2009年，Gentry提出第一个具有可证明安全性的全同态加密方案，后来出现了多种全同态加密方案，但是全同态加密方案的效率很难满足实际应用需要。Dijk提出了全同态加密方案DGHV，该方案是部分同态加密经典方案。DGHV采用对称加密算法c←m+2r+pq，其中m是原始明文，m∈{0，1}，r是加密用的随机整数，p是私钥，q是密钥生成阶段的整数，c是密文。解密过程为（c mod p）mod 2=Lsb（c）xor Lsb（c/p）。在该算法中，由于随机数r的存在，无法还原m的实际数值。m+2r是算法中的噪声，当m+2r≥p/2时无法完成正确解密。

在上述DGHV算法中，每次只能加密1 bit的原始明文，通过提高每次加密的明文大小来提高同态加密算法的实现效率，具体步骤为：

第一步：在密钥生成阶段，基于安全参数λ来生成私钥p和大整数q;

第二步：对明文加密，c←m+2nr+pq，其中c是密文，m是原始明文，n是每次加密的比特数，r是加密用的随机整数，其中m+2nr

第三步：对密文解密，m←（c mod P）mod 2n。

4.2  同态加密改进算法在联邦学习中的应用

基于同态加密改进算法的联邦学习的参与方包括多个数据训练方和一个参数服务器，联邦学习的过程包括模型训练阶段和模型应用阶段。基于同态加密改进算法的联邦学习训练阶段过程如图1所示。

4.2.1  模型訓练阶段

模型训练阶段的流程图如图2所示。

第一步：参数初始化。参数服务器利用随机数算法生成深度神经网络模型参数，包括权重、偏置项;各个数据训练方根据4.1节中改进的同态加密算法确定同态加密参数，包括公钥pk和秘钥sk，迭代次数、优化算法、mini-batch值和学习率;

第二步：参数下载。各数据训练方从参数服务器下载权重参数密文，利用秘钥sk解密权重，并将权重加载应用于本地模型;

第三步：训练学习。根据训练参数对本地数据进行训练，利用公钥pk对训练更新后的模型参数同态加密后发送至参数服务器。

第四步：参数更新。参数服务器对各个训练方上传的参数进行平均运算，并更新全局权重参数值。

第五步：迭代训练。重复步骤二至步骤四，直至满足迭代次数。

4.2.2  模型应用阶段

在模型训练完成后应用模型。在模型完成训练后，参数服务器将训练好的全局模型权重分发至各个训练方，各个训练方在本地利用私钥sk解密后部署在本地模型中。参数服务器断开与数据训练方的通信连接。

模型能够应用在交通领域的用户出行规律预测方面，通过引入商业公司数据（如一些移动应用产生的用户数据）能够极大地提升用户出行行为选择预测的准确度，而且由于联邦学习的引入，各模型在数据所有者控制范围内训练，解决了跨领域、跨业务的数据安全共享问题。

首先，通过横向联邦学习来训练形成航空交通出行模型M1。选择两家航空交通出行公司A和B，以用户在本公司的航班搜索记录、用户搜索时间、用户航班订单、用户出行时间、用户同行人员数量等信息作为训练数据，基于横向联邦学习来对这些交通出行参数数据进行训练，最终得到航空交通出行模型M1。

其次，铁路集团公司对相同用户数据训练获得铁路交通出行模型M2。具体过程为，铁路集团公司以用户在铁路交通出行的订单记录、出行时间等信息作为参数训练，得到铁路交通出行模型M2。

再次，通过纵向联邦学习结合航空交通出行模型M1和铁路交通出行模型M2，得到联合后的训练模型M。结合纵向联邦学习的特点，以相同用户的多种维度的航空交通和铁路交通出行参数作为训练参数指标，在保证数据不出局的情况下，得到综合训练模型M。

接着，通过联邦迁移学习结合综合交通出行训练模型M和用户消费训练模型C（该模型由第三方旅行类APP提供），得到最终的用户出行规律预测模型D。由于交通出行和用户消费特征、样本重叠较少，故适合采用联邦迁移学习来对交通出行训练模型M和消费训练模型C融合计算，形成出行规律预测模型。

最后，重复联邦迁移学习过程并迭代更新模型参数，直至模型训练收敛。

在模型训练和应用过程中，同样需要考虑模型参数的安全问题。结合场景特点，运用改进同态加密手段来保证模型参数不被第三方窃取，具体为：

（1）在航空交通出行模型M1和铁路交通出行模型M2在向综合交通出行训练模型M传递参数时，必须采用私钥加密。

（2）综合交通出行训练模型M在收到加密参数后，利用事先约定的公钥进行解密。如果能够解密，则表明训练方身份验证成功，更新参数，否则丢弃参数。

5  结  论

联邦学习旨在解决数据隐私保护与多数据源联合建模之间的矛盾。本文对联邦学习面临的隐私安全问题和对应的防御手段，为联邦学习在实际场景中落地提供参考。将同态加密与联邦学习结合，解决参数传递过程中数据安全问题，通过改进全同态加密算法，提高了加密传输效率。

参考文献：

[1] MCMAHAN H B，MOORE E，RAMAGE D，et al. Federated Learning of Deep Networks using Model Averaging [J/OL].arXiv：1602.05629 [cs.LG].（2016-02-17）.https：//arxiv.org/abs/1602.05629v1.

[2] MCMAHAN H B，MOORE E，RAMAGE D，et al. Communication-Efficient Learning of Deep Networks from Decentralized Data [J/OL].arXiv：1602.05629 [cs.LG].（2017-02-28）.https：//arxiv.org/abs/1602.05629.

[3] 王健宗，孔令炜，黄章成，等.联邦学习算法综述 [J].大数据，2020，6（6）：64-82.

[4] SHOKRI R，STRONATI M，SONG C Z，et al. Membership Inference Attacks Against Machine Learning Models [C]//2017 IEEE Symposium on Security and Privacy（SP）.San Jose：IEEE，2017：3-18.

[5] SALEM A，ZHANG Y，HUMBERT M，et al. ML-Leaks：Model and Data Independent Membership Inference Attacks and Defenses on Machine Learning Models [J/OL].arXiv：1806.01246 [cs.CR].（2018-12-14）.https：//arxiv.org/abs/1806.01246.

[6] YEOM S，GIACOMELLI I，FREDRIKSON M，et al. Privacy Risk in Machine Learning：Analyzing the Connection to Overfitting [C]//2018 IEEE 31st Computer Security Foundations Symposium（CSF）.Oxford：IEEE，2018：268-282.

[7] FREDRIKSON M，LANTZ E，JHA S，et a1. Privacy in pharmacogenetics：an end-to-end case study of personalized warfarin dosing [C]//Proceedings of the 23rd USENIX conference on Security Symposium.Berkeley：USENIX Association，2014：17-32.

[8] FREDRIKSON M，JHA S，RISTENPART T.Model Inversion Attacks that Exploit Confidence Information and Basic Countermeasures [C]//Proceedings of the 22nd ACM SIGSAC Conference on Computer and Communications Security.New York：Association for Computing Machinery，2015：1322-1333.

[9] LOWD D，MEEK C.Adversarial learning [C]//Proceedings of the eleventh ACM SIGKDD international conference on Knowledge discovery in data mining.New York：Association for Computing Machinery，2005：641-647.

[10] TRAM?R F，ZHANG F，JUEIS A，et al. Stealing machine learning models via prediction APIs [C]// Proceedings of the 25th USENIX Conference on Security Symposium.Berkeley：USENIX Association，2016：601-618.

[11] GOODFELLOW I J，SHLENS J，SZEGEDY C. Explaining and harnessing adversarial examples [J/OL].arXiv：1412.6572 [stat.ML].（2014-12-20）.https：//arxiv.org/abs/1412.6572.

[12] KURAKIN A，GOODFELLOW I，BENGIO S. Adversarial examples in the physical world [J/OL].arXiv：1607.02533 [cs.CV].（2017-02-11）.https：//arxiv.org/abs/1607.02533v4.

[13] PAPERNOT N，MCDANIEL P，JHA S，et al. The Limitations of Deep Learning in Adversarial Settings [C]//2016 IEEE European Symposium on Security and Privacy（EuroS & P）.Saarbruecken：IEEE，2016：372-387.

[14] MOOSAVI-DEZFOOLI S M，FAWZI A，FROSSARD P. DeepFool：A Simple and Accurate Method to Fool Deep Neural Networks [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition（CVPR），Las Vegas：IEEE，2016：2574-2582.

[15] CHEN X Y，LIU C，LI B，et al. Targeted Backdoor Attacks on Deep Learning Systems Using Data Poisoning [J/OL].arXiv：1712.05526 [cs.CR].（2017-12-15）.https：//arxiv.org/abs/1712.05526v1.

[16] BIGGIO B，NELSON B，LASKOV P. Poisoning Attacks against Support Vector Machines [J/OL].arXiv：1206.6389 [cs.LG].（2013-03-15）.https：//arxiv.org/abs/1206.6389？context=cs.

[17] MU?OZ-GONZ?LEZ L，BIGGIO B，DEMONTIS A，et al. Towards Poisoning of Deep Learning Algorithms with Back-gradient Optimization [C]//Proceedings of the 10th ACM Workshop on Artificial Intelligence and Security.New York：Association for Computing Machinery，2017：27-38.

[18] BHAGOJI A N，CHAKRABORTY S，MITTAL P，et al. Analyzing Federated Learning through an Adversarial Lens [J/OL].arXiv：1811.12470 [cs.LG].（2019-11-25）.https：//arxiv.org/abs/1811.12470.

[19] JAYARAMAN B，EVANS D. Evaluating Differentially Private Machine Learning in Practice [J/OL].arXiv：1902.08874 [cs.LG].（2019-02-24）.https：//arxiv.org/abs/1902.08874.

[20] KIFER D，MACHANAVAJJHAIA A.No free lunch in data privacy [C]//Proceedings of the 2011 ACM SIGMOD International Conference on Management of Data.New York：ACM，2011：193-204.

作者簡介：石进（1989—），男，汉族，河南驻马店人，助理工程师，硕士，研究方向：网络安全。