针对联邦学习的恶意客户端检测及防御方法

程显淘

(广州大学计算机科学与网络工程学院 广州 510006)

近年来,智能设备的计算能力显著增强,为在大量的分布式设备上训练机器学习模型奠定了坚实的基础.分布式机器学习需要1个控制各节点数据的中心,模型训练时节点的私有数据会离开本地,从而存在潜在的隐私安全问题.基于此,2016年谷歌引入了联邦学习[1],它允许各分布式节点的私有数据不离开本地的情况下,协同训练1个全局模型.联邦学习在保护数据隐私和节省通信带宽方面具有极大的优势,现已被广泛应用于推荐系统[2]、自然语言处理[3]、医疗[4]等领域.

然而,由于联邦学习的分布式性质,其还是很容易受到模型中毒攻击[5-6]的影响.其中攻击者控制的恶意客户端可通过向中央服务器发送被操纵的恶意模型更新破坏全局模型.攻击者控制的恶意客户端可能是注入的虚假客户端[7]也可能是被攻击者破坏的真实客户端[8-10].

联邦学习在分布式训练过程中受到各类攻击是无法避免的.只有针对各种攻击提出相应的防御措施减小甚至消除攻击者的影响,才能使联邦学习更好地发挥其安全性和分布式训练的效果.现有的许多方法可以防御模型中毒攻击,但尚未能较好地同时防御多种类型的模型中毒攻击.基于此,本文提出一种针对联邦学习的恶意客户端检测及防御方法FedMDD,主要工作如下:

1) 提出一种基于本地更新的恶意客户端检测及防御的新方法.根据客户端提交的本地模型参数检测识别良性与恶意的输入,区分有目标、无目标攻击者以及不可靠客户端,达到可防御符号翻转、附加噪声、标签翻转和多标签翻转攻击以及具高度战略性的后门攻击防御效果.

2) 提出一种动态调整不可靠客户端模型聚合权重的方法.以余弦相似性为依据评估各不可靠客户端的贡献度,对于贡献度更高的客户端赋予其更大的聚合权重,进一步提高模型测试精度.

3) 验证本文方法的有效性.在Fashion-MNIST数据集下,针对FedAvg,MUD-HoG,Foolsgold,Krum方法进行了对比实验.实验结果证明了本文提出的FedMDD方法在模型精度和防御后门攻击效果上均优于基线方法.

1 背景知识

1.1 联邦学习

假设联邦学习系统中有n个客户端,所有客户端在相同的学习目标下共享1个模型结构.中央服务器通过向所有客户端发送全局模型w0开启训练,每个客户端参与本地训练后将更新的局部模型w′上传到中央服务器,中央服务器聚合后更新全局模型,再次下发给各客户端进行新一轮的模型更新.在训练期间,每个客户端通过最小化多个训练阶段的损失函数f(Di,w)来学习得到新的权重w′.在1轮t中,客户端ci的梯度计算如下:

(1)

(2)

然后将下一轮全局模型更新为wt+1=wt-α∇t,α表示学习率.

1.2 客户端类型

联邦学习需要多个客户端共同参与,尽管其不要求参与者上传原始数据以保护隐私,但无法保证所选客户端都能诚实地参与训练,即联邦学习中的客户端对于中央服务器来说是不可信的.

本文考虑了以下3种类型的客户端:

1) 诚实客户端.正常地参与模型训练过程,并拥有高质量的数据.

2) 不可靠客户端.在联邦学习训练中正常表现,无恶意目标,但其部分数据质量低下.这些数据可能会捕获到一些不常见的样本类别,存在一定价值.

3) 恶意客户端.操纵其本地训练数据或模型权重,以对正在训练的全局模型产生对抗性影响的攻击者.

1.3 中毒攻击

中毒攻击旨在损害系统的鲁棒性,通常分为无目标攻击和目标攻击,2种攻击都试图以特定方式修改目标模型的行为.

无目标中毒攻击[11]旨在任意破坏模型的完整性.本文考虑以下2种模型中毒攻击:符号翻转攻击和附加噪声攻击.符号翻转攻击为恶意客户端在把本地梯度发送到中央服务器之前,将其符号进行翻转,而梯度大小保持不变.附加噪声攻击是恶意客户端在发送到中央服务器之前将高斯或随机噪声添加到其局部梯度中.

目标中毒攻击的目的是降低模型在特定任务上的性能,同时不影响其他的情况,因此它们是难以检测的.本文考虑以下3种目标中毒攻击:单标签翻转攻击[12]、多标签翻转攻击和后门攻击.单标签翻转攻击是攻击者将一个指定类别的所有样本源标签更改为另一个标签类别,同时保持其他类别的完整性;多标签翻转攻击指攻击者把多个源标签翻转为特定的目标标签,这将导致目标标签类别准确性的提高,同时降低了其他类别的准确性;后门攻击[13-14]是由攻击者在某些训练/测试数据中植入某种触发模式(称为后门触发器)以注入后门,意图让模型对具有某种特定特征的数据作出错误的判断,此类攻击更具规避性,因为它们仅在特定模式出现时才会触发,而整体性能几乎不受影响.

1.4 防御方法

现有的研究将防御模型中毒方法大致分为2类:一是全局模型的容错聚合方法;二是通过对本地的局部模型更新检测识别恶意攻击者.

全局模型在聚合过程中不进行局部模型更新的验证,只通过统计方法选择数据.修剪平均值(trim mean)[15]为独立选择模型的每个参数,计算平均值作为参数的聚合值.而中值(media)[15]在参数中独立选择中值作为聚合全局模型.Blanchard等人[16]提出Krum方法,在m个局部模型中选择1个最接近其他模型的局部模型作为全局模型.

防御模型中毒攻击最直接的方法是在模型聚合之前检测每个客户端提交的本地模型参数,可以有效识别恶意客户端,从而减少模型中毒攻击对联邦学习的负面影响.黄湘洲等人[17]提出了一种基于损失的动态缓冲可回调模型投毒防御机制,利用动态阈值使得攻击者无法先验地了解防御机制,并设置缓冲期轮次降低良性客户端被误判的风险.而在signSGD方法[18]中,分布式设备仅需要上传其梯度向量的符号,通过多数投票的方式聚合符号梯度意味着单个设备没有太多的权力,对于无目标攻击者具有鲁棒性.

与以往大多数研究只考虑一种类型的攻击不同,MUD-HoG方法[19]同时考虑了符号翻转、附加噪声、单标签翻转和多标签翻转攻击.在模型迭代更新过程中,联合使用长短期梯度历史及距离相似度量对恶意与不可靠客户端进行了不同的处理,并且可以进一步区分恶意客户端中的各类攻击者.虽然MUD-HoG对各种无目标和目标攻击是鲁棒的,但它仍然可能错过执行高度战略性目标攻击的后门攻击者[20].

2 FedMDD防御方法

本文考虑在MUD-HoG方法上进行拓展和改进,基于本地更新梯度对恶意客户端进行检测及防御工作,除了可以防御符号翻转、附加噪声、单标签翻转和多标签翻转攻击之外,还可防御具有高度战略性的后门攻击,并动态地调整不可靠客户端聚合权重.

2.1 基于本地梯度符号的后门攻击防御

在理想的情况下,每个客户端的训练目的一致,全局参数往损失最小化的方向移动.但在存在后门攻击者的训练中,因为攻击者和诚实客户端拥有不同的任务,攻击者试图最大限度地更改全局模型的梯度方向以达到对抗的目的,所以这2种类型参与者的聚合参数至少会在某些维度的指定方向上出现不同.

本文对联邦学习中客户端将梯度上传到中央服务器后到全局聚合之前的步骤进行优化,提出了一种基于本地梯度符号的后门攻击防御方法.该方法考虑了对客户端的梯度符号按维度进行投票的方式,意味着没有单个客户端会拥有过多的权力;另外,该方法通过设置阈值,使每个维度的符号投票值达到一定数目才可参与到全局聚合,后门攻击者对全局模型训练的不良影响会因此被削弱.

为了将全局模型按照理想的训练方向移动,对于梯度的每个维度,需要足够数量的投票以决定其是否参与聚合.首先,在客户端完成本地训练上传梯度参数之后,中央服务器对接收到的梯度根据维度进行逐元素符号相加,第d个维度的逐元素符号相加公式如下:

(3)

随后,在中央服务器引入阈值θ,对于符号之和小于阈值θ的每个维度,认定其为恶意输入,聚合权重置0,不参与本轮的全局聚合.

2.2 动态调整不可靠客户端的聚合权重

不可靠客户端在联邦学习安全问题中很大程度被忽视,其并非恶意客户端但存在低质量的数据.在排除各类恶意客户端之后,剩下的不可靠客户端梯度与数据质量较好的诚实客户端梯度存在一定偏差,由此本文引入客户端i在最后r轮的短期梯度历史:

(4)

得到剩下每个客户端的短期梯度历史集合后,计算每个客户端到集合中值的余弦距离:

(5)

根据d′确定集合中最大间隙的中点dφ,如果客户端满足以下条件,则认为其为不可靠客户端.

(6)

因为此类客户端可能拥有有价值的训练数据,所以在聚合时将其排除并不合适.本文方法将在全局聚合时由中央服务器为来自不可靠客户端的每个本地梯度以其短梯度历史与集合中值的余弦距离为依据,动态地调整聚合参数:

(7)

如果本地梯度更新的方向与整体中值方向偏离得更多,则其具有较低的聚合权重.随后,将不可靠客户端的余弦距离通过归一化的方式统一量纲,把λi作为该不可靠客户端在该训练轮次中梯度的聚合权重:

λi=1-2|sigmoid(γi)-1/2|.

(8)

2.3 FedMDD方法流程

FedMDD方法基于恶意客户端在梯度更新上的差异,依据多种距离指标检测各客户端所属类型,在全局聚合时排除各类恶意客户端的本地更新,并动态赋予不可靠客户端相应的聚合权重.结合算法1,FedMDD方法的具体流程描述如下:

客户端在收到初始的全局模型后开始进行本地训练,在每个轮次中计算出每个客户端的短期梯度历史、长期梯度历史并上传至服务器,服务器将根据余弦距离和欧几里得距离等指标,依次计算检测出符号翻转攻击者、附加噪声攻击者和标签翻转攻击者,并从该轮次训练所选客户端集合中排除.

服务器计算剩下客户端本地梯度中每个维度的符号之和,过滤掉符号之和小于所设阈值的维度,将其权重置0.

服务器以短期梯度历史与余弦距离为依据,区分不可靠客户端和诚实客户端,并计算其余弦距离的归一化值作为不可靠客户端的聚合权重.

将过滤后的客户端梯度更新按权重聚合为全局模型并再次下发,不断迭代直到模型收敛.

算法1.FedMDD.

输入:客户端数C、局部批量大小B、本地迭代次数T、权重α、阈值θ;

输出:全局模型w.

① 初始化全局模型w0;

② for 每一轮训练t=1,2,…,Tdo

⑤ fori=1 toCdo

⑦C=C{Ci};/*排除符号翻转攻击者*/

⑧ end if

⑨ end for

⑩gl,gh←DBSCAN(C);

/* 后门攻击防御*/

/* 不可靠客户端检测*/

/* 全局聚合*/

3 实验结果与分析

3.1 实验方案设计

本文基于Fashion-MNIST和MNIST数据集,分别与MUD-HoG,Foolgolds,Median,Fedavg这4种方法进行比较,评估FedMDD方法的性能指标.实验初始化权重α为1,阈值θ为7.客户端数量为40,包含了50%恶意客户端和10%不可靠客户端.在200个通信回合、10个本地训练回合内训练联邦学习模型.由于需要积累足够的梯度历史,本文方法仅在τ=3轮后触发,使用l=3的滑动窗口计算短期梯度历史.

在无目标攻击中,符号翻转攻击设定为翻转恶意客户端的梯度符号,而不更改梯度数字大小.附加噪声攻击设定为将μ=0和σ=0.01的高斯噪声添加到攻击者的梯度中.对于不可靠客户端,实验采用kernel_size=7,σ=50的高斯平滑模糊局部图像数据集的50%,并随机选择30%的本地数据集进行训练模拟低计算能力场景.本文设定动态参数α降低不可靠客户端的聚合权重.

实验从2方面评估防御方法的有效性,包括不同机制下的模型测试精度以及后门精度.模型测试精度是指全局模型在测试集上的标准准确度.后门精度是对训练对抗性后门的评价,衡量了后门注入样本被归类为攻击者的目标标签的数量.如果一个被后门攻击的样本被预测为目标标签,则认为对该样本的攻击是成功的.

3.2 结果与分析

在Fashion-MNIST和MNIST数据集下实验分析对比FedMDD,MUD-HoG,Foolgolds,Median,Fedavg这5种方法的性能效果.可以观察到在具有多种类型攻击的情况下,FedMDD总是能达到最佳的模型测试精度以及最低的后门精度.

表1和表2所示为Fashion-MNIST数据集的训练结果,其中,Fedavg为没有任何防御措施的经典联邦学习方法,其未考虑参与训练客户端的性质,聚合后的全局模型会受到恶意攻击者的侵害;Foolgolds和Median方法是专门为一种攻击而设计的,当同时受到多种攻击时,模型测试精度都相对较差.而MUD-HoG方法虽然可以达到抵御部分目标和非目标攻击的效果,但其仍会错过具有隐蔽性的后门攻击者.FedMDD方法在符号翻转、附加噪声、标签翻转以及后门攻击下,无论数据是以iid还是以non-iid形式存储都能够获得更高的模型测试精度.另外,前4种方法在训练过程中随着轮次的增加,后门精度不断提高,由此看来它们并不能有效地删除模型中的后门.

表1 Fashion-MNIST数据集在iid分布下各方法精度比较 %

表2 Fashion-MNIST数据集在non-iid分布下各方法精度比较 %

而FedMDD方法在防御后门攻击方面明显优于其他方法,在含有20%后门攻击者的训练中,后门攻击率低至8.6%,有效地防御了后门攻击,在iid和non-iid场景下都同样适用.

表3和表4中示出在MNIST数据集上的性能效果,与在Fashion-MNIST数据集中的情况类似,相比其他的防御方法,FedMDD提供了最好的保护,能在抵御后门攻击的同时,提升模型测试精度,对训练的影响最小.

表3 MNIST数据集在iid分布下各方法精度比较 %

表4 MNIST数据集在non-iid分布下各方法精度比较 %

4 结 语

虽然联邦学习为机器学习模型的协作训练提供了一个隐私保护框架,但其还是很容易受到对抗性攻击.本文提出了一种针对联邦学习的恶意客户端检测及防御方法FedMDD,该方法基于客户端的本地梯度更新发起对部分非目标、目标攻击者和不可靠客户端的检测,排除恶意更新并利用不可靠客户端的贡献,最大限度地提升全局模型的性能.实验结果表明,FedMDD对具有符号翻转、附加噪声、标签翻转和后门攻击的恶意客户端以及不可靠客户端具有鲁棒性,相比4种基线方法都拥有更高的模型测试精度和更低的后门精度.