面向图卷积神经网络鲁棒防御方法

钱晓钊，王 澎

（杭州师范大学阿里巴巴商学院，浙江 杭州 311121）

0 引 言

随着深度学习的研究与发展，卷积神经网络在计算机视觉和自然语言处理等领域带来了突破性的进展。但是，传统的卷积神经网络只能处理欧氏空间数据（如图像、文本）。这些领域的数据具有平移不变性的特点，平移不变性的特性能够在全局空间共享卷积核［1］。而一种非欧氏空间数据：图数据，因其普遍存在而受到广泛关注。图通常被用来建模成许多现实世界的复杂关系，如社交网络关系、交通关系、蛋白质结构关系等。图数据中每个节点的局部结构可能大不相同，这使得平移不变性不再满足，传统深度学习方法不再适用。研究人员受到卷积神经网络的启发，将其推广应用到图数据上，图卷积神经网络（GCN）应运而生。图卷积神经网络巧妙地设计了一种从图数据中提取特征的方法，从而可以使用这些特征去对图数据完成节点分类、链路预测、图分类等各种下游任务。

研究人员研究图卷积神经网络鲁棒性时发现：图神经网络容易被一些微小的扰动所影响。如加边、删边、修改节点特征等，这类扰动被定义为对抗性扰动。鲁棒性对抗扰动对图卷积神经网络来说是一个关键问题。相比在深度学习的其他应用领域，研究图对抗更具有挑战性，因为图的属性不仅会受到扰动，而且离散结构也会受到影响。图卷积神经网络在实际应用场景中受到对抗攻击往往会带来严重的后果，例如，垃圾邮件发送者可以轻松地创建虚假的关注者，向社交网络添加错误的信息，以增加推荐和传播重大新闻的机会［2］，或者操控在线评论和产品网站［3］。恶意用户可能会故意操作他的个人资料或欺骗目标用户，以误导分析系统。同样，在特定产品上，添加虚假评论可以愚弄一个网站的推荐系统［4］。因此图卷积神经网络的安全性问题是研究热点之一，深入研究图对抗攻击及其对策，能推动其在更广泛领域中成功应用。

随后，关于图卷积神经网络的攻防问题引发学者研究探讨。Zügner 等［5］首次提出图对抗学习的攻击算法Nettack。该算法基于节点数据特征修改其连边及节点特征，在评分函数指导下修改连边或特征生成微小的对抗扰动。之后，面向图卷积神经网络的对抗攻击方法的研究陆续展开，Dai 等［6］、Wang 等［7］、Zhhou等［8］、Sun等［9］相继加入了对抗攻击的研究行列。

与此同时，面向图卷积神经网络的防御方法研究随之展开。根据Günnemann［10］的研究，可以将图卷积神经网络对抗防御方法大致分为3类：

1）数据预处理［11-12］。如图纯化，通过对扰动图进行纯化得到纯化图，并在纯化图上训练图卷积神经网络模型。

2）模型训练［13-15］。如对抗训练，将对抗样本打上正确类标对模型进行训练，使模型具有对应方法的防御能力。但该方法受限于对抗攻击方法，无法对未知攻击方法实现防御。

3）模型架构修改［16］。如引入注意力机制，通过学习一种注意力机制来区分对抗性扰动和干净的样本，通过惩罚对抗性节点或连边的权重来训练出鲁棒的图卷积神经网络模型。

然而上述的防御方法大都基于启发式经验算法，并没有考虑图卷积神经网络脆弱的原因。现有的防御方法大多关注于提高模型的防御能力，而忽略了防御成本因素的考虑。在现实场景应用中，海量大规模图数据会给高成本的防御策略带来严峻的挑战。因此需要通过更多的鲁棒性理论分析，研究在一定防御成本下实现较高鲁棒性的防御方法，提高防御方法的可行性。随后，Chen 等［17］的研究表明图卷积神经网络脆弱的原因是非鲁棒的聚合函数。基于消息传递机制的主流图卷积神经网络的节点信息聚合表示可以很容易地被轻微的扰动所修改，整个模型建立在这样的聚合函数上是非鲁棒的。基于这一研究，本文在通用图卷积神经网络框架上引入更为鲁棒的平尾均值聚合函数进行改进，并在下文分析平尾均值聚合函数的鲁棒性。

综上所述，本文首先运用鲁棒统计学崩溃点理论和影响函数抗差估计理论，分析平尾均值和均值聚合函数二者的鲁棒性。随后在图卷积神经网络框架基础上，提出一种改进的鲁棒防御方法WinsorisedGCN，用更为鲁棒的平尾均值聚合函数替换均值聚合函数。最后，本文在真实数据集中进行对抗训练，验证本文所提出的防御方法的有效性，对模型或数据安全给出更多的理论性和实验性的分析与评估。

1 图卷积神经网络对抗攻击理论分析

首先介绍图卷积神经网络的基本概念及其节点信息聚合的表示过程，随后给出图卷积神经网络对抗攻击的基本定义及类型。

1.1 图卷积神经网络

给定一个属性图G=（A，X），A∈［0，1］N×N是邻接矩阵，且X∈［0，1］D表示D维节点特征。节点V={1，2，…，N}，特征F={1，2，…，D}。其中子集节点Vl⊆V的标签来自于类别C={1，2，…，CK}。图卷积神经网络任务的目标是将图中的节点映射成对应的类标签，通过迭代聚合邻居节点特征来更新目标节点表示。图卷积神经网络第l层的定义如下［18］：

其中，包括邻居节点集合N′（v）=N（v）∪v，包含节点自身v；聚合函数AGG（l）的作用是聚合邻居节点的特征，形成一个消息向量，传递给中心节点。h（l）v表示节点v在第l层的消息嵌入；以及归一化邻居矩阵A、权重函数W（l）和激活函数σ（l）。

图卷积神经网络是一个邻居聚合策略，消息传递机制是图卷积神经网络的核心部分。一个节点的表示向量由它的邻居节点通过循环的聚合和转移表示向量计算得来。如图1 所示，想要计算第l层目标节点的表示，首先通过获取目标节点中邻居节点的信息，然后通过聚合函数对获得的信息与l-1 层目标节点自身表示组合起来，最终计算得到第l层红色节点的表示。

图1 节点信息聚合图

1.2 图卷积神经网络对抗攻击

为了进一步描述图卷积神经网络的对抗攻击问题，本节主要针对图神经网络的节点分类任务，给出对抗攻击的基本定义以及介绍对抗攻击的2 种基本类型：直接攻击和间接攻击。

对于一个原始属性图G（0）=（A（0），X（0）），添加对抗扰动的图表示为～G=（～A，～X）。其中对于图邻接矩阵A的扰动为结构攻击，对节点特征矩阵X的扰动为特征攻击。△为对抗扰动代价，θ为用于训练实例集合所获得的模型参数，fθ（A，X）为图卷积神经网络模型。攻击者的目的在于尽可能使用目标实例在fθ（A，X）上实现损失最大化，从而导致错误的预测结果。即图卷积神经网路对抗攻击问题可以描述为最大化攻击目标节点vt的损失函数ℓ 以此来实现攻击效果，攻击统一建模如下［18］:

对于不同的攻击目标，对抗攻击可以分为直接攻击和间接攻击2种类型。将节点分为target节点和attacker 节点，其中target 节点为目标节点，attacker 节点即为可操纵的节点（在其上施加扰动）。

对于attacker 集合A：若{v0}=A，则为直接攻击（direct attack），攻击者可以直接修改目标节点的特征或边缘；若{v0}≠A，则为间接攻击（indirect attack）。由于图数据的关联效应，通过改变一个节点可能干扰其他节点的预测结果。攻击者能通过操纵其他节点来影响目标节点，其中间接攻击对抗扰动效果如图2所示。

图2 间接攻击对抗扰动图

2 聚合函数鲁棒性分析

消息传递机制是图卷积神经网络的核心，现有的基于消息传递机制的主流图卷积神经网络模型中常用的聚合函数是均值聚合函数。样本均值应用广泛，但对异常值没有任何抵抗能力。如果一个样本中存在一个或多个异常样本，可能会导致模型的输出结果彻底崩溃，因此在其应用时需慎重考虑。当样本数据较为分散或差距较大时，样本中位数更具稳健性，但样本中位数只是一个数据，对数据的利用不够充分。一个直观的想法是采用能够抵抗异常值的平尾均值方法进行处理。

2.1 平尾均值（Winsorised mean）

为了抵抗对抗攻击，一个直观的想法是使用具有高崩溃点且能抵抗异常值的相应方法进行处理。

平尾均值对异常值的处理不等同于截尾均值的方法（截去不用），也不是将其等同于样本均值进行平等对待，而是把异常值的影响能力限制在一定阈值之内，即在次序统计数据中，将100α%（0≤α≤0.5）大的次序统计的数值等同于中段高端的次序统计量的数值，再把100α%（0≤α≤0.5）小的次序统计的数值等同于中段低端的次序统计的数值，最后将调整后的统计数据样本进行算术平均，其数学表达式为［19］:

其中，g=αn。相应若取α=0，为样本均值情形；α=0.5则为样本中位数情形。

对于平尾均值，构造相应的密度函数，如下所示［19］：

其中，σ为正态分布中的标准差，μ为数学期望，M为小于1的正数。

根据子样本x（1），x（2），…，x（n）按式（4）组成似然函数，以此考虑参数μ的极大似然估计，得到相应的似然函数，并对μ求导，令其等于0，可得：

若误差分布服从式（4），那么平尾均值就是最或然估计量（最接近于真值的近似值），这是平尾均值的概率意义。

2.2 崩溃点理论分析

为了探讨图卷积神经网络鲁棒性问题，Chen等［17］从崩溃点（Breakdown Point）的角度出发，理论上给出了目前主流基于消息传递机制的图卷积神经网络模型容易受到对抗攻击的解释。

崩溃点理论是衡量一个函数f在受到数据扰动情况下的鲁棒性情况。崩溃点m可以直观地理解为：对于一个数据样本集合最少需要往数据中添加数据量为m的数据点，能够使得函数f的输出变化为无穷大。

定义：崩溃点m∈（f，N）定义为函数f崩溃的最小扰乱值，其公式如下［17］：

其中，sup 是函数值的上界，Nv表示输入节点集，N～v表示扰动集。

崩溃点已广泛应用于鲁棒统计中，Chen 等［17］基于崩溃点理论，发现均值函数是非鲁棒的。均值函数的崩溃点为1/（|Nv|+1），其中Nv为目标节点v的邻居节点数量。在最坏情况下，只需要往数据样本集合中加入一个值为无穷的点，即可使得模型的输出变化为无穷大。而要想使得平尾均值聚合函数最小上界趋于无穷，至少需要往函数中注入αn+1 个无穷大数据点的扰动才有效。相比较均值函数的崩溃点1/（|Nv|+1）而言，平尾均值的崩溃点更高。

回到GCN 模型分析，在受到扰动的情况下，将GCN的聚合过程可以分解为如下2个部分［17］：

其中hu、hu～表示扰动前后节点表示。由于GCN 中的聚合权重Wu～v总是正数，av的输出与扰动后的节点表示h～v呈线性相关，因此仅需要添加一个特征差异非常大的节点，就可以使得GCN 输出错误的预测结果。通过上述分析揭示了为何基于均值聚合的GCN 容易受到结构性扰动攻击，并且删除边的攻击效果远远不如增加边的效果，因为即使攻击者删除了一半的边，也不会使得均值函数的输出改变为无穷大。

2.3 影响函数抗差估计分析

2.3.1 抗差估计

抗差估计（Robust Estimation）是指数据样本在异常值、粗差不可避免的情况下，通过选择合适的方法使估值结果尽可能避免受到异常值的影响，以此得出最佳估值。当模型根据所估计方法得出的结果与实际差值较小时，说明当前模型的性能较好，即估计方法具有一定的“鲁棒性”，否则极少数的异常值会影响模型，使其结果严重偏离真实值［20］。

2.3.2 影响函数

影响函数指的是度量估值的抗差能力，通过影响函数可以得到相应抗差的度量指标。这一概念最初由Hample等［21］从无穷小概念提出，定义为：

其中，F为分布函数；T为估计；△x为点积。若为有限样本，则得到相应样本的影响函数［19］。

其中f（n-1）（x）为经验影响函数，δ是和ε相关的系数。

对于样本均值，n个观测值和n+1 个观测值的均值为：

故样本均值的影响函数是：

对于无限样本，估计基础分布为正态分布，即［19］：

上式运算估计点积分即为本身，将式（13）和式（14）代入式（7）可得：

同时考虑对称性，μ=0，则：

从上述分析中得出，样本均值的样本影响函数与Hampel 等［21］所定义的影响函数是一致的，均等于x。若x无穷大，那么影响函数也无穷大，说明影响函数无界。通过影响函数分析，可得样本均值对异常值非常敏感，没有任何抗差能力，一个异常值的存在可能使估值结果大幅度偏离真实值。

2.3.3 平尾均值影响函数分析

对n+1个样本与n个样本的平尾均值作差可得［19］：

代入样本影响函数公式（8），同时考虑对称性，最终可得平尾均值样本影响函数［19］：

平尾均值的影响函数图像［19］如图3所示，可得其影响函数为跳跃有界。通过影响函数这一度量指标可以得出平尾均值函数较均值函数具有更强的抗差性，可抵抗异常值的影响。而在上文对均值影响函数的分析可得其影响函数无界，均值函数对异常值非常敏感，没有任何抗差能力。

图3 平尾均值影响函数图

2.4 WinsorisedGCN

上文从崩溃点和影响函数抗差性2 个角度分析了平尾均值函数较均值函数更为鲁棒。

通过对平尾均值及均值函数的鲁棒性分析，本文在基于主流消息传递机制图卷积神经网络框架基础上通过改进其图卷积算子中的聚合函数，提出了一种改进鲁棒防御方法WinsorisedGCN。具体实现方式是：在设计图卷积算子阶段，选用更为鲁棒的平尾均值聚合函数替换均值聚合函数。模型整体架构图如图4所示。

图4 WinsorisedGCN框架图

3 实 验

为了验证所提出的WinsorisedGCN 模型的鲁棒性，本文选用Nettack［5］目标攻击方法进行对抗攻击。在下文实验结果分析部分给出模型性能评估，实验的总体流程如图5所示。

图5 实验流程图

3.1 数据集

本文在3 个真实数据集上展开研究，包括Cora［22］、Cora-ML［23］和Citeseer 数据集。表1 对数据集进行了统计描述，统计了数据集的最大连通分量（LCC），NLCC和ELCC表示节点集的最大连通分量和边集的最大连通分量。

表1 数据集的统计描述

3.2 基准模型（baselines）

为了评估模型的性能和鲁棒性，将所提出的WinsorisedGCN方法与4个baselines进行比较。

GWNN：一种新颖的图卷积神经网络，利用图小波变换（wavelet transform）来解决先前依赖图傅里叶变换的谱图GCN 方法的缺点［24］。与图傅里叶变换不同，图小波变换可以通过快速算法获得，不需要矩阵分解，计算成本较低，为GCN提供良好的可解释性。

AGNN：一种对图结构数据进行半监督分类的GCN 方法的变体，模型使用基于谱图卷积的局部一阶近似地有效逐层传播规则［25］。

DGAT：对抗训练（AT）是一种正则化技术，已被证明能够提高模型对图像分类扰动的鲁棒性。定向图对抗训练（DGAT）将图结构融入到对抗过程中，并自动识别来自相邻节点的扰动的影响，额外引入对抗正则化来防御最坏情况的扰动。DGAT 可以抵抗最坏情况下的对抗性扰动的影响，并减少来自邻居节点的扰动的影响［26］。

GCN：一种可扩展的图结构半监督学习方法，使用高效的分层传播规则，该规则具体描述了谱域图卷积采用加权平均法对相邻节点域进行消息聚合［4］。

3.3 参数设置

实验数据集被随机划分成测试集（15%）、验证集（15%）和训练集（70%）。每次实验，统计10 次运行的平均结果，通过验证集对所有模型的超参数进行调整。参考之前Velickovic等［27］的研究，设置隐藏层的数量为64。选用Adam［28］优化算法来有效地更新网络权重。实验中的平尾均值聚合函数中的调整百分比参数α设置为0.45，以此来平衡模型准确度和鲁棒性。

3.4 评估指标

本文采用准确率（Accuracy）和分类裕度（CM，Classification Margin）这2种评估方式对模型进行评估。

准确率：机器学习分类任务中常见的评价指标，指的是正确预测的样本量占总预测样本量的百分比。

其中，P为正例，N为负例；TP 表示预测为正例。实际为正例；TN表示预测为负例，实际为负例。

分类裕度：为了评估攻击的有效性，使用分类裕度作为度量，表示的是模型误分类的目标节点到正确类别边界的最大距离，公式如下［29］：

其中，vt为目标节点，yvt为目标节点vt的类标签。Hvt为目标节点vt受攻击前的模型输出，H′为目标节点vt受攻击后的模型输出。

4 实验结果分析

4.1 攻击前模型准确率

由于WinsorisedGCN 采用了平尾均值聚合，在聚合过程中往往会丢弃部分极值信息，进而可能导致该方法的准确率降低。因此为了验证该方法在受到攻击后依然能保持较高的准确率，本文在对抗攻击前基于3 类原始图数据集进行10 次节点分类任务实验并取平均值，其结果如表2 所示。可以观察到，所提出的方法WinsorisedGCN 在Cora 数据集上实现了最佳性能，而在Cora-ML 和Citeseer 数据集上的性能仅略低于最佳性能模型GCN 和GWNN。结果表明，尽管所提出的模型聚合函数经过调整，在平尾均值聚合时丢弃部分极值，但模型的准确率并没有因此降低，并且能够和其他基准模型准确率维持相近水平。在下文对抗扰动实验分析中可以得到，在受到对抗攻击后，其他模型准确率大大降低，而本文所提出的方法仍能保持较高的准确度。

表2 分类准确率

4.2 攻击后模型鲁棒性

对抗训练是增强神经网络鲁棒性的一种重要方式。在对抗训练中，样本会受到一些微小的扰动，然后使模型适应这种改变，从而模型对对抗样本具有鲁棒性。为了增强模型对结构攻击的鲁棒性，本文采用Nettack［5］目标攻击方法来对所有模型执行规避攻击，以此生成对抗样本。在对抗训练中，为了进一步探索不同模型的鲁棒性，保持所有其他默认参数，设置扰动代价范围为0～9。Nettack 攻击方法用来执行对图数据的直接攻击和间接攻击。其中，Nettack 攻击Citeseer数据效果［5］如图6所示。

图6 攻击Citeseer数据结果图

通过记录平均运行10次对抗训练的结果来获得不同模型鲁棒性的整体表现，采用∑q9=0q×cmq作为鲁棒指标，其中q为扰动大小，cmq为在攻击扰动大小q下的分类裕度。该度量的值越小，表示相应的模型具有更强的鲁棒性。

攻击后模型鲁棒性的结果如表3 所示，本文所提出的WinsorisedGCN 方法通常情况下优于其他基准模型。由于本文设置鲁棒性指标的扰动代价范围为0～9。下文对抗训练扰动分析中可以发现，在Cora 数据集受到直接攻击下，当扰动大小为7 时，模型的分类裕度和准确率趋于收敛。故7 以后的扰动代价参考意义不大。因此表3 中，在直接攻击下，仅在Cora数据集上的鲁棒性性能低于DGAT，在Citeseer 数据集上略低于GWNN。对于间接攻击，所提出的方法均优于基线baselines，表明所提出的平尾均值聚合函数的鲁棒性高。相比于间接攻击，可以发现直接攻击下模型鲁棒性指标数据远远大于间接攻击指标，这说明所有的模型都是更容易受到直接攻击的影响，这与Zhu等［22］的研究结果一致，攻击者直接操纵修改目标节点特征的攻击效果要高于通过操纵其他节点来影响目标节点。

表3 直接攻击和间接攻击下的模型鲁棒性

4.3 对抗训练扰动分析

在对抗训练中，为了研究模型在不同攻击扰动数下的鲁棒性，本文记录了在Nettack 直接攻击下不同数据集、不同扰动量的模型准确率和分类裕度情况，结果如图7～图10 所示?。在Cora-ML 数据集下，本文所提出的WinsorisedGCN 方法明显优于其他方法；在Cora 数据集下，在扰动量为1 时，所有模型的性能较好，原因是Cora 数据集的最低度为2（包括自环），因此，单次扰动很难改变模型的输出结果。当扰动量为2 时，GWNN 和其他baselines 方法性能下降很快，而WinsorisedGCN 仍能保持较高的性能，随着扰动强度的提升，不同模型的准确率随之降低。这个现象可以归因于Cora 数据集中大多数节点的邻居节点数量较少，对目标节点进行直接攻击后，聚合函数聚合到的节点信息受到扰动越大，模型鲁棒性能越低。综上所述，在对抗攻击中本文所提出的方法的模型在鲁棒性方面具有更佳的性能。

图7 Cora-ML数据集准确率

图8 Cora数据集准确率

图9 Cora-ML数据集分类裕度

图10 Cora数据集分类裕度

5 结束语

图卷积神经网络在许多图数据上显著提高了解析性能，然而，与其他深度神经网络模型一样，GCNs中也存在鲁棒性问题。根据Chen 等［17］的研究表明，图卷积神经网络脆弱的原因是非鲁棒的聚合函数。本文首先从崩溃点理论和影响函数抗差估计角度出发，分析平尾均值和均值函数的鲁棒性，得出平尾均值相较于均值函数，崩溃点更高。其次，平尾均值的影响函数跳跃有界，其抗差能力较好，可抵抗异常值；而均值函数的影响函数无界，易受到异常值的影响。随后基于消息传递机制的主流GCN 模型，通过选用更为鲁棒的平尾均值聚合函数，提出了一种改进的有效防御方法WinsorisedGCN。最后采用Nettack 目标对抗攻击方法研究分析所提出的模型在不同扰动代价下模型的鲁棒性。本文在真实数据集上进行了大量实验，通过准确率和分类裕度评价指标进行模型性能评估，实验结果表明所提出的方法在保证模型准确率的情况下，同时实现了模型较高的鲁棒性。

在未来的工作中，希望在图卷积神经网络非目标攻击领域中，进一步研究探讨相关鲁棒防御方法。