信号人工智能对抗攻击综合分析平台

2021-08-25顾淳涛徐东伟朱佳伟杨小牛

信息安全学报 2021年4期

宣琦,周晴,崔慧,顾淳涛,徐东伟,朱佳伟,王巍,杨小牛,

1浙江工业大学网络空间安全研究院杭州中国 310012

2通信信息控制和安全技术重点实验室嘉兴中国 314033

1 引言

20世纪以来,电子信息技术飞速发展,使得信号种类及数量呈指数级增长,面对新时期各种多元化的信号,各种不同的分类方法也开始涌现[1]。此外,深度学习[2]逐渐广泛应用于各个领域(生物医学[3-4]、视觉场景[5]、语音识别[6]、自然语言处理[7])。它在通信领域的应用也取得长足进展,O’Shea T J[8]等人对基于深度学习的无线电信号分类方法的性能进行了深入研究,提出了使用更高阶矩和强大的增强梯度树分类的严格基准方法; Mendis G J等人[9]出了一种基于深度学习的智能方法来检测和识别无线电信号,该方法可应用于识别微型无人机系统的认知雷达和航空通信系统; Rajendran S等人[10]提出了一种基于长短期记忆(Long Short-Term Memory,LSTM[11])的数据驱动模型,并发现其对于分类具有不同符号率的调制信号能够发挥出强大的作用。

然而即便深度神经网络已成功应用于处理复杂问题,却不断有研究表明[12-16]它们在强对抗环境下是非常脆弱的。最近,Han X等人[17]开发了一种方法构造平滑的心电图追踪对抗样本,该样本无法被人类专家察觉,却能让应用于医学影像的深度学习模型检测异常。此外,在信号领域,对抗攻击研究工作也有了不少成果。Sadeghi M等人[18]通过在信道上发送利用无线信道的开放性设计的扰动信号,将通信系统的误块率提高了几个数量级; Sagduyu Y[19]提出了一种通过发射机对其频谱感测结果进行深度学习,以预测空闲时隙来进行数据传输的空中频谱中毒攻击; Davaslioglu K等人[20]针对无线通信中的深度学习应用提出了木马攻击,取得了不错的效果; Kim B等人[21-22]研究发现,攻击方天线数量的增加会使攻击成功率显著提高,并证实了调制分类器对空中对抗攻击的脆弱性。Sadeghi M等人[23]提出了一种使用通用对抗网络生成和传输无法与预期信号可靠区分的合成信号来欺骗无线信号,成功使信号分类精度显著降低的新颖方法。随着信号攻击领域研究的不断推进,哪些攻击更难以捉摸或者哪种攻击得到的攻击样本隐匿性更高的关键性问题也随之出现,这意味着当下急需一个能够对信号攻击策略进行综合评估的平台。

纵观当前研究现状,深度学习在图像领域的应用已经较为成熟,而在信号领域的研究成果却少之又少。Ling X等人[24]搭建了一个较为完备的深度学习模型安全分析平台,整合了 16个最先进的攻击方法和10个攻击效用指标。Sadeghi M等人[23]在信号攻击研究过程中提出扰动信号功率比(Perturbation Signal Rate,PSR)这一指标,该项指标能够计算对抗样本中添加的扰动与原信号的功率之比,与扰动噪声功率比(Perturbation Noisel Rate,PNR)综合可体现信号样本攻击前后的信噪比变化。不过仅凭借这一项指标评价攻击策略的优劣尚不够全面。

为了进一步推进信号攻击的研究,提供一个分析平台来支持对信号领域的对抗性攻击进行全面、翔实的评估至关重要,现有的工作尚不能满足需求,因此本文提出了第一个信号人工智能对抗攻击综合分析平台。

本文主要研究工作如下。

1) 提出信号人工智能对抗攻击综合分析平台,该平台中特有的信号特性计算指标(VC,ACR,APD,PSR,PNR,SNRD具体介绍见第2章)让本平台有别于其他已有技术,如Ling X等人[24]搭建的深度学习模型安全分析平台均适用于图像处理,平台中提到的误分类、不可感知性、计算代价等方面的指标尚可用于信号攻击评价,但忽略了信号在处理过程中幅度、相位等特性的变化,本平台解决了该问题。

2) 采用了8种常见的攻击方法对信号样本进行攻击,并利用信号攻击综合分析平台中的10项攻击效果指标对其进行全面的分析,其中的 4项(VC,ACR,APD,SNRD)均为本文首次提出。

3) 研究发现攻击方法的误分类与不可感知性、信号特性以及计算代价之间存在相互限制的关系,个别攻击方法在信号上的攻击性能有别于图像。

2 综合分析平台

2.1 评价指标

研究者们通常使用简单的度量标准进行攻击方法评估,比如误分类率便是评估攻击方法的主要指标。然而各项研究均显示,误分类率不足以全面地描述一种攻击方法。

另一方面,区别于图像的可视性,信号的特性更加抽象化,信号具有相位、幅度、功率等特有的属性。此外,在信号处理过程中一般采用复信号[25]概念来表示实信号,规避实信号具有共轭对称的频谱会造成的处理困难。对复数信号进行采样需要同时进行 I、Q两路采样,这两路数据是相关的,无法当成独立的数据点对待。在攻击评价过程中需要上述重要参考因素,因此一个全新的信号攻击评价平台必不可少。

图1 平台指标结构Figure 1 Platform indicator structure

图像领域中已有的攻击分析平台从误分类、不可感知性、计算代价三方面对攻击策略进行分析,分析了错误分类的百分比,无法从表面察觉的物理量的变化,攻击者生成对抗样本的平均速度。本文为了补充在信号攻击中对信号特性的描述,在此基础上增加信号特性分析,从误分类、不可感知性、信号特性、计算代价四个方面提供了如下指标(本处介绍以Radio-ML2016.10a数据集为例,具体数据集介绍见第3章)。

1) 误分类:

(a)攻击成功率(Attack Success Rate,ASR):

ASR计算的是由攻击方造成的误分类百分比。ACC or i为原信号样本的分类精度,而 A CC a dv 是对抗样本通过相同分类模型所得分类精度。攻击成功率能体现一个攻击方法导致错误分类的能力。

2) 不可感知性

(a)L0范数:

L0计算的是一个信号样本在攻击后改变的点的数量占总数的比例。Cc为一个样本(128×2个点)中修改的点的个数,N为一个信号样本中数据点的个数,本文采用的数据集N值为256(128×2)。

(b) L2范数:

L2计算的是一个原信号样本和对抗样本之间在数值上的欧氏距离。Voi为原始样本第 i个数据点的数值,Vai为对抗样本第 i个数据点的数值,N为256(128×2)。

3) 信号特性:

(a) 数值变化(Value Change,VC):

VC计算的是一个信号样本中每个数据点攻击前后数值变化量的平均值。VC指标虽与L2范数存在一定线性关系,但VC更侧重于对幅度这一物理量的变化的描述。

(b) 幅度变化率(Amplitude Change Rate,ACR):

ACR计算的是攻击前后信号的幅度变化率。在信号处理过程中,区别于图像中互相独立的像素点,信号数据集中的I/Q两路存在一一对应的关系,分别为复信号实部与虚部的采样值,倘若参照与图像相同的计算方法,则忽略了I/Q两路的相关性。

A为信号有效幅值,I和Q分别为信号实部和虚部的系数。Aoi为原始信号第i个采样点的有效幅度,Aai为攻击后信号第i个采样点的有效幅度,n为一个信号样本中采样点的个数,本文所用数据集 n值为128。与图像中每一个独立的像素点不同,信号中128×2尺寸的样本,将其I路和Q路对应起来描述一个信号采样点会比把其当成256个独立点更加确切。

(c)平均相位差(Average Phase Difference,APD):

APD计算的是一个信号样本中每个采样点的相位差平均值。相位作为描述信号波形变化的重要度量,也是评价信号攻击的重要因素,相位的延迟可以完全改变一个信号,从而导致无法提取出真实消息。Ioi是原始信号第i个采样点的实部系数,Qoi是原始信号第i个采样点的虚部系数。Iai是攻击后信号第i个采样点的实部系数,Qai是原始信号第i个采样点的虚部系数。

(d)扰动信号比(Perturbation Signal Rate,PSR):

PSR计算的是对抗样本添加的扰动与信号的功率比。P是信号功率,Ai为信号第i个采样点的有效幅度。

(e)扰动噪声比(Perturbation Noise Rate,PNR):

PNR计算的是对抗样本与原样本的噪声功率比,与上文的PSR综合可体现信号样本攻击前后的信噪比变化。Pp为扰动功率,Pn为噪声功率。信噪比是度量通信系统通信质量可靠性的一个主要技术指标,为信号平均功率与噪声平均功率的比值,是评价信号攻击方法优劣必不可少的一项指标。

(f)信噪比差(Signal Noise Rate Difference,SNRD):

SNRD计算的是原样本与对抗样本的信噪比差值,SNRori,SNRadv分别表示攻击前与攻击后信号样本的信噪比。公式(11)给出的是信噪比的计算方式。

4)计算代价(Calculating Cost,CC)

计算代价定义为攻击策略生成对抗样本所用的平均时间,本文中度量单位为秒(s)。

2.2 平台架构

图2给出了本平台的整体架构。通过8种攻击方法对信号样本进行攻击得到对样的对抗样本,然后通过信号攻击综合分析平台提供的10项指标对攻击结果进行分析评价。8种攻击方法包括现下常用的6种白盒攻击方法(FGSM[13],BIM[26],PGD[27],DF[16],JSMA[28],CW[29])和2种黑盒攻击(OPA[30],UAP[31]);10项评价指标包括误分类(ASR)、不可感知性(L0范数、L2范数)、信号特性(VC,APD,ACR,PSR,PNR,SNRD)、计算代价(CC)4个模块。

图2 平台整体架构Figure 2 Overall platform architecture

3 分类模型与攻击方法

3.1 分类模型

本文采用由O’Shea T J等人[8]提出的用于调制识别的残差神经网络ResNet模型。该分类方法具有容易优化、复杂度低优点的同时分类性能强大,是当下具有强大优势的深度学习分类模型之一,因此本文采用该模型作为深度学习分类网络。

该模型结构在残差块的基础上,构建了残差堆叠层,让堆叠层去拟合残差映射,每个残差堆叠层包括一个卷积核大小为 1×1的卷积层,两个残差块,一个最大池化层。在整个ResNet模型中,包含6个残差堆叠层,数据每经过一个残差堆叠层维度减半,且模型中所有卷积层的卷积核数量均为 32,激活函数均采用缩放指数线性单位(Selu)。

3.2 攻击方法

由于当下已有的信号攻击工作成果较少,本文采用的 8种攻击方法均从图像领域迁移而来。将攻击方法从两个角度分类:根据攻击需要的条件可分为黑盒攻击和白盒攻击,白盒攻击需要对模型结构深入了解,知道模型的结构和各层的参数,可以计算梯度,黑盒攻击完全把模型当做一个黑盒,根据一定的算法,不断根据输出的反馈调整输入数据; 根据攻击频率,可分为迭代攻击和非迭代攻击,非迭代攻击只需要一步即可生成对抗样本,而迭代攻击需要进行多次迭代更新。这两个分类并非互相独立,两者之间存在着紧密联系,但是为了更加清晰地分析其攻击效果,后续将分开表述。

非迭代型白盒攻击: FGSM在白盒环境下,通过求出模型对输入的导数之后用符号函数得到其具体的梯度方向,接着乘以一个步长,得到的扰动添加在原来的输入上就得到了在FGSM方法的攻击样本,表达式为:

X为原始样本,Xadv为对抗样本,Y为原始样本标签,sign()为符号函数,ε为可调节超参数。

迭代型白盒攻击: 在 FGSM 方法的基础上,Goodfellow I J等人[26]提出其变体BIM,采取多个小步骤进行多次迭代,并在每一步后调整方向。随后,Madry A等人[27]提出了BIM的变体PGD,在BIM的基础上增加迭代轮数并添加一层随机化处理达到了更佳的分类效果。Moosavi-Dezfooli S M等人[16]提出的DeepFool通过寻找原样本到目标模型决策边界的最近距离来生成对抗样本,解决了 FGSM 未对添加的扰动范围进行界定的问题。Papernot N等人[28]提出了 JSMA,此方法首先计算给定样本的雅可比矩阵,通过寻找对输出结果影响最显著的样本的输入特征来添加扰动。Carlini N和Wagner D等人[29]提出的CW,在对目标函数的定义上进行了创新,目标函数使用交叉熵,迭代优化的过程就是不断减少目标函数,因此CW能够调节置信度,生成扰动也较小。

非迭代型黑盒攻击: Su J等人[30]提出一种基于差分进化生成单像素的对抗性扰动 OPA,可以在最小攻击信息的条件下对网络进行欺骗。

迭代型黑盒攻击: Moosavi-Dezfooli S M等人[31]提出的 UAP是一种通用扰动,具有很强迁移性,跨数据且跨模型。

表1 攻击方法Table 1 Attack methods

4 攻击结果与评价

4.1 实验设置

1) 数据集: 本文实验过程中使用的数据集为Radio-ML2016.10a,该数据集为布拉德利大学公开的调制信号数据集,它使用GNU Radio合成I/Q信号样本,包含 11种调制类型,信噪比范围从–20dB到18dB,间隔2dB均匀分布。每个信号都有128个复杂的浮点时间样本。数据集大小为: 220000×128×2。I和Q两路分别保存了这个128个信号点的实部和虚部的系数。

本文实验过程中采集了数据集中高于或等于10dB的高信噪比信号,训练集样本数为35200,该测试集数据经过ResNet模型进行分类得到91.01%的精度。

2) 攻击参数设置: 各个不同攻击方法的常用参数值相同,其他参数按照原作者默认值设置。

3) 其他设置: 数据集中选取的 35200个信号样本的信噪比平均值为15dB,用于后续计算SNRD。

4.2 实验结果及分析

攻击结果如表2,随机抽取第 5555个信号样本波形图如图3所示。

图3 样本波形图Figure 3 Waveform of the samples

表2 攻击结果Table 2 Attack results

1) 误分类: 现有的攻击方法仅从误分类角度来看,都表现出强大的攻击能力。由表中可看出,在RadioML2016.10a数据集上,白盒攻击中迭代型的攻击方法攻击成功率普遍高于非迭代型的攻击方法,JSMA和CW方法达到了100%的攻击成功率,其中原因非常直观,与非迭代型攻击只需一步的扰动计算方法不同,迭代型攻击通过多个复杂的迭代来寻找目标模型的最佳扰动,因此能够达到更高的攻击成功率。但在黑盒攻击中,迭代型攻击未在攻击成功率上体现明显优势,这是由于黑盒攻击本身成功率较低。

白盒攻击的攻击成功率明显高于黑盒攻击,显而易见白盒攻击对模型的参数和结果都进行了深入了解,攻击成功率自然也高于仅靠输出反馈调整输入数据的黑盒攻击。

2) 不可感知性: 本文通过 2项指标对攻击方法的不可感知性进行了量化。大多数现有的攻击方法都使用Lp范数在目标函数中对攻击算法进行规范,比如基于L0范数的攻击方法,能够在L0失真指标上表现更加良好,但在 L2失真指标上便差强人意,如JSMA方法本身比较简单直接,在攻击过程中未限制扰动大小,只控制了扰动个数足够少,从表格中可看出该方法L0失真非常小,而L2失真异常高。

迭代型攻击方法的不可感知性高于非迭代型攻击方法,如非迭代攻击 FGSM 方法的 L0和 L2指标都是白盒攻击中最高的,这就是非迭代攻击简单地一步生成对抗样本,忽略寻找最佳扰动所致。通过表格观察可得,误分类和不可感知性之间存在着密切联系,两者计算的是基于两个不同目标的优化问题。误分类的优化目标是对抗样本的误分类率,而不可感知性的优化目标为对抗样本和原样本的差异最小化。这两个目标无法保持一致,因此误分类和不可感知性之间相互限制。白盒攻击的攻击成功率普遍较高,但在不可感知性上的表现明显劣于黑盒攻击。

3) 信号特性: 信号是表示消息的物理量,如电信号可以通过幅度、频率、相位等参数的变化来表示不同的消息。信号是消息的载体,在信号攻击过程中,信号幅度、相位等特性的变化极为重要,过度失真将导致难以提取正确信息。本模块通过6项指标(VC,APD,ACR,PSR,PNR,SNRD)对攻击过程中的信号特性进行量化,VC,APD,ACR,PSR,PNR值越小,SNRD值越接近零,信号特性维持程度越高。

误分类程度高的攻击方法生成的对抗样本,维持信号特性的程度相对较低。攻击成功率达到100%的JSMA和CW的信号特性变化明显高于其他类别的攻击方法,特别是JSMA的PSR和PNR都是所有攻击方法中数值最大的,数值越大,对抗样本相对原样本的信号特性变化就越大,这也是 JSMA追求修改数据点足够少忽略扰动幅度大小的特点所致。黑盒攻击与白盒攻击相比,其信号特性维持程度更高,攻击成功率更低。

迭代型攻击方法在信号特性上表现也优于非迭代型攻击,例如 FGSM 的每一项信号特性指标都劣于其他攻击方法,VC,APD,ACR,PSR,PNR值都是所有方法中最高的,SNRD值也是偏离零值程度最大的。这说明非迭代型攻击方法不仅在攻击图像时需要付出较大的攻击代价来换取误分类,在对信号攻击时,同样需要牺牲更多的信号特性换取更高的误分类。

信号特性中的VC指标计算方式类似于图像,将I/Q两路信号的采样值当作独立的数据点对攻击代价进行量化,该项指标可对对抗样本的信号特性进行描述,却忽略了I/Q两路采样值之间的内在联系,故不够全面,需要添加其他几项信号特性指标来对攻击方法进行全面、综合的评价分析。由表3中数据分析可得,其他几项信号特性指标并不完全与VC指标成正比,这就是I/Q两路采样值之间的内在联系所致。本文所选的所有攻击方法在VC指标上都有较好表现,但FGSM在其他几项指标中表现不足,JSMA的PNR和SNRD也明显劣于其他攻击方法,但其劣势却并未在VC指标中得到明显体现,说明这两种攻击方法得到的对抗样本虽然与原样本的整体改变不大,但其幅度、相位等信号特征却发生了较大失真。CW 方法的 VC指标与其他攻击方法相比不算优秀,但是其PNR值非常小,说明该攻击方法添加的扰动与原样本中本就存在的噪声相比微不足道。这 6项信号特性指标能够全面地评价攻击方法对于信号特性的影响。

4) 计算代价: 为了估计攻击的计算成本,本文计算了各个攻击方法生成对抗样本耗费的时间。从表中观察可得,一般情况下,非迭代型攻击方法所用的计算时间明显低于迭代型攻击方法,多次的迭代过程需以计算时间为代价获取更佳的攻击效果。

5 讨论与分析

本文提供的信号人工智能对抗攻击综合分析平台与其他平台相比,不仅分析了错误分类的百分比,无法从表面察觉的物理量的变化,攻击者生成对抗样本的平均速度等其他平台常用因素,同时还根据信号具有的相位、幅度、功率等特有属性提出了信号特性指标,描述了攻击造成的信号特性变化,为后续的解码等工作提供量化数据。此外。本平台的研究工作也为攻击和防御工作的开展提供了新的启发,如能否针对信号特性提出一种新的攻击方法,并针对该攻击方法提出新的防御方法。

不过,本平台尚缺少对信号攻击的频域分析,将在后续研究工作中继续改进; 此外,本文只提供了号人工智能对抗攻击综合分析平台的理论分析方法,并未搭建相应的物理系统,因此我们将在未来的研究工作中不断完善,并搭建物理访问平台。