采用残差神经网络的无人机遥控信号识别监测算法

李彬,徐怡杭,罗杰

(1.西北工业大学电子信息学院,710072,西安;2.西安交通大学电子与信息学部,710049,西安)

近年来,无人机的快速发展与普及,在给人民生活带来便利的同时,也出现了越来越多的“黑飞”事件,给国家和公众都带来了安全隐患和经济损失。2017年4月,成都双流机场有无人机非法入侵跑道,造成诸多航班停飞,带来了巨大的经济损失;2018年8月4日,委内瑞拉总统马杜罗在公开演讲时,被绑有炸药的民用无人机袭击;2019年9月14日,沙特两处石油设施遭到无人机袭击,量产减半;2021年2月22日,重庆轨道交通2号线遭无人机撞击逼停[1-3]。如何反制无人机非法入侵的问题越来越受到各国的重视,而快速精确地识别无人机是实现反制的关键。

雷达低空监测无人机成本高昂,难以大规模部署,且由于其监测盲区较大、民用无人机体积过小,极易造成漏警;光学识别无人机易受光强、云雾、遮挡等干扰,且在夜间监测效果较差;声纹识别无人机监测距离过短,且不适用于嘈杂的城市环境中[4-6];而利用无线电频谱监测无人机遥控信号则成本较低、不受光强、云雾、遮挡、无人机体积等不利因素的影响,是对反无人机系统的有效补充。

一种解决方案是直接监测从1 MHz～6.8 GHz的广泛频谱,并将检测到的任何未知射频信号当作无人机控制信号[7],但由于未知的射频信号不一定是无人机控制信号,这种方法会导致较高误报概率。识别无人机的媒体访问控制(MAC)地址也是一个可行的方法[8],但此方法仅能够检测具有MAC地址的无人机,且随着无人机种类的不断增加,构建和更新无人机MAC地址的完整数据库变得越来越困难。此外,为了避免被检测到,无人机的MAC地址往往具有欺骗性。

识别无人机遥控信号谱图则是一个有效的解决方案。民用无人机遥控信号主要采用跳频扩频(frequency hopping spread spectrum,FHSS),属于非平稳信号,可通过短时傅里叶变换STFT方法,将天线、接收机采集到的多个时刻的信号变换成信号谱图[9-11]。无人机遥控信号带宽通常小于3 MHz,常在以2.44 GHz为中心频率的附近100 MHz频带内跳变[12],而5.775 GHz附近100 MHz的频段有时也会被用于遥控,如大疆精灵Ⅲ型无人机的遥控信号,其遥控信号带宽约为1 MHz[13]。

利用短时傅里叶变换将跳频扩频的无人机遥控信号转换为谱图后,就近似地将其等价为对于跳频序列谱图的识别问题。有许多学者曾研究过如何提取跳频序列的跳频特征[14-16],包括检测跳频序列周期、跳频速率[17-18]等,或采用小波分解[19]、HOG-SVM[20]方法来识别跳频序列,但实际的无人机遥控信号功率通常较小,当距离较远时,受天线、接收机性能约束,可能造成跳频序列捕捉不完整,传统的跳频特征提取方法难以适用,也难以通过提取到的跳频特征判断机型。此外,由于遥控信号功率较小,且背景噪声会随时间与场景变化,就要求遥控信号的频谱检测阈值,在低虚警概率下尽可能贴近背景噪声,同时必须是自适应的,而无人机遥控信号常用的2.4 GHz与5.8 GHz频段频谱环境复杂,容易受到WiFi以及窄带突发信号的干扰[21-22],所以如果要在工程中应用,算法须具有较强的鲁棒性。

对此,本文提出了一种采用残差神经网络的无人机遥控信号识别监测算法(DRN-UAV),通过联合自适应信号检测阈值计算改进现有的阈值计算方法,并通过预处理操作来对抗窄带与宽带干扰,最后利用残差神经网络识别是否存在及其机型。本文算法具有良好的鲁棒性与工程应用价值。

1 无人机遥控信号识别监测方法

无人机单次识别的流程如图1所示,重复该步骤即可实现连续识别。

图1 无人机单次识别的流程图

DRN-UAV算法流程如下:①由谱图Mt(Mt∈RN×S)计算出联合自适应信号检测阈值Ath,同时将谱图Mt映射为二值化谱图Ma(Ma∈{0,1}N×100);②将二值化谱图Ma中的宽带干扰所在频点置零后抽出非零帧,由前100帧非零帧得到分辨率为100×100的待测谱图Md(Md={0,1}100×100),不足100帧时用全零帧补足;③用得到的待测谱图Md训练神经网络;④通过已训练好的残差神经网络ResNet-34,识别出当前无人机是否存在及其机型。

1.1 采集无人机遥控信号时频谱图Mt

采用图2所示的无人机遥控信号识别系统对中心频率fc附近100 MHz带宽(共S个频点)进行N次连续的频谱快照,形成具有N帧的单张谱图Mt∈RN×S。因实验设备无法一次性扫描100 MHz带宽,故将连续采集的多段相邻频率的频谱拼接成100 MHz,以此作为单次频谱快照。滑动读入谱图Mt示意如图3所录,其中n=50,N=20n。

图2 本文采用的无人机遥控信号识别系统

图3 滑动读入谱图Mt示意图

1.2 数据预处理

数据预处理包括计算联合自适应阈值Ath、二值化谱图Ma∈{0,1}N×100以及构造待测谱图Md∈{0,1}100×100这3个步骤。

(1)

式中:E为均值;σ为标准差;erf(x)为误差函数;P为恒定的虚警概率。但该方法不适用于复杂的电磁环境,会导致较多噪声在检测阈值之上,对无人机信号谱图造成较大污染。

本文提出了一种新的联合自适应阈值计算方法,在可接受的虚警概率范围内,最大限度的将漏警率降到最低,即计算出的检测阈值最低,尽可能贴近底噪,同时让绝大部分噪声低于信号检测阈值。方法基本思路是采用两种不同的阈值计算方法,最后取较低的阈值作为最后的检测阈值Ath,该方法的优点是计算出的检测阈值兼有较高的稳定度与精确度。

方法一在本课题组之前发表的论文[24]中提出了利用二次求平均值的方法计算检测阈值,主要思路是先计算当前帧的第一次均值E1与标准差σ1。

(2)

(3)

(4)

方法一与方法二联合求解取最小值后,可在保证检测阈值精度的同时也保证其稳定性,即联合自适应检测阈值计算。

1.2.2 二值化谱图Ma以对抗随机噪声与杂散信号 文献[24]中提出了一种基于谱图峰值寻找与带宽计算的映射方法,该方法的好处是能够精确计算出窄带信号的带宽,但无法测得Wifi等宽带信号的峰值与带宽,而本文算法中二值化谱图Ma带宽分辨率为1 MHz,对带宽精度要求不高。为简化运算,本文改为对每1 MHz带宽进行一一检索的方法,从而实现二值化映射。

(1)对抗随机噪声。将谱图Mt高于阈值Ath的频点置为1,其他频点置为0。

(2)对抗杂散信号。首先,计算出Mt中每1 MHz所包含的频点总数s1 MHz

(5)

然后,初始化Ma为全零矩阵,统计出当前帧(记为第i帧,1≤i≤N)第jMHz中数值高于检测阈值Ath的频点数,记为hj,并按照如下规则进行映射

Maij=1

(6)

具体映射过程如图4所示。重复上述步骤,遍历Mt即可将其映射为二值化谱图Ma。

图4 二值化映射示意图

由于杂散信号带宽极窄,而无人机遥控信号带宽大于0.3 MHz,进一步增强了算法的鲁棒性。

1.2.3 构造待测谱图Md以对抗宽带干扰 WiFi宽带干扰往往不会充满所有时刻,故可将WiFi干扰直接从检测其存在的频谱快照中剔除。

图5 二值化谱图Ma与的映射关系

1.3 用待测图谱Md训练残差神经网络

卷积神经网络具有优异的分类性能,且随着各层神经元个数的增加,或层数的加深,网络性能往往能得到有效提升,深层网络一般会比浅层网络效果更好[25]。更深的网络能学习到更加复杂的表达,更宽的网络则意味着每一层映射能力会增强,但对网络整体性能的提升有限。由于不同型号的无人机遥控信号的谱图都存在差异,且随着数据集中无人机机型的完善,需要神经网络具有足够的分类能力,故选择采用更深层网络。而神经网络深度超过了一定层数后性能反而会出现退化,残差神经网络则是一个有效的解决方案[26]。残差块定义如图6所示。

图6 残差块的定义

图6中F(x)表示残差函数,记网络输出函数H(x)=F(x)+x,可得到

H(x)=F(x,{Wi})+Wsx

(7)

式中:F(x,{Wi})可表示x通过多个卷积层;Ws是为了保证(6)式中F(x,{Wi})与x维度相同而做的线性变换。由于残差块的组成包括两个隐层,可得

H(x)=W2σ(W1x)+Wsx

(8)

式中,σ代表Relu函数

Relu(x)=max(0,x)

(9)

残差神经网络ResNet34主要由基本单元Ⅰ(残差块)、基本单元Ⅱ(下采样残差块)构成,如图7、图8所示。

图7 ResNet-34的基本单元Ⅰ

图8 ResNet-34的基本单元Ⅱ

对于图7、图8中3×3卷积核,记输入矩阵为x,单次卷积的输出结果为ui,j,其计算公式如下

(10)

式中:w为卷积核权重;下标i、j与m、n都分别表示行、列号。

神经网络识别遥控信号可避免跳频周期、速率等特征难以准确提取的问题。而加入残差结构能克服深层网络性能退化的现象,增强网络的分类和泛化能力,适用于多机型的遥控信号识别。

图9为ResNet34网络的结构图。其中,Pool代表2×2的最大池化层,Avg pool指平均池化层,Fc是全连接层,Conv(3×3,d)代表卷积核大小为3×3的卷积层,d=64、256、128,512代表了通道数。网络包括16个残差结构和2个池化层,总计34层。

图9 ResNet-34结构图

2 实 验

本文测试系统由天线、接收机及笔记本电脑组成,选取了大疆精灵Ⅲ、九鹰、Futaba T14SG、天地飞07等几种国内常见型号的无人机遥控器,采用本文算法进行识别验证,测试场景如图10所示。

(a)测试大疆精灵Ⅲ遥控器

实验中,系统连续扫描100 MHz带宽频谱(单次最大扫描带宽为20 MHz,本实验将连续5个时刻的相邻的20 MHz频谱拼接),中心频率依次选择为2.44 GHz与5.775 GHz。实验结果表明,在50、25、1 kHz的频谱分辨率带宽下本文算法均能较为准确地识别到无人机遥控信号及其型号。此外,在信号发射源产生窄带突发干扰、路由器产生WiFi宽带干扰下,本文算法均取得了较好的识别效果,证明算法具有较强的鲁棒性。

图11展示了联合自适应阈值计算法的实验结果,根据实测数据比较了阈值计算方法一(利用二次求平均值)、方法二(基于最小值滤波器)、方法三(基于中值滤波器)计算出的阈值结果。从图11可以看出阈值计算方法二在保证错误率相同的情况下,利用最小值滤波器求出来的阈值更贴近底噪。但阈值计算方法二在捕捉到遥控信号较为密集时,其阈值计算结果可能不够稳定。方法一则相较于方法二更稳定。

图11 不同方法的阈值计算结果比较

联合阈值计算方法一与方法二求解,能够使阈值足够贴近底噪,且具有较强的鲁棒性。

以大疆精灵Ⅲ型无人机遥控信号实测数据为例,图12a是由N=1 000次频谱快照形成的包含S=2 381个采样频点的100 MHz频带。图12b则表示抽取N=100次包含遥控信号的频谱快照形成的100 MHz频带,有S=100个采样频点。

(a)大疆精灵Ⅲ型实测遥控信号谱图Mt

对比图12a、12b不难看出,经过预处理后的待测谱图Md特征更为明显,随机噪声以及定频、宽带干扰都被有效压制,相较于原始的谱图Mt更易于识别到无人机遥控信号。

宽带干扰的谱图预处理结果如图13所示,图13a是大小为100×100的WiFi信号二值谱图(由捕捉到的50余帧WiFi信号频谱快照构成),图13b为将图13a剔除宽带干扰后构成的待测谱图Md。其中,横坐标1～100分别代表100相邻个频点,纵坐标则依次代表100个时刻的频谱快照,亮点代表该频点值为1,其余频点值为0。

(a)剔除全零帧后WiFi信号的二值谱图

从图13可以看出在检测信号时,宽带干扰信号的谱图通过预处理后,基本得到剔除,对无人机遥控信号检测影响较小。而对于包含定频或突发窄带干扰的谱图,在预处理后对无人机遥控信号检测基本不构成影响。

通过对包含不同类型无人机遥控信号以及包含宽带干扰、突发窄带干扰、定频干扰的谱图Mt预处理后,得到由多类待测谱图Md构成的数据集,即UAV-STFT数据集。本次实验中训练集共包含1 980个样本,验证集443个样本,测试集500个样本。图14a、b、d分别展示了两种机型与预处理前后WiFi干扰信号的训练样本。

(a)大疆精灵Ⅲ的训练样本

用一位有效编码规则为UAV-STFT数据集制作多类标签。用标记好的数据集训练方法中的给出的经预训练的34层残差神经网络,优化算法使用Adam,经多次迭代后,ResNet34网络的训练结果如图15所示。

图15 ResNet-34训练结果

由于现阶段采集到的用于训练的无人机遥控信号种类还较少,网络较好地完成了分类任务。整个训练集损失和测试集损失也是一直在呈现明显下降的趋势,说明网络没有出现过拟合。若需要识别更多的机型,可扩大UAV-STFT数据集,新增更多的无人机遥控信号类型标签,然后在原先网络的基础上继续训练,微调网络参数。ResNet残差神经网络具有较好的多分类效果,适用于解决多类无人机遥控信号分类。

在频谱分辨率带宽为25 kHz、中心频率为2.44 GHz,在0～10 dB范围的信噪比下,连续采集大量的九鹰、大疆精灵Ⅲ型无人机遥控信号实测数据进行测试,最终拟合计算出信噪比与检测成功率的曲线,如图16所示。

图16 2种无人机的信噪比与检测成功率关系曲线

识别过程中干扰信号强度对检测算法没有直接影响,干扰增强主要是通过增强底噪,进而影响阈值计算,最后间接影响本文提出的算法。如果识别过程中干扰信号增强没有抬升底噪,则基本不影响阈值计算,经过二值化后,干扰将被剔除。

3 结 论

本文提出了一种采用残差神经网络来识别无人机遥控信号的算法,并搭建原型机系统测试。首先通过滑动时间窗来读入时频谱图,并以联合自适应的方法计算信号频谱检测阈值;然后对已读入的时频谱图进行二值化、剔除干扰等预处理操作,构造待测谱图;接着将大量实测的不同机型遥控信号待测谱图作为数据集来训练和测试残差神经网络。最终由训练好的网络实时识别当前遥控信号是否存在及其所属机型。

(1)滑动地读入谱图,每更新20帧频谱数据便可得到当前新的识别结果,耗时仅为原先单次识别的1/25。而直接处理谱图计算量过于庞大,本文地将谱图抽象为二值化的待测谱图,变成了1万个二值频点,极大地简化了运算。

(2)所提出的联合自适应阈值计算,满足了动态更新的特性,并在保证阈值计算稳定性的同时,增加了计算的精确性。在相同误检率下,DRN-UAV算法得到的信号频谱检测阈值相比传统方法降低了1.4 dBm。

(3)本文算法的通过生成二值化谱图与待测谱图使算法和系统具有较强的鲁棒性,当信噪比高于5.5 dB时,在单个窄带定频信号和WiFi干扰下,检测错误率能达到0.01%以内。