基于深度学习的无人机入侵检测方法①

陈 帅,尹 洋,杨全顺

(海军工程大学 电气工程学院,武汉 430032)

近年来,随着各行业信息化程度越来越高,航空技术的智能化程度得到了巨大的发展,各种遥控无人机(Unmanned Aircraft Vehicle,UAV),自主飞行器的应用更加广泛,在无人机作战,无人机攻防,航拍视频,森林防火,环境勘探等领域发挥着重要作用.但同时,无人机黑飞滥用,用于恐怖袭击,非法入侵等行为带来许多威胁与安全隐患,为社会治安,边境安全等造成了困扰[1–5].在美国华盛顿,白宫曾遭遇了一架四旋翼无人机的非法入侵,以极低的飞行高度越过了白宫围墙;在法国,至少有14 座核电站被无人机非法窥探,作为核能依赖程度最高的国家,这不免让法国人有所顾虑;在国内各大机场,已经发生多起无人机干扰航行的事件,导致了数百架航班迫降、延误,造成巨大的经济损失与安全隐患.

低空范围的安全问题引起了越来越多的重视,反无人机低空防护技术主要分为无人机目标的侦测和无人机干扰反制两个方面.其中,无人机干扰反制措施一般是利用大功率频段电子干扰器和全球定位系统(Global Positioning System,GPS)欺骗进行拦截,相关技术发展迅速,许多成熟的产品设备都已用于对无人机目标的拦截;而无人机目标的侦测技术的相关研究较少,美国作为最早开展反无人机相关研究的国家,早在2015年就有相关公司推出了一款手持式反无人机设备无人机防卫者(drone defender),其外形类似于狙击枪,由人为手动瞄准并启动,通过对无人机的导航定位系统施加干扰信号,迫使无人机悬停或者返航.无人机防卫者的最大作用范围为400 m,而且是否进行干扰完全依靠操作人肉眼观察周围情况,在天气环境较差、夜晚可见度低或者长时间监控等情况下,容易出现判断错误,无法进行有效防御.日本东京Alsok 安保公司设计了一种新型无人机侦测系统,利用无人机在低空飞行时表现出的音频特征获取入侵目标的方向,通过对不同型号无人机的声纹建立数据库,可以进一步确定入侵无人机类别,但是,该系统的最大监控范围不超过150 m[6].国内最具代表性的研究为浙江大学提出的ADS-ZJU (Anti-Drone System at Zhejiang University)架构,它结合了3 种监视技术:音频声学探测阵列,可见光相机视频监控和射频信号探测设备,实验结果表明系统在校园环境中,通过ADS-ZJU 系统可以检测和定位入侵无人机,对于100 m 范围内入侵的无人机目标具有良好的侦测效果,误报率在3%以下.在必要的情况下,射频干扰也可以起到有效的作用[1].目前的侦测手段存在不同的局限性,致使低空防护范围有限,无法满足无人监控的准确性要求[7,8].

1 无人机与探测方式特点

无人机的价格便宜,获取渠道多,我国有超过500 家的公司企业在从事无人机的研发与销售工作,但并没有相关行业规范和具体法律法规制定,导致监管困难,大量无人机设备存在“黑飞”、“乱飞”的行为.无人机本身操作容易,镁铝结构机身具有体积小,重量轻,机动灵活,隐蔽性好等特点;另外,具有摄像功能的无人机可以用于情报窃取,非法窥探等,给某些敏感保密地区的安全性带来威胁;装载小型炸弹的无人机可以用于恐怖主义自杀式袭击等.无人机目标在天空飞行时,其飞行高度较低,雷达散射截面(Radar Cross Section,RCS)小,飞行速度慢;由电池供电电机驱动使得其红外特征不明显;最大信号有效距离可达5–7 km,使得远距离飞行时的声音特征与无线通信信号不明显[9–11].无人机具备的使用特点(如表1)与其飞行时的目标特点给防治无人机非法活动带来了巨大的挑战.

表1 无人机使用与目标特点

无人机引发的安全问题频繁出现,促进了各类无人机探测传感器的发展.包括雷达、RGB 相机、无线信号侦测等在内的多种探测方式应用到低空范围内小目标侦测任务中.目前,雷达作为应用最广泛的侦测设备,已经有许多团队开始针对用于无人机侦测的雷达研究.武汉大学已经成功开发了一种专门用于无人机探测的数字多通道无源双基地雷达(Passive Bistatic Radar,PBR)系统,并进行了实验与测试,验证了该数字多通道PBR 系统检测无人机的实用性和前景[12];国防科技大学也进行了多次实验,通过在1–4 GHz 频率范围内的仿真和测量来评估无人机的单静态RCS,为使用常规雷达和无源雷达侦测无人机雷奠定了技术基础[13].

光电传感器也常用于目标入侵检测,包括RGB 可见光相机、红外相机等设备,通过光电传感器捕获的图像可以获得目标的外观、姿态等特征.在计算机视觉和模式识别领域,基于光电传感器的无人机检测本质上是一个目标检测问题.西北工业大学构建了一种基于地面随机鱼眼镜头阵列的新型anti-UAV 监视系统,提出了一种快速自校准的方法用于摄像机阵列的布局,并设计了一套基于鱼眼镜头阵列的多目标检测、跟踪和3D 定位算法,实验结果表明,系统可以有效地在没有人工标记的情况下跟踪无人机[14];另外,波兰军事科技大学提出了通过不同的热成像系统进行无人机检测的概念,进行了研究和测试,并概述了红外传感器的发展方向[15];高雄科技大学使用图像视觉处理技术,传感技术和两轴步进电机控制技术,设计了用于侦测无人机的双轴旋转跟踪平台,为反无人机的关键技术之一提供了技术参考[16].

本文分析了目前主要探测方式特点如表2所示.

表2 不同无人机目标侦测传感器特点

2 信息融合目标侦测方法

通过多源探测信息融合,可以弥补单个传感器存在的局限性.多传感器获取的信息具备冗余性,可以提高对目标特性描述的精度与准确性,防止部分信息缺失或者出错时对整个系统的决策造成影响.多传感器获取的信息同时具备互补性,丰富目标不同特征信息,有效地提高了系统的识别能力,扩展了时间和空间的覆盖范围[17–20].

单一传感器在检测无人机目标时,往往会出现准确性不高、实时性较差、抗干扰能力弱的不足.例如雷达在侦测无人机目标时可以得到低空范围内目标的距离、方向、速度等信息,却无法区分鸟类、气球等其他目标;RGB 相机能得到目标外观信息从而区分无人机,但是不能同时满足大范围、长距离监控,很难捕捉到可疑目标画面;射频(Radio Frequency,RF)、音频探测设备极易受到周边环境干扰,且探测距离较小.经过分析与实验测试,本文采取以RGB 相机和雷达信息为主,射频信号为辅助的融合方式.在保证特征信息获取准确性的情况下,提高了探测覆盖范围与实时性,经过融合后信息基本满足了判定无人机目标入侵的必要条件.

基于多源探测信息融合理论,本文提出一种多传感器信息融合的目标侦测方法,将雷达与RGB 相机进行联动控制,即雷达设备对低空范围内的目标进行不间断扫描,实时捕获非法入侵可疑目标的基本特征,包括距离、高度、方向以及速度等,雷达观测到天空中小目标出现时,先将目标距离、方向等信息传递到控制中心,若存在疑似无人机目标,控制中心依据可疑目标距离分别列入待检测列表;否则,雷达继续进行扫描与监控.

控制中心根据雷达提供待检测列表中目标的距离、方向等信息旋转RGB 相机设备的云台,调整方向角与俯仰角,RGB 相机同时进行变焦与对焦,得到包含可疑目标的图像画面,射频侦测设备开始侦测可疑目标及周围范围内的射频信号,通过图像信息与通信信号判断是否存在无人机入侵.

多个传感器在同时工作时,首先需要进行配准.包括时间配准和空间配准.对于时间配准,一般来说,雷达的工作周期相对较长,其他设备响应时间较快,所以本发明实施例依照雷达的时间为标准;对于空间配准,不同传感设备的空间坐标系存在差别,只有将坐标系配准后才能进行信息融合,基于欧勒角对不同设备的坐标进行转换,提高目标信息匹配的准确率.如图1所示.

图1 坐标系转换

以雷达设备与RGB 相机云台设备为例,若两设备三维空间坐标系分别为O1X1Y1Z1和O2X2Y2Z2.依次按照绕O1Z1,O1Y1,O1X1旋转的顺序,对应X,Y,Z轴的欧勒角分别为εx,εy,εz,则其分别对应的旋转矩阵Mx,My,Mz为:

则雷达坐标系到RGB 相机坐标系坐标转换方程为:

一般来说,设备在安装时按照统一方向对齐后,雷达与RGB 相机设备的旋转角相差不大,εx,εy,εz,数值相对较小时,坐标转换公式可以简化为:

短视频平台中，用户数最多的抖音2016年出现，2017年迅速爆发，已经成为新时代的移动社交平台及移动互联网终端流量入口之一。根据2017年5月-2018年4月搜集的艾瑞数据分析，抖音用户数82%年龄都小于35岁。互联网时代，年轻人越来越在意个性的凸显，很多年轻人有较强的表现欲，他们需要一个平台去展示自我，获得关注和认可。

将不同探测源坐标等信息配准后,本文基于信息融合中基本的决策级、特征级、数据级等基本融合理论,使用一种混合制结构模型对天空背景下的无人机小目标进行探测,模型如图2所示.

图2 无人机小目标探测融合结构模型

多传感器先侦测到无人机小目标的入侵,通过雷达传感器备获取到目标的位置、速度等信息,再通过RGB 相机与射频探测器获取到包含可疑目标的画面与通信信号,最后系统决策判断是否有无人机入侵.

反无人机低空防御的决策过程,类似于多特征属性决策问题,是利用目标多种特征以及不同特征的特点来对目标威胁程度进行评估的过程.当系统开始工作时,探测到疑似非法入侵的无人机目标为xi∈{x1,x2,···,xn},针对目标做出是否进行干扰的决策.而判定依据为通过信息融合得到每个目标的m个特征属性Qi∈{Q1,Q2,···,Qn},一般在无人机判定过程中,Q1,Q2,···,Qm代表可疑目标的距离、高度、速度和外观形态等特征,每个属性相互独立.通过建立属性与决策之间的联系,选取最好的结果,决定是否通过干扰设备来执行反制措施.目前,绝大部分无人机在运行的过程中会表现出相似的特点,其飞行高度一般在100–500 m 之间,运动速度在3–15 m/s之间.根据雷达获取到目标的高度特征Q1和速度特征Q2,筛选出其数值1 00

3 基于深度学习的无人机目标检测

在计算机视觉领域中,寻找目标物体判别其具体类型,并对其在图像中的位置进行定位的问题,即为目标检测的问题.无人机的目标检测则意味着系统不仅要判定图像中的物体是否为无人机,而且要找到无人机在图像中的具体位置,并用矩形框将其标出,同时解决定位与分类的问题.

3.1 数据集的建立

实现无人机的检测,需要建立无人机目标的数据集作为训练样本.本文以VOC 格式数据集为基础,收集了155 张包含无人机目标的图像作为初始数据集,标注信息包括文件名、尺寸等信息.其中,部分数据如图3所示.

图3 无人机目标检测数据集

为了提升SSD 模型预测的性能,丰富数据多样性,提高模型的泛化能力,使用数据扩增来增加样本数量,采用常见的裁剪、平移、改变亮度、加入噪声、旋转角度以及镜像等方式对原始数据做出变换.如图4所示.

图4 图像变换数据扩增

另外,本文提出一种目标迁移的方法.首先从包含无人机目标的图像中提取无人机目标,然后将其对不含无人机目标的天空背景进行像素替换,并随机旋转一定角度,最后通过高斯滤波等方法对图像进行平滑,得到新的数据.如图5.

与真实无人机目标图像相比,通过目标迁移后生成的无人机目标图像视觉相似性较高.为了进一步验证目标迁移后无人机图像的真实性与多样性,本文使用t-SNE (t-distributed Stochastic Neighbor Embedding)方法对生成的无人机图片与真实图像进行可视化.其中包括83 张真实无人机图像,以及同一无人机目标迁移到不同背景后生成的10 张图像,经过截取后无人机尺寸在画面中所占比例都在60%～80%之间.可视化的结果如图6所示.

图5 目标迁移数据集扩展

图6 扩增数据集相似性对比

3.2 模型训练

目标检测SSD 模型以VGG16 结构为基础骨干网络,通过在VGG16中选取,以及在网络后增加更多的卷积层来获取不同尺度的特征图对目标做出预测.模型输入300×300 图像,经过卷积神经网络一共选取了6个不同大小的特征图,大小分别为(38,38),(19,19),(10,10),(5,5),(3,3),(1,1),每层特征图中锚点对应先验框的数目分别为4,6,6,6,4,4个,模型结构如图7所示.所以最终对每类目标输出8732个预测值,通过非极大值抑制得到最终的结果.

图7 SSD 模型无人机目标检测

完成训练样本的选择之后,需要确定目标检测的损失函数,主要包括定位Lloc和分类Lconf两部分损失.整体表达式如下:

α为权重系数.由于本文主要关注可疑目标是否为无人机,对目标所在图像中位置精度要求相对较低,所以将权重系数设置为0.8.同时,设置学习率learnrate=0.001,当训练次数到达8000 次时,更新学习率为0.0001;权重衰减weight decacy=0.0005;一次训练所选取的样本数batch size=16;随机梯度下降(Stochastic Gradient Descent,SGD)函数中的动量momentum=0.9.使用NVIDIA GTX1060 GPU 对模型进行训练,训练过程如图所示,经过14 000 次训练后,模型输出的loss 维持在1%以下.无人机目标检测训练过程如图8.

图8 无人机目标检测训练过程

4 实验分析

无人机入侵检测方法要求能够对低空范围内的小目标进行实时监控,当有为获批准的不明物体进入防护范围内时,系统需要获取其距离、方向以及高度等信息,同时根据外观形态特征对其是否为非法入侵无人机做出判断.为了验证本文方法的有效性,搭建实验验证平台,对无人机目标的入侵进行检测.

实验地点设置在武汉某试验基地,周围环境包括湖泊、社区、大桥等,干扰信号相对复杂,如图9所示,最外层圆圈范围表示雷达监控的范围,对2 km 低空范围内入侵的可疑目标进行实时监控;最内层圆圈范围表示射频探测设备工作的范围,当可疑目标进入1 km范围可以探测到无人机目标通信信号;中间圆圈区域表示RGB 相机设备监控范围,其根据雷达提供的信息与危险等级划分依次对可疑目标进行探测.

图9 无人机入侵检测试验场地

使用无人机从不同距离起飞,并作入侵或逃离运动,雷达捕获到目标位置、高度以及速度等信息,得到的目标雷达图,再通过无人机目标和运动特点筛选出可能为无人机的目标点,无人机入侵检测设备搭建平台如图10所示.

图10 无人机探测设备搭建平台

最后,根据雷达提供的目标方位、角度以及高度等信息,旋转RGB 相机设备的云台,并对设备进行变焦对焦,获取到包含疑似无人机目标的画面,并通过SSD 目标检测模型定位和识别出无人机目标,如图11.

图11 运动目标误判效果

5 结论与展望

为了侦测低空范围内非法入侵的无人机目标,本文提出了一种基于深度学习的无人机入侵检测方法.首先通过多传感器信息融合获取到低空范围内可疑目标的方位、速度以及画面信息,再利用训练好的SSD深度学习模型对画面中目标类别进行预测,判定可疑目标是否为无人机,实验结果表明本文方法能够有效检测到无人机目标的入侵.在后续工作中,可以利用不同传感器解决在黑夜、大雾天气等情况下,RGB 相机无法做出有效决策的问题.