基于无线探测与光电探测的机场无人机探测与定位系统研究

张力波，甄军平，曹 铁，房天谋

（民航成都电子技术有限责任公司，成都 610041）

0 引言

随着无人机技术的快速发展，民用无人机呈现出种类日益增多、性能日益提升、使用领域不断扩展、使用门槛不断降低、获得渠道不断增多的特点。民用无人机普及程度的不断提升也带来了扰航事件的增多。2017年发生在成都双流机场、重庆机场和杭州萧山等机场的无人机扰航事件将无人机“黑飞”行为推到了舆论的风口浪尖。“黑飞恶飞”无人机事件不仅严重干扰机场的正常运行秩序，而且严重威胁着乘客和航空器的安全。2019年11月1日，《民航局关于促进机场新技术应用的指导意见》的新技术目录中明确提出对无人机等“低慢小”目标的探测与反制技术。

当前无人机探测的主要传感方式有雷达、无线和光电。雷达探测是雷达向外发射电磁波，通过对回波进行处理得出无人机的探测信息，这些信息包括距离、角方向、径向速度以及微多普勒特征等。无线探测是通过探测无人机的通讯无线电信号来对无人机进行识别和定位，具体地，识别方面，运用射频识别技术来监测无人机传输信号，提取信号的频谱特征，并与无人机特征库中的频谱特征进行匹配，实现对无人机品牌与型号的识别；定位方面，运用到达时间差法（简称TDOA）以及无线电测向技术对无人机进行定位。光电探测主要是运用摄像机等光电设备采集无人机图像，并结合深度学习算法从图像中识别出无人机。

由于机场对电磁环境有严格要求，本文选择不产生额外电磁干扰的无线探测和光电探测设备，研究基于TDOA定位技术与深度学习识别技术的无人机探测与定位系统。

1 系统概述

1.1 系统组成

如图1所示，本文所设计的无人机探测与定位系统主要包含无线探测设备、光电探测设备、服务器以及显示设备。其中，无线探测设备持续对监测环境范围内的无人机进行探测与定位，并把探测结果发送至服务器；服务器在接收到无人机定位信息后，控制光电探测设备朝向无人机方向并以适当的放大倍率进行图像采集，并将采集的图像发送给服务器；服务器上部署的深度学习算法从图像中识别出无人机；最终在显示设备上显示探测到的无人机类型、在地图中的位置以及带有无人机识别结果的光电图像。

图1 系统组成

1.2 无线探测模块

无线探测模块所用设备为三台无线电探测设备，无线电探测设备不发射电磁波，通过阵列天线和多通道无线电接收机被动截获和接收无人机及操作者发射的遥控和图传信号，对收到的信号分选识别后加以确认，单台设备可对信号实现参数测量和高精度测向，同时识别出无人机的型号。多台设备组网运用TDOA算法可以实现对无人机的高精度定位，最终结合地图实现无人机型号、位置和航迹等信息的可视化。

TDOA算法原理如图2所示，无人机对外发送无线电信号，距离不同的探测设备收到信号的时间点不同，因此利用多个探测设备接收到信号的时间差△来确定无人机的位置。对每两台探测设备来说，无人机与两台探测设备间的距离差△=×△，其中为电磁波传播速度。据此可在两探测设备之间绘制出关于距离差值的双曲线，三台设备可形成三组双曲线，三组双曲线共同的交点即是无人机的位置。

图2 TDOA算法原理图

1.3 光电探测模块

光电探测模块是无线探测模块的必要补充，依靠光电探测模块可直观评价系统对无人机的探测结果，同时结合基于深度学习的目标检测与跟踪算法，可实现在无线探测设备探测到无人机后，依靠光电探测模块对无人机进行确认与跟踪。由于无人机体积小，相对于雷达探测，可见光探测无人机的距离较短。为了提高光电探测设备对无人机的探测精度，需选用高倍率、高分辨率摄像机作为光电探测设备。市面上已推出了在光学倍率和数字倍率的配合下实现目标放大1280倍的激光重载云台，具备2560×1440的输出图像尺寸。以大疆御2民用小型无人机为例，其展开尺寸为183×253×77 mm，如图3所示，激光重载云台可在2km范围内明显发现该型号无人机。

图3 2 km处的无人机探测图像

2 基于深度学习的无人机识别算法研究

随着深度学习技术的快速发展，卷积神经网络在目标检测方面表现出卓越性能，特别是YOLO系列，其推理速度越来越快，检测精度越来越高，早已达到了工业应用水平。本次研究选用2021年旷视科技推出的YOLOX作为摄像机图像下的无人机检测算法，该算法在目前的YOLO系列算法中取得了最佳效果。

2.1 网络结构

目标检测模型的网络结构一般由三部分构成，即提取特征的骨干网络（backbone）、用于预测的头部（head）以及介于之间的颈部（neck）。相对于YOLOv3～YOLOv5，YOLOX算法最主要的改进在于模型的检测头，如图4所示，YOLOv3～YOLOv5采用耦合检测头，即目标的分类任务（Cls）和目标位置的回归任务（Reg）共用一个检测头，但因分类和回归任务冲突，耦合检测头会损害性能。因此，YOLOX对检测头做了解耦，不仅改善了收敛速度，还使AP提升了4.2%。

图4 YOLOX网络head部分的改进措施

2.2 优化措施

2.2.1 图像分块识别

YOLOX网络的图片输入尺寸是640×640像素，任意尺寸的图片在送入网络前都会放大或缩小至640×640像素后再进行推理。由于远处的无人机尺寸小，如果直接将重载平台采集的2560×1440像素图片送入网络，经过缩放后的无人机将难以识别。因此，为了降低缩放比例，本研究将2560×1440像素的图片拆分成4×3张720×720像素的图片，如图5所示，相邻切分图像之间保留部分重叠区域，以防止无人机正好被拆成两部分而不能被识别。

图5 检测图片切分

在识别到无人机后，算法会返回无人机在各切分图像中的位置，因此需根据偏移量将无人机的识别位置映射回原图中的位置。为了避免无人机处在切分重叠区域时出现重复识别问题，需对无人机的识别结果进行非极大值抑制处理（简称NMS）。处理后的结果如图6所示。

图6 处理后的结果

2.2.2 基于TensorRT的推理优化

相比于只识别一张图片，将一张图像切分成12张图像后进行图像识别，识别速度将会大大降低，为了确保无人机识别的实时性，需对算法的推理速度进行优化。TensorRT是Nvidia公司推出的旨在极致优化GPU资源使用的深度学习推理计算框架，它对深度学习模型主要进行两方面的优化，一是模型量化，通过数据精度校准模块，在保证模型推理精度的前提下，将模型中数据类型为FP32的参数通过映射操作降为FP16或INT8的数据类型，减少模型推理计算量；二是对模型进行重构，以如图7所示的网络结构为例，用于图像检测的深度学习算法，其网络结构通常包含很多的由卷积层（conv）、偏置层（bias）以及激活函数层（如Relu）组成的块结构（block），TensorRT通过层间融合将该块结构合并成一个CBR层；并通过张量融合将多个结构相同的层合并成一个更宽的层；并且ten⁃sorRT可以自动实现连接层（concat），不用专门计算。通过对模型重构减少模型对GPU的CUDA核心占用量以及调用频率，使得整个模型结构更小，更快，更高效。

图7 TensorRT对网络结构的优化示例

因此，按照TensorRT模型优化流程，将训练好的YOLOX模型转化为通用的ONNX模型格式，再运用TensorRT对模型进行量化以及结构优化，最终生成engine格式文件，通过调用en⁃gine格式文件来识别图像中的无人机。如表1所示，经过推理优化后，重载云台输入一张2560×1440尺寸的图像，对图像进行标准化、切分、缩放等预处理操作的总耗时为平均6.25 ms；经推理优化后的YOLOX模型对12张切分图像同时推理的总耗时为平均24.71 ms；将算法的识别结果处理成业务所需结果，需经过格式转化、非极大值抑制等后处理操作，其耗时为平均8.90 ms；从重载云台输入图像至最终结果输出总耗时为平均39.86 ms，低于40 ms，满足实时性要求。

表1 无人机识别过程耗时表

3 结语

所搭建的基于无线探测与光电探测的机场无人机探测与定位系统，能够实现直径2 km范围内的无人机定位与图像识别。无线探测设备的探测能力会受周围障碍物遮挡的干扰。基于光电探测设备和深度学习的无人机识别方面，由于网上并无此种需求条件下的无人机数据集，本次研究通过自飞御2无人机，在不同时间段和不同距离条件下采集了523张图片，并结合COCO数据集在预训练模型的基础上进行训练。虽然对不同类型无人机的识别效果尚不能给出具体评价结果，但验证了结合光电探测设备和深度学习远距离识别无人机的可行性。在后续的工作中继续采集无人机、鸟、飞机等空中物体图片，增强基于光学图像的无人机识别性能，并结合目标跟踪算法完善系统。