基于数据扩充和特征增强的雷达回波无人机检测

2023-03-15赵宏宇张志文公茂果吕宇宙

上海航天 2023年1期

赵宏宇，张志文，公茂果，武越，叶舟，吕宇宙，张杨

（1.西安电子科技大学电子工程学院，陕西西安 710071；2.西安电子科技大学计算机科学与技术学院，陕西西安 710071；3.上海航天电子通讯设备研究所，上海 201108）

0 引言

近年来，人工智能技术的不断突破推动了无人机产业的飞速发展。无人机由于其体积小、能耗低、机动性高等优势，在航拍测绘、环境监测、应急救援、技术安防、军事化侦查等民用及军事领域得到广泛应用。而我国工业级无人机在民用无人机中的占比达54.3%［1］，是民用无人机的应用主体。在推动社会进步的同时，无人机对个人隐私、社会安全、军事安全等领域构成了严重威胁，为此需要发展针对无人机的反制手段。由于无人机较灵活，如何利用现有传感器实现高效率的无人机目标检测是一个需要深入研究的课题［2］。

雷达回波数据是一个复序列信号，信号序列中包含大量的冗余信息，传统方法难以有效挖掘数据内部的信息，从而导致目标检测的准确率低下。随着深度神经网络（Deep Neural Network，DNN）［3］的发展，DNN 可以从复杂数据中学习到高维度的特征信息，因此解决了不同领域中较多的难题，包括视觉识别、语义理解以及语音识别等［4-7］。尤其是深度卷积神经网络（Convolutional Neural Network，CNN），在目标的分类和识别方面取得了巨大的成功。KRIZHEVSKY 等［8］将DNN 应用在图像的分类和识别领域中。SZEGEDY 等［9］研究了更深层的卷积神经网络。卷积网络可以充分利用图像的空间信息，提取更加丰富的语义信息，增强目标的特征表示。

针对雷达无人机目标识别精度低、特征提取困难、网络容易过拟合等问题，构建使用距离-多普勒图像训练卷积神经网络进行目标检测的方法。首先，利用经典相参累积方法通过积分生成雷达回波的距离-多普勒图像；随后，利用卷积神经网络构建特定于距离-多普勒图像的目标检测框架和特征增强模块实现无人机的准确识别与跟踪；同时，为解决训练中可用样本不足导致的网络过拟合问题，采用生成对抗模型对距离-多普勒图像进行数据扩充，以获得充足的图像数据训练性能更加鲁棒的卷积神经网络；最后，通过实验验证了提出的方法在雷达回波序列中弱小飞机目标检测跟踪数据集上的有效性。

1 研究内容

1.1 相关工作

WANG 等［10］将DNN 应用在雷达波形识别方面。MENDIS 等［11］将DNN 应用在微型无人机识别系统中，提高了检测的准确率。SEYFIOGLU［12］将DNN 应用在微多普勒分类技术当中。同时还有一系列针对合成孔径雷达（Synthetic Aperture Radar，SAR）的深度学习方法被众多学者提出，陈立福等［13］采用MSTAR 中3 类目标数据集作为源域数据集进行训练，针对3 类目标识别任务有监督地训练卷积神经网络，得到预训练模型。然后，通过构建与预训练模型相同的卷积神经网络，将10 类MSTAR 数据集作为目标域的目标任务，将预训练模型作为目标域的初始参数，对10 类目标进行微调训练，效果良好。任硕良等［14］通过迁移VGG16 和ResNet 网络进行微调训练形成对比实验，验证了迁移学习在SAR 图像目标识别中的应用，提高了MSTAR 数据集目标识别的准确率。王泽隆等［15］通过电磁仿真得到大量SAR 图像数据，通过卷积神经网络模型进行预训练，通过预训练权重文件作为初始参数，迁移到实测SAR 图像数据进行识别，进一步提升识别准确率。王博威等［16］针对SAR 图像目标识别小样本的问题，采用正负样本对策略，对样本数量进行了扩充后基于深度学习的孪生神经网络进行目标识别。PAN等［17］采用孪生卷积神经网络的方法进行小样本SAR 目标识别。DING 等［18］将CNN 引入SAR 雷达目标检测，并进行数据扩充增广。WANG 等［19］将CNN 引入CFAR 的判别器，利用CNN 替代传统的CFAR 检测器，取得了较好的效果。这些研究均是尝试使用DNN 来解决雷达目标检测和分类的问题。

1.2 算法整体结构

本文提出的网络设计主要包括3 个部分，分别为雷达数据的预处理、基于位置感知的卷积神经网络做目标的检测识别以及最终的结果处理。具体地，首先利用相参积累对雷达脉冲输入进行处理，得到距离-多普勒图像；其次训练基于位置感知的无人机目标检测卷积神经网络，其中为应对训练样本稀缺的问题，采用生成对抗网络对样本进行扩充；最后根据网络在距离-多普勒图像上的检测结果对物体的实时坐标和速度进行输出，以实现无人机的识别与跟踪。整体结构如图1 所示。

图1 网络总体结构Fig.1 Overall frame of the network

1.3 雷达特征分析建模

关于多普勒雷达，最经典的假设检验方法是基于Newman-Pearson 准确做判别的恒虚警检测（Constant False Alarm Rate，CFAR）［20-21］，恒虚警检测首先对输入的噪声进行处理后确定门限，将门限与输入信号进行相比，超过门限则判别为有目标。

由于雷达信号中不仅含有微弱的目标信号，而且包含很强的噪声，因此在对雷达信号预处理过程中首先需要对目标信号进行放大，增加目标回波信号的信噪比。单纯的放大雷达回波信号不仅会放大目标信号，同时也会放大噪声，使得信噪比下降，因此采用相参累积的方式提高目标信号信噪比。相参累积就是对多个雷达回波进行叠加，由于噪声随机，叠加后的结果是信号变强，噪声由于随机性强度反而变小，这样就可以达到提高目标信号与信噪比的目的，通过下述公式可以获得相参累积后的信号：

式中：xij为第i个脉冲序列压缩后第j个距离单元的幅值；yj为第j个距离单元慢时间相干积累后的结果；k为脉冲个数；tPR为脉冲重复时间；fd为目标的多普勒频率。

对于脉冲雷达而言，目标距离由回波脉冲的延迟时间决定，回波脉冲的幅度受到多普勒频率fd的调制，即回波脉冲的幅度以频率为fd的正弦规律变化。因此，结合二维的距离-多普勒图像，可以完成对目标距离和速度的检测。

对32 个脉冲序列进行相参累积后获得的距离-多普勒图像的三维展示如图2 所示。其中，由于在0 处的脉冲强度过大，因此在后续的数据处理部分会抑制该处过强的幅度值。

图2 相参累积Fig.2 Cancellation accumulation

1.4 目标检测网络结构

网络核心结构分为3 个部分：由卷积神经网络构建的特征提取模块、由变形卷积构建的特征增强模块、由全连接层构成的检测回归器。网络的输入是二维距离-多普勒图像，通过特征提取骨干网络获取输入图像的特征图。由于图像的2 个维度分别表示目标的不同特性，为进一步增强目标信息，因此采用基于位置感知的特征融合模块，分别在速度维度和距离维度进行变形卷积，即纵向感知卷积和横向感知卷积。在得到增强的特征后，将数据送入全连接层进行目标信息的预测，网络的输出包含待测目标的坐标信息（x，y）和检测置信度（Prob），位置感知卷积神经网络结构如图3所示。

图3 位置感知卷积神经网络结构Fig.3 Structure of the position-aware convolutional neural network

1.4.1 雷达数据特征提取和增强

特征提取网络的输入为单通道的距离-多普勒图像，像素值为信号的幅度值，采用基于残差连接的DarkNet 作为骨干网络对目标信号进行特征提取，由于该特定场景下网络规模较小，为减少额外的计算提高网络性能，使用了轻量化的MobileNet网络结构对基准骨干网络进行了替换，具体过程在实验部分给出。

输入的图像为距离-多普勒图像，图像中的H为示波门距离，W为多普勒频率值，图像的行表示在同样的波门距离下的多普勒频率值，而列则表示同样多普勒频率下不同波门距离上信号的强度。在骨干网络之后额外增加了纵向感知卷积和横向感知卷积，用于融和同一列和同一行内领域内的特征信息并且对特征图进行进一步的降采样。

横向和纵向感知卷积实现过程可以看作一种特殊的空洞卷积，横向感知卷积在x轴方向上的空洞率为0，在y轴方向上的空洞率为1，而纵向感知卷积在y轴方向上的空洞率为0，在x轴方向上的空洞率为1。

在3×3 卷积核下的横向感知卷积的示意图如图4 所示，在x轴方向上对邻域内的特征信息提取，同时在y轴方向上对图像进行降采样，纵向感知卷积与其类似，主要用来提取目标信号在纵向领域内的特征，扩大其感受野。感知卷积的计算公式为

图4 横向感知卷积Fig.4 Lateral perceptual convolution

式中：Zin、Zout分别为感知卷积层的输入与输出；ωk为当前层的卷积核的参数；k为图像的信道数。

该横向和纵向感知模块既满足了对特定领域内的目标特征进行提取，并且也达到了降采样的作用，有利于在不增加计算量的同时提高目标信号的感受野。由于该卷积模块对输入图片进行稀疏采样，因此不适合级联多层使用，会导致远距离获取信息不具有相关性以及丢失局部信息。

1.4.2 检测回归器设计与损失函数

与传统基于光学图像的目标检测网络不同，对于雷达信号生成的距离-多普勒图像，图像中包含的信息维度分别代表了目标的位置和速度。因此在图像上目标并不是以中心点和长宽的形式存在，而是以点的形式存在，相应的点代表了待检测的目标。因此，抛弃了传统目标检测框架中的锚框结构，设计了针对于特定雷达信号的目标检测头，该特征头将骨干网络提取到的融合特征作为输入，输出是目标在对应位置下的存在概率。

基于网络特征提取部分得到的特征图，构建栅格网络对于目标坐标进行回归。误差统计示意图如图5 所示，用栅格表示每一个像素，而预测目标的实际位置与栅格左上角顶点的相对差值，这样得到一个连续预测结果，可更加精确地判断物体的坐标以及实时的速度。对于损失函数部分，坐标的误差用均方误差进行计算，存在物体的置信度用二分类交叉熵，因为此时仅仅考虑存在物体或者不存在物体，为一个二分类的问题。该网络的损失函数分为两个部分：1）预测坐标的损失；2）预测栅格是否有物体的损失。预测坐标的损失用预测坐标(xi，yi)与实际目标位置(，)的欧氏距离的平方来度量。总的损失函数如下：

图5 误差统计Fig.5 Error statistics

由于样例中正负样本不均衡，因此为了让网络能更准确地学到物体是否存在的信息，需要将物体不存在时的置信度损失增大，以便于提高准确率。

1.5 少量样本数据增强

随着深度学习技术的发展，网络模型的规模越来越大。基于监督学习的神经网络模型依赖于高质量的雷达标记数据，然而，获取高质量的雷达目标检测数据集比较困难，对数据集的标注工作也会消耗大量的人力和物力，因此有必要研究如何利用少量样本来训练可用的网络模型。

对于上述问题，构建了基于无监督判别模型的数据增强模型进行解决，模型结构如图6 所示。该生成模型通过无监督训练可以学习真实样本的数据分布，并通过判别器来逐渐优化生成模型样本的质量。通过迭代训练，可以得到输出高质量的仿真样本的生成模型。经过上述的数据增强操作，可以极大地扩充可用的数据样本。更丰富的数据样本不仅可以增强网络的泛化性能，同时也可以避免网络由于训练样本过少导致的过拟合。

图6 数据增强流程Fig.6 Flow chart of data augmentation

生成器由4 层转置卷积网络级联而成，判别器由4 层卷积网络级联而成。交替训练判别模型和生成模型，最终会生成逼真的数据，从而扩充样本。该数据增强网络的目标函数公式为

式中：D为判别器；G为尾生成器。

该目标函数包含2 个部分，分别是生成器的损失函数和判别器的损失函数。优化判别器的目标函数为

式中：Ex～Pdata(x)logD(x)为判别x属于真实数据的对数损失函数，最大化该项的目的在于使得判别器能准确预测真实样本数据；Ez～Pz(z)log(1-D(G(z)))为判别器识别生成假数据的对数损失函数，最大化该项的目的在于使得判别器不会被生成的假数据所欺骗。

式（6）为优化生成模型G的目标函数，最小化该函数即为D(G(z))最大，也即使得样本越逼真，判别器判别假数据也就越困难。训练好的模型使用多普勒距离图像作为输入。

1.6 结果后处理

输出结果后，依据多普勒效应进行处理，最终计算出无人机目标的运动速度和到雷达的距离，计算流程如图7 所示。

图7 后处理流程Fig.7 Flow chart of post-processing

根据多普勒效应，反射波的频率和振幅会随着所碰到的物体的运动状态发生改变，因此可以利用该效应测量物体的运动速度。可以根据多普勒频移计算物体运动的径向速度：

式中：f0为原始发射频率；v为反射波的行进速度；c为光速。

根据网络输出距离-多普勒图像上检测点的坐标，可以得到目标点对应的速度坐标和距离坐标；根据速度坐标计算多普勒频移，可以获得物体的运动速度；结合采样数据的距离分辨率，可以获得物体与雷达之间的距离。

2 实验

2.1 数据集介绍

本实验数据集采用公开的雷达回波序列中弱小飞机目标检测跟踪数据集［22］，该数据集基本信息介绍见表1。

表1 数据集详情Tab.1 Details of the data set

该数据集包括2 个部分：第1 部分是一定时长内所有脉冲进行脉冲压缩后形成的连续时间脉冲序列；第2 部分是距离波门文件，采样数据仅为距离波门后的脉冲序列。连续时间的脉冲序列见表2，距离波门的数据文件如图8 所示，距离波门的刷新时间为1 ms。

表2 连续时间脉冲序列Tab.2 Continuous time pulse sequences

图8 距离波门Fig.8 Range gate

2.2 实验结果

2.2.1 原始数据上检测结果

首先在原始公开数据集上进行测试，实验中采用DarkNet 作为基准骨干网络，通过添加提出的检测头来进行目标检测。经过雷达数据预处理得到的连续两帧距离-多普勒图像如图9 所示，距离-多普勒图像下的检测结果（绿色代表真值信息，红色代表检测结果）如图10 所示。从图中可以看出，检测网络可以有效地检出距离-多普勒图像中的无人机目标。在原数据上进行目标检测的准确率为82%，召回率为85%，由于原始数据中的目标较少，目标特征比较单一，因此输入网络的训练数据较少，导致最终的检测精度不高。

图9 距离-多普勒图像Fig.9 Range-Doppler images

图10 基准检测结果Fig.10 Benchmark results

2.2.2 训练样本数据增强

为了减少网络的过拟合，增加可用的训练目标样本，本实验验证了提出的基于生成模型的数据增强方法的有效性。在实验中，使用相同的网络结构和相同的训练参数进行测试，相比于基准算法，使用数据增强后，检测准确率提高了6.5%，可视化结果如图11 所示。

图11 数据增强结果Fig.11 Results based on data enhancement

由图11 可以发现，当部分目标在距离-多普勒图像上相对靠近的情况下会存在一定程度的漏检，这可能是由于采用了最大池化层，使得相邻的目标特征进行了一定程度的融合从而导致后续的检测出现了漏检的情况。但从检测结果来看，该实验相对基准方法具有更好的检测精度，说明数据增强有助于提高网络对于无人机识别的精度。

2.2.3 基于位置感知模块的检测结果

本实验采用1.3 节中图3 描述的卷积神经网络模型进行无人机目标识别。在特征提取网络后接入位置感知模块，通过该感知模块增加特征图中每个像素的感受野，并融合距离多普勒图像的邻域信息。本实验的检测结果如图12 所示。

图12 基于位置感知模块检测结果Fig.12 Detection results based on the position perception module

采用特征感知模块对后，能在一定程度上增强对于相邻目标的检测精确度，网络可以达到91%的准确率和89%的召回率，相对于基准实验提高了9%的准确率，召回率提高了3%，由此证明设计的特征感知模块对于无人机目标识别任务的检测精度具有较好的效果。

2.2.4 特征感知模块参数消融实验

为了对提出的特征感知模块有效性进行验证，选取不同的空洞率参数进行实验，实验结果见表3。从结果中可以看出，空洞率为0 检测的召回率最低，网络等效为普通卷积。但是相比表3 中的结果，该实验说明仅添加额外的卷积层也有助于提升准确率。此外，空洞率设置为1、2 和4 时，会得到更高的召回率结果，也证明了网络的增益受益于空洞卷积。此外，在空洞率设为1 时达到最高的准确率和召回率。

表3 不同空洞率对特征感知模块的影响Tab.3 Effects of the dilate rate on the feature perception module

2.2.5 基于轻量化骨干网络的检测结果

为了测试不同的特征提取骨干网络对检测精度的影响，并保证在网络大小与检测精度之间进行较好的平衡，以达到在应用场景下对无人机的实时性目标检测，将采用轻量化的MobileNet 对基于残差模块设计的DarkNet 进行替换，保留横向与纵向感知模块来对邻域信息进行提取。

基于轻量化骨干网络MobileNet 实现的无人机目标识别网络的检测结果如图13 所示，轻量化网络在使用了位置感知模块之后仍然可以保持较好的检测精度和召回率，可视化结果也展示了该方法较鲁棒的检测结果。

图13 轻量化骨干网络检测结果Fig.13 Detection results based on the lightweight backbone network

2.3 不同方法检测结果对比

4 种实验检测精度的对比见表4，添加位置感知模块的无人机目标识别网络模型在检测的准确率和召回率方面都高于其他3 种网络模型，达到了预期的检测指标。

表4 检测精度和召回率对比Tab.4 Comparison of the detection accuracy and recall rate

2.4 模型参数信息统计

各个模型的相关参数统计见表5。从表中参数可以看出，采用轻量化骨干网络的情况下模型的参数量和所需算力大幅降低，但是也会带来检测精度一定程度上的损失，在算力有限的移动设备端可以采用该方案来实现无人机目标识别，其余3 种实验在参数量和算力上大致相当，而添加位置感知模块的识别模型对于无人机目标的检测精度最高，处理帧率大于50 帧/s，可以满足实时检测的需求。