基于卷积神经网络的无人机识别方法仿真研究

甄然　于佳兴　赵国花　吴学礼

摘 要：为了提高卷积神经网络（CNN）的泛化性和鲁棒性，改善无人机航行时识别目标图像的精度，提出了一种CNN与概率神经网络（PNN）相结合的混合模型。利用CNN提取多层图像表示，使用PNN提取特征对图像进行分类以替代CNN内部的BP神经网络，采用均方差和降梯度法训练模型，通过将预处理的图像传输到CNN-PNN模型，对图像纹理和轮廓进行分类识别，并将此模型的仿真结果与卷积神经网络模型、卷积神经网络-支持向量机模型的结果进行对比。仿真结果表明，与其他两种模型相比，CNN-PNN模型具有更好的精准度，识别率高达96.30%。因此，CNN-PNN模型能够快速有效地识别图像，准确度和实时性较高，在图像识别等方面具有很好的应用前景。

关键词：图像识别;无人机识别;降梯度法;概率神经网络;卷积神经网络

中图分类号：TP391.41 文献标志码：A

doi：10.7535/hbkd.2019yx05004

Simulation research on UAV recognition method

based on convolutional neural network

ZHEN Ran1，2， YU Jiaxing1， ZHAO Guohua1， WU Xueli1，2

（1.School of Electrical Engineering， Hebei University of Science and Technology， Shijiazhuang， Hebei 050018， China;2.Hebei Provincial Research Center for Technologies in Process Engineering Automation， Shijiazhuang， Hebei  050018， China）

Abstract：In order to improve the accuracy of identifying the target image while the drone is sailing， a hybrid model combining convolutional neural network （CNN） and probabilistic neural network （PNN） is proposed. The model uses CNN to extract multi-layer image representations and uses PNN extraction features to classify images. In order to improve the generalization and robustness of CNN， CNN-PNN model replaces BP neural network inside CNN with PNN， and trains the model by mean square error and gradient reduction method. The pre-processed image is transmitted to the CNN-PNN model to classify and identify the texture and contour of the image， and the simulation results of this model are compared with the results of convolutional neural network model and convolutional neural network-support vector machine model. The simulation results show that the CNN-PNN model has better accuracy compared with the two models， and the recognition rate is as high as 96.30%. The improved model improves the generalization and robustness of CNN， and can enhance the accuracy of image recognition in all aspects， and has high real-time performance.

Keywords：image identification; UAV recognition; falling gradient method; probabilistic neural network; convolutional neural network

目標识别是当前人工智能领域不可或缺的一部分，而无人机识别作为目标识别的重要部分，在现代战争乃至生活等方面都有着重要的应用[1-4]。随着人工智能的迅速发展，无人机识别系统将会扮演重要的角色。

但是，无人机识别的准确率一直是影响该技术应用的重要因素[5-6]，如何充分利用已有信息，使设计出的无人机识别准确率更高，是当前该领域的重要研究方向。

CIRESAN等[7]提出了一种利用Hu不变矩进行特征值提取和交通标志检测的方法，该方法快速可靠，识别率高，但它所提取的是低维特征，没有层次信息。SHEN等[8]提出了一种利用灰度一致性（GLCM）进行拼接图像伪造检测的方法，该算法采用灰度共生方法提取图像的纹理信息，并利用学习到的表示进行识别。该方法虽优于仅从图像中提取低维特征向量的方法，但只能手工提取低维特征作为Hu不变矩，需要与其他方法相结合对其进行改进。YIN等[9]提出了一种利用神经网络模型进行视觉模式识别的方法，该网络被命名为“新认知”。实验结果表明，该网络在没有任何类别指令的情况下运行良好。QIU等[10]提出了一种利用误差梯度训练CNN的方法，取得了较好的效果。该方法利用CNN模型提取图像表示，利用CNN内部的BP神经网络分类器对图像进行分类。这种方法几乎是第一次使用网络本身只学习图像的特征与图像标签。事实证明，CNN的学习能力是强大的。由于CNN内部的BP神经网络存在一定的局限性，NIU等[11]提出了适用于手写体数字识别的CNN-SVM模型，在CNN模型中用支持向量机（support vecto machine，SVM）代替BP神经网络分类器。ZHENG等[12]提出了一种利用多注意卷积神经网络（MA-CNN）进行精细图像识别的局部学习方法，重点研究了零件定位和细粒度特征学习。PORIA等[13]提出了一种CNN-SVM与主成分分析（PCA）相结合的方法，取得了良好的效果，该方法旨在提高支持向量机的性能，不再局限于手写数字，在纹理、图像分类、图像识别等方面有很好的应用前景。以上模型和方法在图像识别领域都取得了不错的效果。在上述方法的启发下，笔者提出了一种CNN-PNN混合模型。

1 问题建模

1.1 CNN-PNN模型的构建

本文对原始CNN图像分类模型进行改进，使用一个简单的CNN模型进行图像特征提取，利用PNN模型进行分类，在仍以CNN为特征提取器的情况下，用性能较好的PNN代替BP神经网络。PNN具有结构简单、收敛速度快、应用范围广等优点，与其他图像识别方法相比，可以提高识别精度，扩大卷积神经网络的应用范围。

整个模型由CNN特征提取器和PNN分类器组成。首先，将样本图像输入到CNN-PNN的输入层，经过多次卷积和下采样，得到大量的特征图像。然后，由模型将图像扩展为列向量，即从样本图像中提取特征向量，同时保留与特征向量完全连接的输出层，用于CNN特征提取器的训练。最后，分类器根据特征向量输出最终结果。CNN-PNN结构图见图1。

1.2 特征提取器工作原理

在所提出的方法中CNN充当特征提取器，包括输入层、隐含层、隐含单元和输出层4个部分[14]。

1）输入层 利用原始CNN模型进行特征提取，将样本图像输入至模型的输入层即可。

2）隐含层 由卷积层和降采样层组成，用于对输入层图像进行卷积滤波和降采样操作。卷积层进行特征提取，其计算形式为

Xlj=f（∑[DD（X]i∈Mj[DD）]Xl-1i·klij+Bl）。（1）

式中：所在層数用l表示;卷积核用k表示;Mj为输入层的感受野; B为偏置项;f为激活函数，采用Sigmoid 函数。图像尺寸会根据降采样窗口的步长发生相应改变，采样层的计算形式为

Xlj=f（βljp（Xl-1j）+Blj）。（2）

式中：p为采样函数;β为权重系数。

3）隐含单元 将一系列操作后得到的特征图像变换为一列向量，即是提取到的最终特征向量。

4）输出层 输出层的作用为训练CNN的特征提取。

1.3 分类器工作原理

该模型采用PNN作为图像分类器。PNN是由SPEEHT博士首先提出的一种人工神经网络，具有训练容易、收敛速度快、适用于实时处理等优点，且其隐含层采用径向基的非线性映射函数，考虑了不同类别模式样本的交错影响，具有很强的容错性[15-16]。在样本数据的支撑下，概率神经网络能收敛到贝叶斯（Bayes）分类器，没有BP网络的局部极小值问题[17]。

概率神经网络是由径向基函数网络发展起来的前馈神经网络，其理论基础是贝叶斯决策理论。网络结构由输入层、模式层、求和层和输出层组成[18]，结构如图2所示。

输入层将训练样本传递到输入层网络中，输入特征向量与训练集中各模型之间的匹配关系在模式层中计算，其个数等于样本向量的维数，根据式（3）得到各模式单元层的输出。

ij=[SX（]1[]2πd/2[SX）]exp[-[SX（]（x-xij）τ（x-xij）[]2σ2[SX）]]。（3）

式中：d为模式向量的维数;σ为平滑参数;xij为神经元向量。

求和层是得到的每个模式的概率密度估计，其输出与基于核的各单元概率密度估计成正比。求和层神经元通过总结和平均属于同一类的所有神经元的输出，来计算模式x被划分为Ci的最大可能性。

Pi=[SX（]1[]（2π）d/2σd[SX）][SX（]1[]Ni[SX）]∑[DD（]Ni[]j=1[DD）]exp[-[SX（]（x-xij）τ（x-xij）[]2σ2[SX）]]。（4）

Ci类的样本总数为Ni，如果每个类的先验概率相同，且每个类的错误决策损失相同，则决策层单元根据所有求和层神经元输出的Bayes决策规则对模式x进行分类。

输出层是在概率密度估计中选择一个神经元最大后验概率密度作为整个系统的输出。输出层神经元是一种竞争神经元，每个神经元对应一种数据类型，这是一种分类[19]。

1.4 CNN-PNN模型训练方法

CNN提取器的训练方式与传统CNN训练方式相同，流程如图3所示。

首先将所有卷积核中的权值和偏差进行初始化。通过训练集的前向传播得到输出o。然后，CNN可以通过比较输出o和标签y来了解误差E。假设样本集的目录是N，样本类型的数目是c，则可以根据式（5）计算误差E。

Ep=[SX（]1[]2[SX）]‖yp-op‖2=[SX（]1[]2[SX）]∑[DD（]m[]j=1[DD）]（ypj-opj）2。（5）

CNN根据E值判断模型收敛与否。如果收敛，则训练完成;如果没有，则计算输出层的残差δ。给定激活函数f，可以从式（6）得到残差。

δ（nl）=[SX（][]z（nl）i[SX）][SX（]1[]2[SX）]‖op-yp‖2=-（y-a（nl））·f′（z（nl））。（6）

每一层的权值和偏重是通过学习率α的更新来完成的。

W（l）=W（l）-α[SX（][]W（l）[SX）]J（ω，b）=W（l）-α·δ（l+1）（α（l））T，（7）

bi=b（l）i-α[SX（][]b（l）i[SX）]J（ω，b）=bli-α·δ（l+1）。（8）

PNN分类器的训练过程如图4所示。将训练的图像送入训练完毕的CNN特征提取器，然后将得到的特征向量与其对应的标签一同送入未训练的PNN分类器中，得到最终训练完毕的PNN分类器。

2 仿真结果及分析

2.1 仿真设置

通过识别各个类型的飞机样本来测试CNN-PNN的性能。实验是在Matlab2016a平台上运行的，计算机配置为Intel（R）Cores（TM）2.8 GHz，内存8 GB，Windows7 64 位操作系统。数据集所用图像和标签采集于FGVC-Aircraft数据集，共采集6 000张飞机图像，其中包含3类不同的飞机，每种包含2 000个样本，其中1 500个样本用来培训，4 500个样本用于测试。飞机轮廓样本共含有3种，每类抽取1 000张图像组成含有3 000幅的数据集，其中1 000幅用来培训，2 000幅用来测试。在此之前做一些预处理的工作来保证实验的准确性。

2.2 图像预处理

飞机数据集包含3类不同类别的飞机，利用1 500张样本训练集对CNN-PNN模型进行训练，图像分辨率为1 200*800。

将选取的4 500个样本图像作为测试集，对训练好的CNN-PNN模型進行测试。考虑到模型的处理能力有限，将原始的RGB图像转换为灰度图像，如图5所示。

有时候Matlab图像数据必须是浮点型才能处理，而数据图像自身是由0～255的UNIT型数据构成的，所以需要将灰度图片进行归一化处理。通过归一化，可以提高训练网络的收敛性，归纳统一样本的统计分布性。将处理后的图像作为训练集和测试集对CNN-PNN模型进行测试，详见图6。

2.3 结果分析

首先将迭代次数固定到100，将学习率固定到0.5，然后在数据集上进行实验，精度如图7所示。当平滑参数设置为0.01时，该模型可以得到最优性能。

将CNN-PNN模型与CNN模型、CNN-SVM模型进行对比，分别在飞机集和飞机轮廓集中进行仿真，最终识别率取多次仿真结果的平均值，结果如图8所示。其中CNN-SVM模型的平滑参数选用与CNN-PNN模型相同的0.01，其

分类器参数通过经验法设置。该模型采用神经网络作为表示提取器，迭代次数将影响平滑参数σ的识别精度。考虑到上述实验结果，将扩展参数设为0.01，然后在数据集上进行不同迭代次数的实验。除此之外，还分别用CNN，CNN-SVM重复上述实验。如图8所示，当迭代次数达到100时，识别率变得稳定。由表1和表2可以看出，CNN-PNN在分类方面明显优于BP神经网络和CNN-SVM。

3 结 语

1）针对无人机航行时识别目标图像精度问题提出新的识别模型，提高了原本模型的泛化性和鲁棒性，CNN-PNN模型用PNN代替CNN内部的BP神经网络，通过均方差和降梯度法训练模型。

2）将通过预处理的图像传输到CNN-PNN模型，分别对图像的纹理和轮廓进行分类识别，将此模型的仿真结果与卷积神经网络模型、卷积神经网络-支持向量机模型的结果进行了对比，结果表明CNN-PNN模型能够有效识别图像，准确率和实时性较高。

3）由于CNN模型中含有大量权值，训练时需经过大量迭代计算，因而会消耗较多的时间，优化模型的训练过程将是下一步的研究方向。

参考文献/References：

[1]侯宇超， 白艳萍， 郝岩，等. 面向SAR目标分类的卷积神经网络算法研究[J]. 重庆理工大学学报（自然科学）， 2018， 32（7）：195-200.

HOU Yuchao， BAI Yanping， HAO Yan， et al. Research on SAR target classification oriented convolutional neural network algorithm[J]. Journal of Chongqing University of Technology （Natural Science）， 2018， 32（7）：195-200.

[2]ZHANG Luming， HAN Yahong， YANG Yi， et al. Discovering discriminative graphlets for aerial image categories recognition[J]. IEEE Transactions on Image Processing， 2013， 22（12）：5071-5084.

[3]LI Haoxiang， LIN Zhe， SHEN Xiaohui， et al. A convolutional neural network cascade for face detection[C]// 2015 IEEE Conference on Computer Vision and  Pattern Recognition（CVPR）.[S.l.]：[s.n.]， 2015：7299170.

[4]DONG C， LOY C C， TANG X. Accelerating the super-resolution convolutional neural network[C]//ECCV：European Conference on Computer Vision.[S.l.]：[s.n.]， 2016：391-407.

[5]朱旭锋， 马彩文. 基于多不变量和多分类器融合的飞机识别[J]. 仪器仪表学报， 2011， 32（7）：1621-1626.

ZHU Xufeng， MA Caiwen. Aircraft recognition based on multiple classifier fusion with multiple invariants [J]. Chinese Journal of Scientific Instrument， 2011， 32（7）：1621-1626.

[6]唐小佩， 杨小冈， 刘云峰， 等. 基于深度卷积神经网络的飞机识别研究[J]. 电光与控制， 2018， 25（5）：72-76.

TANG Xiaopei， YANG Xiaogang， LIU Yunfeng， et al. Aircraft recognition based on deep convolutional neural network[J]. Electro Optical & Control， 2018， 25（5）：72-76.

[7]CIRESAN D C， MEIER U， GAMBARDELLA L M， et al. Convolutional neural network committees for handwritten character classification[C]// Proceedings of the 2011 International Conference on Document Analysis and Recognition. Washington DC：IEEE， 2011：1135-1139.

[8]SHI Zenan， CHEN Haipang， SHEN Xuanjing. Splicing image forgery detection using textural features based on the gray level cooccurrence matrices[J]. IET Image Processing， 2017，11（1）：44-53.

[9]YIN Wenpeng， SCHTZE H， XIANG B， et al. ABCNN： Attention-based convolutional neural network for modeling sentence pairs[J]. Transactions of  the Association for Computational Linguistics， 2016，4：259-272.

[10]QIU Jiantao， WANG Jie， YAO Song， et al. Going deeper with embedded fpga platform for convolutional neural network[C]//Proceedings of the 2016 ACM/SIGDA International Symposium on Field Programmable Gate Arrays.New York：ACM， 2016：26-35.

[11]NIU Xiaoxiao， SUEN C Y.A novel hybrid CNN-SVM classifier for recognizing handwritten digits[J].Patern Recognition，2012，45（4）：1318-1325.

[12]ZHENG Heliang， FU Jianlong， MEI Tao， et al. Learning multi-attention convolutional neural network for fine-grained image recognition[C]// 2017 IEEE International Conference on Computer Vision （ICCV）. [S.l.]：IEEE， 2017：5209-5217.

[13]PORIA S， CAMBRIA E， GELBUKH A. Aspect extraction for opinion mining with a deep convolutional neural network[J]. Knowledge-Based Systems， 2016， 108：42-49.

[14]PROF A . High accuracy arabic handwritten characters recognition using error back propagation artificial neural networks[J]. International Journal of Advanced Computer Science and Applications， 2015， 6（2）：145-152.

[15]MANGAYARKARASI T， JAMAL D N. PNN-based analysis system to classify renal pathologies in kidney ultrasound images[C]// International Conference on Computing & Communications Technologies.[S.l.]：[s.n.]， 2017：29-32.

[16]OH S K， PEDRYCZ W. The design of self-organizing polynomial neural networks[J]. Information Sciences， 2002， 141（3/4）：237-258.

[17]公茂法， 接怡冰， 李美蓉， 等. 基于小波包與改进的PSO-PNN变压器励磁涌流识别算法研究[J]. 电测与仪表， 2018， 55（8）：17-23.

GONG Maofa， JIE Yibing， LI Meirong， et al， Research on algorithm of transformer inrush current identification based on wavelet packet and improved PSO-PNN[J]. Electrical Measurement and Instrumentation， 2018， 55（8）：17-23.

[18]黄元植， 黄锐敏， 莫冰， 等. 利用GRNN和PNN对运动姿态的识别研究[J]. 电脑知识与技术， 2018，14（1）：264-267.

HUANG Yuanzhi， HUANG Ruimin， MO Bing， et al. Research on human motion recognition based on GRNN and PNN [J]. Computer Knowledge and Technology， 2018，14（1）：264-267.

[19]WANG S L， LI X， ZHANG S， et al. Tumor classification by combining PNN classifier ensemble with neighborhood rough set based gene reduction[J]. Computers in Biology & Medicine， 2010， 40（2）：179-189.