APP下载

基于卷积神经网络的空中目标粗分类研究

2019-09-17胡大帅冯小雨

火力与指挥控制 2019年8期
关键词:准确率卷积神经网络

胡大帅,梅 卫,冯小雨

(陆军工程大学石家庄校区,石家庄 050003)

0 引言

在防空作战过程中,首先需要解决的问题就是对来袭目标快速准确地分类和识别。空中目标识别是自动目标识别技术的一个重要应用领域[1]。分类可分为粗分类和细分类,比如识别飞机和鸟类等的类间分类就是粗分类;识别飞机大类中具体飞机型号的类内分类就是细分类。粗分类是细分类的重要前提条件。传统的空中目标识别方法大多采用人工设计特征,比如基于角点、目标块特征、SIFT 特征和HOG 特征等,在过去的一段时间内这些特征被广泛应用,取得了一定的分类识别率的提升。Lowe.D.G 提出提取目标图像的SIFT 特征,该特征对于两幅图像存在旋转、尺度缩放、亮度变化等是不变的,且对视角变化、仿射变换、噪声也有一定程度的稳定性[2]。李菲菲等人提出基于SIFT 特征的图像词袋模型来进行场景分类和目标分类,取得了较好的分类效果[3]。

但是这些方法在应对愈加复杂的空中环境的时候识别效果会大打折扣,比如目标的快速移动、遮挡等,并且为了应对不同问题而设计不同的特征的方法人工成本太大。空中目标的识别任务面临着严峻的考验。

近年来兴起的神经网络和深度学习技术,在很多行业都掀起了新一轮的技术浪潮。计算机视觉领域里目标识别与跟踪、自动驾驶、视频监控等在深度学习技术的推动下都得到了巨大的进步,许多问题迎刃而解。比如著名的ILSVRC 计算机视觉大赛的记录一遍又一遍地被深度学习技术所刷新。

本文将深度学习技术应用到空中目标的分类识别任务中。利用深度学习技术中的卷积神经网络进行仿真实验,取得了较高的分类识别率。

1 神经网络与深度学习

神经网络的诞生来源于对人类大脑的研究。众所周知,成人大脑中的神经元有1 000 亿之多,它们承担着大脑内部的信号传输。生物学家于1904 年就揭晓了神经元的结构,随后McCulloch 和Pitts 参照神经元的结构设计出了著名的MP 模型,人工神经网络自此诞生。经过几十年的不断发展,人工神经网络的技术不断成熟,网络结构不断多样化,但万变不离其宗,图1 展示了神经网络的基本结构。

图1 神经网络结构图

最初的神经网络虽然简单,但却可以解决诸如函数拟合、预测分类等简单的任务。当遇到复杂的问题或者需要更深层的网络结构的时候,神经网络的弊端也就慢慢暴露了出来。不仅理论分析的难度加大,训练的过程十分复杂,计算量也巨大。在Vapnik等人发明SVM 后,神经网络慢慢陷入了沉寂。

直到2006 年,加拿大多伦多大学教授Geoffery Hinton 在《Science》上发表了论文,提出了“深度信念网络”、预训练过程和微调等技术手段,对整个网络进行优化训练,突破了多层神经网络的技术瓶颈,将这些技术统称为深度学习。此后,深度学习技术又一次掀起了机器学习的浪潮。目前深度学习的模型主要有多层感知机、卷积神经网络、循环神经网络等。

2 AlexNet 模型

AlexNet 模型是卷积神经网络模型的一种。2012年Alex Krizhevsky 带着由他设计的AlexNet 模型参加ImageNet 竞赛并获得了冠军,自此AlexNet 一举成名。同时也证明了卷积神经网络在复杂模型下的有效性,以及大数据+复杂网络+GPU 训练这一解决问题方式的有效性,具有里程碑式的意义。此后,不断有层数更多的、结构更加复杂多样的网络模型被提出,比如VGG、GoogleNet 等。图2 是AlexNet 模型结构图[4]。

图2 AlexNet 模型结构图

AlexNet 模型当时是在两台配备有英伟达GTX 580 显卡的机器上经历了长达6 天的训练,最终赢得了冠军。这也解释了为什么在图2 中会有两个流程图。以一个流程图为例,AlexNet 有5 个卷积层和3 个全连接层共8 层,在每个卷积层中又包含了ReLU 激活函数以及局部响应归一化和池化处理。如果去掉任何一个卷积层的话,分类识别效果都会下降。有别于一般的网络采用sigmoid 和tanh 函数作为激活函数,AlexNet 采用ReLU 作为激活函数,不仅缓解了梯度消失的问题,同时训练速度也有了较大的提升。

3 迁移学习

迁移学习就是从现有的数据中迁移知识,将从一个数据库中学习到的丰富的知识运用到新的问题中。AlexNet 模型作为一个成熟的预训练网络,使用了上百万的图片进行了长时间的训练,用来分类1 000 种目标,它已经学到了丰富的特征,具备了强大的特征表示能力。因此,可以利用迁移学习,将AlexNet 网络模型经过小规模数据集的微调训练后,迁移到空中目标分类任务中。

利用迁移学习,不仅克服了训练数据不足的问题,同时也大大减少了训练的时间,提高了解决问题的效率,最重要的是利用预训练网络所学习到的丰富的特征来表示新的分类目标,经实验发现,效果显著。

4 仿真实验

4.1 实验准备

本文利用matlab 软件进行仿真实验,实现了空中目标的粗分类。将空中目标分为bird、four-rotor aircraft、missile、paraglider、plane 五大类。每类各从互联网收集了100 张不同的图片,总共500 张图片作为微调训练和测试使用。并根据AlexNet 模型输入层的输入尺寸将所有图片进行了统一尺寸处理,然后以0.7 的比例,随机将数据集中的每一类都分成70 张训练和30 张测试数据集,最后汇总成350 张的训练和150 张的测试数据集,并用每一类的类别名称作为分类标签。图3 为随机显示的20 张数据库图片。

图3 随机显示20 张数据库图片

4.2 实验过程

本文利用AlexNet 模型作为迁移学习的基本网络。原网络可以实现1 000 类的目标分类,本文是针对5 类目标的分类任务。因此,只需将该网络的最后一个有1 000 个输出(即1 000 个神经元)的全连接层修改成有5 个输出(即5 个神经元)的全连接层,将最后的分类层修改成本文的5 类目标分类层即可,最终形成新的网络模型。然后同样基于任务的需要以及数据集的规模,设置训练的超参数,其他参数一律按照原网络的参数设置。接下来利用分类好的训练数据集进行微调训练,经过短暂的训练后训练误差达到收敛,停止训练并用测试数据集进行测试验证。

4.3 实验结果分析

图4 展示了训练过程中一些训练数据的实时动态图,包括训练和测试分类准确率(Accuracy)、训练和测试损失(Loss)等。

图4 训练过程示意图

从图中可以发现随着迭代(Iteration)次数的增加,训练和测试的准确率先上升最后趋于稳定,并且测试准确率达到了97.33%,也就是说在150 个测试数据集里有145 个被正确分类,有5 个被错误分类,分类准确率相当高。从图中还可以看到随着迭代次数的增加,训练损失不断下降最终收敛到很小的值。

可视化后的测试数据集的分类结果以及对应标签的混淆矩阵如图5 所示。

图5 可视化的分类结果混淆矩阵

该混淆矩阵的大小为5*5,每一行以及每一列都对应着测试数据集的5 类目标。m 行n 列的数字表示将m 行对应的类别分类成n 列对应的类别的个数。例如第1 行第1 例数字为29,表示将第1 行bird 类别分类成第1 列bird 类别的个数为29,即29个分类正确,一个分类错误的是将bird 类别分类成了plane 类别。

从图5 中可以得到主对角线上的数字全部表示分类正确的个数,而其他位置的数字则表示分类错误的个数。所以总共有5 个目标被错误分类,分别为将1 个bird 类分成了plane 类,将1 个missile 类分成了plane 类,将1 个plane 类分类成了bird 类和将2 个plane 类分类成了four-rotor aircraft 类。

针对5 个分类错误的样本,分别在数据集中找出了对应的图片,并计算出每一个样本的分类得分,如表1 所示。表1 中的第1 列表示分类错误的5 张图片,第1 行表示5 个类别,表中的数字表示某张图片分类成某类别的具体得分,以概率的形式表现。

表1 误分类样本每类得分

bird068 被预测成plane 的得分最高,因此,plane 就是它最终的分类结果,但是它被预测成bird的得分和预测成plane 的得分相差并不多。查看bird068 这张样本图片发现原图是一群展翅飞翔的大雁,bird068 如图6 所示。该图片中的物体具有飞机的外形轮廓,这也就解释了为什么该样本被分类成bird 和被分类成plane 的分数会非常接近。接着查看missile037 这张样本图片,发现原图是一个美国战斧式巡航导弹,如图7 所示。它和飞机的接近程度非常高,并且具备很多飞机的特征,因此,被分类成plane 类别。

图7 战斧式巡航导弹

通过以上分析发现虽然利用迁移学习得到的分类准确率非常高,但对个别难分样本的分类会存在误差。因此,为了获得更高的分类准确率,有必要建立更大的数据库去重新训练网络,同时也有必要增加人为建立数据集标签的准确性和分类的细致性。

4.4 对比实验

本文为了对比利用卷积神经网络提取特征的分类结果和利用HOG 特征分类的结果,在完成上述工作后又提取了相同数据集的HOG 特征用于分类。实验分类结果的混淆矩阵如图8 所示。

图8 HOG 特征分类结果混淆矩阵

利用HOG 特征进行分类的准确率只有65.33%,并且每一类的分类效果都不理想,说明利用HOG特征表示数据集中的目标存在许多不足之处,也从侧面证明了卷积特征具有更加强大的特征表示能力。

5 结论

本文利用迁移学习将AlexNet 卷积神经网络模型应用于空中目标的粗分类问题,分类准确率高达97.33%。同时利用HOG 特征进行对比实验,分类效果却不理想。从正反两方面证实了卷积特征具有更加强大的特征表示能力,为下一步自行设计卷积神经网络模型并运用规模更大的数据集训练,最终实现空中目标跟踪打好理论和实践基础。

猜你喜欢

准确率卷积神经网络
基于神经网络的船舶电力系统故障诊断方法
MIV-PSO-BP神经网络用户热负荷预测
基于改进Hopfield神经网络的对地攻击型无人机自主能力评价
一种基于卷积神经网络的地磁基准图构建方法
基于3D-Winograd的快速卷积算法设计及FPGA实现
一种并行不对称空洞卷积模块①
乳腺超声检查诊断乳腺肿瘤的特异度及准确率分析
不同序列磁共振成像诊断脊柱损伤的临床准确率比较探讨
2015—2017 年宁夏各天气预报参考产品质量检验分析
颈椎病患者使用X线平片和CT影像诊断的临床准确率比照观察