一维卷积神经网络用于雷达高分辨率距离像识别
2018-10-24
(山东大学(威海) 机电与信息工程学院,山东 威海 264209)
1 引 言
在雷达自动目标识别领域,高分辨率距离像(High Range Resolution Profile,HRRP)因具有实时性强、运算量小、容易获取与存储等优点而受到了广泛的研究。目前基于HRRP的目标识别大致分为两个阶段:对HRRP进行特征提取,如FFT幅度谱、功率谱、差分谱、中心矩特征、双谱特征和高阶谱特征等;对特征进行分类识别,如模版匹配法、基于统计学模型的分类算法、支持向量机(Support Vector Machine,SVM)和神经网络等[1]。
在HRRP目标识别研究中,如何提取性能更优良的特征一直是研究的难点。近十年来,随着深度学习在图像分类、目标检测、自然语言处理、语音识别及语义分析等领域取得了巨大成功[2],许多研究者尝试使用深度学习算法来解决HRRP目标识别问题。文献[3]把基于长短期记忆单元的循环神经网络应用于HRRP识别任务中,文献[4]使用深度置信网络解决HRRP的分类问题,文献[5]提出了基于堆栈自编码器的深层网络识别方法,它们都取得了很好的识别结果。卷积神经网络(Convolutional Neural Network,CNN)作为深度学习模型的一种,通过局部连接和权值共享机制不仅可以降低网络的复杂度,还抑制了网络训练过程中的过拟合,通过池化操作使CNN具有一定程度的平移不变性[2]。CNN在雷达目标识别领域的研究工作方面,文献[6]构建了一个基于CNN的SAR图像目标检测算法架构,文献[7]提出一种基于CNN的深度学习算法用于多基站雷达的HRRP目标识别。
由于CNN具有分层学习特征的能力,可以训练CNN自动地从HRRP中学习有用特征并分类。为了解决手工提取高质量特征困难的问题,本文把深度学习领域中的CNN应用于HRRP识别,通过仿真实验确定网络的配置与重要参数,研究CNN的目标识别性能。
2 CNN的基本结构
CNN的网络结构通常由一系列可重复的卷积层、池化层和全连接层组成,卷积层通过局部连接和权值共享机制减少网络参数,降低网络复杂度。池化层可以降低特征图的分辨率,使CNN对输入在一定程度上具有平移不变性,提高了CNN的鲁棒性。全连接层可以把卷积层学习到的特征汇聚起来用于分类。图1给出了一维CNN的基本结构图。
图1 一维卷积神经网络Fig.1 One-dimensional convolutional neural network
3 CNN网络配置和参数调整
本文重点研究CNN网络不同的激活函数、卷积核、学习率、权值衰减系数以及网络结构对HRRP识别性能的影响。在深度学习算法研究中,参数调优是一件沉重而繁琐的事情,迄今为止还没有固定的方法来选择合适的参数,需要通过重复实验积累经验进行调整。
首先初始化一个如图2所示的网络结构,然后逐个优化相关参数。该网络结构包括3个卷积层、3个池化层和2个全连接层,3个卷积层的特征图个数分别为16、32和64,2个全连接层的神经元个数分别为50和4。
图2 用于雷达距离像识别的卷积神经网络Fig.2 Convolutional neural network for radar HRRP recognition
通过仿真实验,确定网络的相关参数:卷积核大小为3,移动步长为1;池化域的大小为2,移动步长为2,池化方法采用最大值法;学习率为0.01,权值衰减系数为0.000 5,网络的训练方法采用批量梯度下降法,批量大小为64,最大迭代次数为2 000;权值初始化采用文献[8]中的Xavier初始化方法,权值更新的动量项因子为0.9,学习率的更新机制采用公式(1)计算。
r=rb·(1+γ·c)-β。
(1)
式中:r表示更新后的学习率;rb表示初始学习率;c表示迭代次数;γ与β为学习率的控制参数,分别取值为0.000 5和0.75。
网络的损失函数为SoftmaxWithLoss函数:
(2)
4 仿真实验
本文借助深度学习库caffe实现CNN搭建、训练与测试[9],硬件上使用单块NVIDIA GeForce GT620M GPU和Intel Core i5 CPU。HRRP数据来自飞机缩比模型的暗室成像,4种飞机分别为B2(1:35)、F117(1:13)、J6(1:8)和YF22(1:12)。从数据集中抽取200个作为训练样本,剩余1 000个作为测试样本。
4.1 激活函数选择
Sigmoid函数、Tanh函数和ReLU函数是人工神经网络常用的激活函数,如公式(3)~(5)所示:
(3)
(4)
ReLU(x)=max(0,x) 。
(5)
对3种激活函数进行仿真,测试不同激活函数的性能,实验结果如图3所示。从图3可以看出,Sigmoid函数的性能最差,误差曲线没有下降,整个网络几乎没有被训练;与ReLU函数相比,使用Tanh函数的CNN的误差曲线快速收敛到0且非常稳定。因为本文使用的网络结构相对较浅且Tanh函数比ReLU函数具有更好的非线性,所以选择Tanh函数作为激活函数。
图3 不同激活函数的训练误差Fig.3 Training errors for different activation functions
4.2 参数的优化
通过仿真实验依次优化卷积核、初始学习率和权值衰减系数3个重要参数。在仿真实验中设定3个卷积层的卷积核大小相等,变化区间为[3,11],学习率的变化区间为[0.1,0.001],权值衰减系数的变化区间为[0.5,0.000 05]。表1~3分别给出了不同的卷积核、学习率和权值衰减系数的识别率。
表1 不同卷积核的识别率 Tab.1 Recognition rates for different kernel sizes
从表1可以看出,随着卷积核的增加,网络的识别性能在总体上呈现下降趋势,当卷积核大小为3时网络性能最佳。该结果与文献[10]使用小卷积核替代大卷积核的思想不谋而合。当卷积核增大时,导致网络中的权值数目增多,训练CNN所花费的时间也不断增加。
表2 不同学习率的识别率Tab.2 Recognition rates for different learning rates
从表2可以看出,当学习率为0.01时识别性能最好。学习率过大或过小时识别率都会变差,因为学习率过大会导致网络不收敛,而学习率过小会导致权值更新慢,网络训练效果差。
表3 不同权值衰减系数的识别率Tab.3 Recognition rates for different decay coefficients
从表3可以看出,当权值衰减系数为0.000 5时识别性能最好。衰减系数过大或过小会使网络性能变差,因为衰减系数过大导致权值衰减严重,网络不能被训练,衰减系数过小又起不到防止过拟合的作用。
4.3 不同网络结构的识别率
参考文献[10],在设计网络结构时,为了避免数据在网络前向传播过程中的急剧压缩,遵守经过pooling层时特征图的数目增加2倍的原则。另外,由于本文使用的HRRP训练样本的数目与种类较少,CNN的规模不必设计太大,文中最深为4层。通过调整网络的层数与特征图的数目来控制CNN的深度与广度,在调整过程中,保持全连接层不变。表4给出了不同网络结构下4种飞机目标的识别率。
表4 不同网络结构的识别率Tab.4 Recognition rates for different network structures
由表4可以看出:
(1)从总体上看,随着网络层数的增加,目标识别率开始上升,当网络达到3层时识别性能最好。但随着网络层数的继续上升,目标的识别性能会出现下降趋势。
(2)当网络层数相同时,合理地控制网络的广度可以提高网络的识别性能,如G、H与I所示的识别率。
(3)随着网络规模的增大,训练网络花费的时间逐步增加。
因此,设计网络结构时,它的复杂度应该与数据集的大小相匹配,网络规模过大或太小都达不到最好的识别性能。另外,还要考虑到训练网络所花费的时间成本,网络越复杂,花费的时间越多。在以上各网络结构中,网络H表现最好。
4.4 不同分类器的识别率
为了验证CNN应用于HRRP特征提取和分类的有效性,用BP(Backpropagation)网络、SVM分类器和K-最近邻(K-Nearest Neighbor,KNN)分类器与CNN进行比较。BP网络采用256×50×50×4的网络结构,训练方法为批量梯度下降法,最大迭代次数为6 000。SVM分类器使用LIBSVM开源工具箱[11],核函数采用径向基函数,惩罚系数c和径向基函数中参数γ基于网格搜索法进行寻优;KNN分类器中的度量采用欧氏距离,K值取3。实验结果如表5所示。
表5 不同分类器的识别率 Tab.5 Recognition rates for different classifiers
从表5可以看出,由于KNN分类器要求训练样本具有典型性,且不能处理样本的平移问题,识别率最低;BP网络通过调整网络权值与偏置实现输入到输出的映射,识别率比KNN分类器大幅度提高;SVM分类器利用核函数把原始数据从不可分的低维空间映射到高维空间实现分类,识别率与BP网络的识别率接近;CNN利用卷积层提取有用的特征用于分类,识别率最高。从耗时上看,由于SVM分类器的模型只与样本中少量的支持向量有关,训练时间最少;KNN分类器虽然不需要经过预训练,但测试样本需要与每一个训练样本作比较,花费时间与样本集大小有关,当训练样本数目与维度增加时,运算量会急剧增大;CNN和BP网络分类器把大量时间花费在网络的训练上,因为CNN比BP分类器的网络结构更复杂,所以消耗时间最多。
4.5 CNN识别性能的可视化分析
为了直观地说明CNN具有良好识别性能的原因,从测试集中选取了3个相似的HRRP像,如图4所示。当使用CNN来识别这3类目标时,可以通过卷积层自动学习到多种有用的特征,最后汇集到全连接层进行分类。将CNN第二个卷积层中的前7个特征图可视化,结果如图5所示。
(a)F117距离像
(b)JB距离像
(c)YF22距离像图4 3种飞机目标的距离像Fig.4 HRRPs of three aircraft targets
图5 3种飞机目标的特征图Fig.5 The feature maps of three aircraft targets
从图5可以看出,对于同一个HRRP,7个特征图学习到的特征互不相同。同一类特征图从3种不同HRRP中学习到的特征有的相似,有的会存在明显差别。尽管原始输入的3种HRRP的差异性不大,但是通过多层的卷积操作,组合多种不同特征,可以把每种特征的差异性逐层积累,学习到易于分辨的特征,最后送给全连接层进行分类,实现良好的识别效果。
5 结束语
本文把深度学习领域中的CNN应用于HRRP的目标识别中,首先介绍了一维CNN的网络结构,重点研究了不同激活函数、不同参数、不同网络结构对CNN识别性能的影响,比较了CNN与BP网络、SVM和KNN分类器的识别性能,通过可视化特征图说明了CNN通过卷积层能学习到易于分辨的特征。实验结果表明,CNN能够有效地从原始HRRP中学习到有用的特征并分类,具有很好的识别性能。本文对CNN在HRRP目标识别中的应用进行了初步探索,可为实际工程应用提供参考。今后的研究工作重点是对CNN训练算法与网络结构的改进,加强CNN的特征学习能力,进一步提高目标识别率。