改进的ELU卷积神经网络在SAR图像舰船检测中的应用
2018-02-28姜东民裴加军
白 玉,姜东民,裴加军,张 宁,白 郁
(1. 沈阳航空航天大学电子信息工程学院,辽宁 沈阳 110136; 2. 上海航天电子技术研究所,上海 201109)
高分辨率、全天候的合成孔径雷达(synthetic aperture radar,SAR)能有效识别伪装物和穿透掩盖物,并且不受光照和气候条件的限制,对海洋动目标识别起到了巨大的作用,目前已成为舰船检测的一种重要的手段。由于SAR图像的迅猛发展趋势,在国内外均掀起了一阵研究热潮。但是传统的SAR图像检测方法存在很多的缺点。例如,基于统计的SAR图像检测算法根据不同性质图像区域的统计特性差异进行分类[1-2],由于该方法忽略了图像的空间特性,所以得不到好的检测效果;基于空间域滤波的SAR图像检测算法虽然对噪声有很强的抑制能力,但是不能保留SAR的边缘信息,使边缘变得模糊;基于一些微分算子等方法,利用一些区域来进行卷积求梯度边缘。缺点是产生大量的噪声,为后续特征提取产生了困难。并且由于SAR图像的分辨率不高,传统的算法只适合于SAR图像中的一种图像检测。
深度学习中的卷积神经网络(convolutional neural network,CNN)[3-4]将SAR图像的一小部分(局部感受区域)作为层级结构的最低层的输入,信息再依次传输到不同的层,每层通过一个数字滤波器去获得观测数据的最显著的特征。这个方法能够获取对平移、缩放和旋转不变的观测数据的显著特征,降低了网络模型的复杂度,减少了权值的数量。使SAR图像可以作为网络的输入,避免了传统识别算法中复杂的特征提取和数据重建过程。同时CNN还适合HH/HV/VH/VV极化等多种SAR图像以及不同分辨率的舰船检测。由于SAR图像噪声强等特点,一般的卷积神经网络在训练时会产生学习缓慢,并且网络中的传统分类函数不能很好地解决非线性问题。本文采用改进的ELU激活函数的卷积神经网络,在训练样本中引入距离函数,使样本有不同的贡献程度,用模糊支持向量机(fuzzy support vector machine,FSVM)分类函数对特征进行分类[5-6]。ELU和模糊支持向量机函数对SAR图像中的噪声等有一定的抑制作用,试验结果表明,该方法对舰船检测具有良好的效果。
1 舰船检测过程
1.1 算法检测流程
如图1所示由于雷达目标回波信号的衰落,使得SAR图像存在大量的相干斑点噪声,让海陆边缘变得更加模糊。为了提高模型的检测能力,将SAR图像利用几何定位,实现海陆分离,将海陆分离后的SAR图像输入到改进的ELU卷积神经网络中训练,最后检测SAR图像中的舰船。
图1 舰船检测流程
1.2 SAR图像海陆分离
由于SAR图像中的海洋和陆地的灰度特征差别较小,导致使用传统的图像处理的方法进行海陆分离误差较大。本文采用几何定位的方法,根据GPS计算出SAR图像陆地和海洋的经纬度。然后利用海岸线模板匹配方法,对SAR图像进行快速的海陆分离。
2 SAR图像特征提取
2.1 基于卷积神经网络SAR图像舰船特征提取
将海陆分离后的SAR图像输入卷积神经网络(CNN)中,如图2所示,CNN主要由输入层、卷积层、混合层、输出层等组成。在CNN中,输入层用于接收SAR图像;卷积层用于提取图像特征;混合层用于简化从卷积层输出的信息;输出层将提取特征映射为最终所得到的标签。CNN的四项基本原则为局部感受野、共享权值、混合及使用多个卷积层。CNN的本质是输入到输出的映射,在训练过程时它能够学习大量的输入和输出之间的映射关系。CNN的练模型普遍采用后向传播(back propagation,BP),BP算法[7]来调节网络的参数和权重。在BP算法当中引入了代价函数,目的是使样本的实际输出值与期望的目标值无限接近的同时还需要保证学习速率。反向传播的核心就是一个对代价函数C关于任何权重w(或者偏置b)的偏导数∂C/∂w的表达式。偏导数越大,学习速率越快。当偏导数接近于0时,学习速率越缓慢。在本文中引进了二次代价函数,其公式为
(1)
式中,n是训练样本的总数;求和运算遍历了每个样本x;y=y(x)是对应的目标输出;L表示网络的层数;aL(x)是输入为x时的网络输出的激活值向量。
图2 SAR图像特征提取模型
在CNN中,不同的激活函数含有不同的偏导数,因而不同的激活函数影响着SAR图像样本的训练速率。
2.2 改进的ELU卷积神经网络
传统的激活函数有sigmoid、tanh、RELU等激活函数。如图3所示,在sigmoid和tanh激活函数中,当训练的SAR图像样本逐渐多时,两个激活函数的输出差异变得越来越小,即偏导数接近于0,学习速率缓慢。由于SAR图像的斑点噪声过多,RELU激活函数在训练过程中非常的不稳定,在多次训练过程中,样本的特征差异过大。
在本文基于SAR图像独有的特征,采用改进的ELU激活函数代替传统卷积神经网络的传统激活函数,如图3所示,它融合了sigmoid和RELU,具有左侧软饱性。其公式为
(2)
式中,wj为模型的权重;b为偏置。
图3 激活函数对比
导数形式
(3)
将ELU激活函数的公式代入式(1)中,最后得出
z>0时
(4)
如式(4)所示,当输入x一定时,实际输出值与预期值误差越大,∂C/∂wl和∂C/∂bl的值越偏离零,因此学习速率越快。当z<0时,公式中α为ELU的超参数。当输入值为负值时,该超参数控制着激活函数的输入幅度,使卷积层神经元的均值趋向于0,从而使得学习速率更快,更接近于自然梯度下降。在图3右半轴中,ELU和RELU一样,ELU函数坐标的曲线也为线性且导数为1,因此能减少梯度消失的影响。在左半轴中ELU曲线体现的是对SAR图像斑点噪声的鲁棒性。
2.3 模糊支持向量机分类器(FSVM)
为了进一步抑制SAR图像的斑点噪声,在训练的样本中引入隶属度,即该样本属于某类的可靠程度。首先建立训练样本的特征与其所在类中心距离函数为
(5)
式中,xi为样本;x0为样本所在类的中心。故样本的隶属度为
(6)
式中,β大于且接近于0,防止隶属度为零。
由于SAR图像中每一个训练样本分为两类,正类和负类。在分类时,每一个训练样本做出的贡献是等同的,SAR图像的训练样本存在大量的噪声,常用的分类器很难识别出噪声点,因此当噪声点被选为样本中的信息时,分类器的效果会很差[8-9]。而模糊支持向量机(FSVM)在求解分类面时,采用模糊隶属度的求解求出每个样本点属于不同类别的概率,使分类器具有更高的分类效果[10-11]。在模糊支持向量机(FSVM)算法中,对SAR图像训练样本加入不同的隶属度,使样本有不同的训练程度。隶属度越小的样本在训练过程中,起到的作用越小。
3 试验结果及分析
本文中用于SAR图像检测的CNN模型包含了输入层,3个卷积层,3个混合层,输出层,1个模糊支持向量机分类器。首先本文截取图像的中央区域采用28×28大小的图像用作输入,卷积层采用的卷积核大小为24×24,且C1中的卷积层的神经元个数为20个,特征图的大小为24×24,S2混合层的大小为12×12,含有20个神经元。C3的卷积层神经元有100个,输出的特征图为1×1。权重和偏置随机初始化,学习速率为γ=0.5。在Linux系统上使用Google的Tensorflow平台,采用MSTAR数据库进行训练。图4(a)—(c)为舰船检测过程的结果。图5为在其他条件下的检测结果。
图4 SAR图像舰船检测
为了验证本文方法的有效性,设计SAR图像舰船检测的任务,本次试验类比了5类SAR图像舰船检测的方法。表1为5种算法对于SAR图像舰船检测的效率。本文方法识别率优于传统图像检测、SVM、字典学习等方法。在试验中,在相同条件下利用相同结构但未经改进的CNN模型进行了检测测试,得到的平均识别率为97.2%,说明本方法相较于改进前CNN模型也有一定提高。
图5 不同条件检测结果
方法检测效率/(%)基于小波变换算法的检测88.3CMN97.2SVM93.5字典学习94.5本文方法98.6
4 结 论
针对SAR图像的特点,本文提出了基于ELU激活函数的卷积神经网络图像检测方法。通过用ELU激活函数的特性,对SAR图像的噪声具有一定的鲁棒性,同时与二次代价函数的结合来增加学习速率。在本文的卷积神经网络中引入了模糊支持向量机(FSVM),在训练样本中增加了距离函数,利用隶属度,使样本有不同的训练程度。该方法提高了传统CNN对非线性分类的不足,同时运用FSVM对噪声点的识别度来增强舰船检测能力。利用大量的SAR图像对该方法进行验证。试验结果显示,本文所提的方法在5类图像检测试验中,达到了98.6%的检测效果。表明本文所用方法具有有效性,且在SAR图像检测上具有一定的能力。
[1] DEKKER R J.Texture Analysis and Classification of ERS SAR Images for Map Updating of Urban Areas in the Netherlands[J].IEEE Transactions on Geoscience and Remote Sensing,2003,41(9):1950-1958.
[2] MA Y,HE J,WU L,et al.An Effective Face Verification Algorithm to Fuse Complete Features in Convolution Neural Network[C]∥Multi Media Modeling.Cham:Springer International Puishing,2016:39-46.
[3] LECUN Y,BOTTOU L,BENGIO Y,et al.Gradient-based Learning Applied to Document Recognition[J].Proceedings of the IEEE,1998,86(11):2278-2324.
[4] 尹宝才,王文通,王立春.深度学习研究综述[J].北京工业大学学报,2015,41(1):48-59.
[5] CHU W,ONG C J,KEERTHY S S.An Improved Conjugate Gradient Method Scheme to the Solution of Least Squares SVM[J].IEEE Transactions on Neural Networks,2005,16(2):498-501.
[6] KEERTHI S S,SHEVADE S K.SMO for Least Squares SVM Formulations[J].Neural Computation,2003,15(2):487-507.
[7] RUMELHART D E,HINTO G E,WILLIAMS R J,et al.Learning Representations by Back-propagating Errors[J].Nature,1986,323(6088):533-536.
[8] CORTES C,VAPNIK V.Support Vector Network[J].Machine Learning,1995,20(3):273-297.
[9] KAPLAN L M.Analysis of Multiplicative Speckle Models for Template-based SAR AT[J].IEEE Transactions on Aerospace and Electronic Systems 2001,37(4):1424-1432.
[10] WESTON J,RATLE F,MOBAHI H,et al.Deep Learning via Semi-supervised Embedding[C]∥International Conference on Machine Learning.[S.l.]:ACM,2012:1168-1175.
[11] GLOROT X,BENGIO Y.Understanding the Difficulty of Training Deep Feed Forward Neural Networks[J].Journal of Machine Learning Research,2010(9):249-256.
[12] WU Tao,CHEN Xi,RUANG Xiangwei,et al.Study on SAR Target Recognition Based on Support Vector Machine[C]∥2009 2nd Asian-Pacific Conference Synthetic Aperture Radar.[S.l.]:IEEE,2009:856-859.
[13] 王璐,张帆,李伟,等.基于 Gabor 滤波器和局部纹理特征提取的 SAR目标识别算法[J].雷达学报,2015,4(6):658-665.
[14] BENGIO Y.Practical Recommendations for Gradient-Based Training of Deep Architectures[J].Lecture Notes in Computer Science,2012,7700(1-3):437-478.
[15] 齐会娇,王英华,丁军,等.基于多信息字典学习及稀疏表示的SAR目标识别 [J].系统工程与电子技术,2015,37(6):1280-1287.
[16] DING J,LIU H W,WANG Y H.SAR Image Target Recognition Based on Non-negative Sparse Representation[J].Journal of Electronics & Information Technology,2014,36(9):2194-2200.
[17] TISON C,NICOLAS J M,TUPIN F,et al.A New Statistical Model for Markovian Classification of Urban Areas in high Resolution SAR Images [J].IEEE Trans Geo science and Remote Sensing 2004,42(10):2046-2057.