结合显著图和深度学习的遥感影像飞机目标识别

刘相云，龚志辉，金 飞，杨 光，范炜康

(信息工程大学，河南 郑州 450001)

卫星影像拍摄质量的大幅提高使得利用遥感影像进行目标识别成为可能。飞机是现代社会中必不可少的工具，利用遥感影像进行飞机目标识别无论是在民航上的飞机飞行情况监督，还是军事上的掌握敌机部署情况都有广泛的应用前景。因此，飞机目标的检测识别一直是备受关注的研究课题，也有不少有效的检测识别算法被提出。

目前，飞机目标识别算法主要可分为4类：①模板匹配[1]算法，该算法是传统飞机目标识别中常用的算法；②基于不变矩[2-6]的算法，可以提取多种不变矩，完成对飞机目标的识别；③基于显著图的算法[7-9]，即使用显著图去除复杂背景[10]进行识别；④基于机器学习[5]和神经网络[11]的算法，已经将深度学习[12]运用到飞机目标识别中。上述4类方法从不同角度对飞机目标识别进行了研究，取得了一定的效果，但是也存在一些问题。如模板匹配算法过程过于简单，精度不高；基于不变矩的算法在一定程度上提高了识别精度，但是提高程度有限；基于显著图的算法容易造成误检及漏检；机器学习算法中浅层的算法如SVM(support vector machine)等还需要改进，深度学习算法则存在训练时间过长的问题。针对这些问题，本文提出了一种视觉显著图和多种特征融合的基于深度置信网络的飞机目标识别算法。算法在粗定位阶段提取影像的视觉显著图，定位显著目标的位置；在精确识别阶段提取显著目标的颜色、纹理、形状等多种特征,然后使用深度置信网络进行飞机目标的识别，不仅克服了单一特征的局限性，同时也避免了深度网络从像素级直接进行训练速度缓慢的现象。

1 方 法

本文算法主要由两部分组成：一是目标的粗定位，二是目标的精确识别，其流程如图1所示。

具体步骤为：①使用HC算法处理影像，提取影像的显著目标；②使用Ostu算法对显著图进行二值化，通过标记连通区域来定位候选目标；③提取候选目标及样本库影像的颜色、纹理、形状特征，形成多维特征向量，并对特征向量进行归一化；④使用训练集对DBN进行训练，并使用训练过程中得到的权重及偏置对测试集进行测试，最后用训练好的DBN网络识别粗定位阶段标记的候选目标，判断是否为飞机目标。

1.1 飞机目标粗定位

粗定位主要运用直方图对比度(HC)算法，该算法由文献[13]于2011年提出，效率较高且效果良好，主要目的是将影像中的显著目标检测出来。HC算法根据图像的色彩统计特征来确定图像的显著性，即图像中某像素与其他像素的颜色对比度即为这个像素的显著值。如图像中的某像素Ik，其显著值可表示为

(1)

式中，I为图像，把图像中像素排成一列；Ik和Ii为第k和第i个像素；D(IK,Ii)为像素Ik和像素Ii在CIELab彩色空间上的颜色欧氏距离。将相同颜色的像素分为一组，即可以获取颜色不同的像素的显著值为

(2)

式(2)表示第k个像素的颜色为图像中第i个颜色ci。图像里总的颜色数目为n；fj为颜色ci在图像I中出现的次数。

由于一幅图像所包含的颜色数量很庞大，HC算法通过量化RGB空间中各个通道的颜色来减少颜色数量，从而减少计算量。在量化过程中，相近的颜色可能被量化为不同的值，HC算法通过平滑每种颜色的显著值来降低这种情况引起的误差，即使用与每种颜色最相近的m种颜色显著值的加权平均来代替其显著值，平滑公式为

(3)

经过HC算法提取显著目标后，能够滤除背景图像，突出图中飞机等候选目标，只需再把显著图转化为二值图像，就能够通过二值化图像定位显著目标。本文使用Ostu算法对显著图进行二值化，随后，用外接矩形将连通区域标记出来，完成目标的粗定位。

1.2 飞机目标精确识别

在粗定位完成之后，还会存在一些干扰目标，如房屋建筑等，需要进行精确识别剔除干扰目标。本文采用了提取目标颜色、形状、纹理[14]等多种特征，最后与深度置信网络结合进行分类识别的方法。

1.2.1 特征提取

进行飞机目标识别时，先提取飞机目标的特征，单一特征很难具有足够辨识度，本文采用提取多种特征的方式，主要提取了目标的颜色、纹理、形状这3种类型的特征，包括9个颜色矩、6个Tamura特征、8个灰度共生矩阵、7个Hu不变矩、36个边缘方向直方图，组成多维的特征向量并进行归一化，提高识别准确性。

1.2.2 深度置信网络

深度学习通过组合底层特征形成更抽象的高层表示或特征，从而发现数据分布的特征表示[15]。深度置信网络(deep belief networks,DBN)是由限制波尔兹曼机扩展而来的一种深度架构的推广，由Geoffrey Hinton在2006年提出，是包含多个隐层(隐层数大于2)的概率生成模型，可以对非线性数据进行有效训练。

深度置信网络由多层限制波尔兹曼机(restricted boltzmann machine,RBM)组成，RBM是一个由可视层(记为v)和隐含层(记为h)组成的深度学习算法，RBM中的可视层与隐含层两层的层内节点之间是条件相互独立，没有关联的。因此，可视层和隐含层的全概率分布满足下式

p(h|v)=p(h1v)=…=p(hnv)

(4)

式中，v为可视层状态向量；h为隐含层状态向量。求解最小化损失函数之后，就能得到可视层和隐含层之间的权值W。RBM的训练过程实际上是求出一个最能产生训练样本的概率分布。也即要求在一个分布里，训练样本的概率最大，由于这个分布的决定性因素在于权值W，因此训练RBM的目标就是寻找最佳的权值。图2即为RBM模型。深度置信网络的结构与RBM相同，都是通过权重层W把层与层之间联系起来，层内节点相互独立。深度置信网络结构如图3所示。

DBN的训练过程主要分为两步：一是分别单独无监督地训练每一层RBM网络，确保特征向量映射到不同的特征空间时,都尽可能多地保留特征信息；二是在DBN的最后一层设置BP网络,接收RBM的输出特征向量作为它的输入特征向量,有监督地训练实体关系分类器。本文算法的DBN采用4个RBM组成的结构，其结构为：66-100-100-100-2。在第4层中加入sigmoid函数，作为最终结果的输出层。

2 试验与分析

2.1 试验环境

本文试验环境为Windows 10系统下的Matlab 2014a，电脑硬件配置为Inter(R)Core(TM)i5-6300HQ CPU @2.30 GHz,8 GB内存，465 GB硬盘，试验数据来源于Google Earth，共1400幅飞机影像和700幅背景影像作为样本集，其中1200幅飞机影像及600幅背景影像作为训练样本，200幅飞机影像和100幅背景影像作为测试样本，训练样本不参与测试，样本集影像统一缩放为64×64像素，另外选取75幅机场影像用来识别。样本影像如图4所示。

2.2 试验结果

试验各步骤结果如图5所示，从图5(b)可以看出，提取显著图后，原始影像中无意义的背景被去除，突出了显著目标；经过Ostu阈值分割得到图5(c)二值化影像，显著目标视觉效果明显，但是还存在不少噪音，需要进行去噪，去除连通区域面积较小的目标；为了避免飞机目标的部分机身被当作噪音去除，在去噪之前先进行形态学膨胀，结果如图5(d)所示；随后去除面积较大的干扰目标，得到图5(e)的结果，此时图中仅剩飞机目标及少量干扰目标，标记连通区域，得到图5(f)的结果；再在原图中进行标记，即可得到图5(g)的粗定位结果；粗定位完成后经过DBN分类，得到图5(h)最终识别结果。

DBN网络的层数很大程度上影响着网络对数据的拟合精度，为了验证最佳隐含层层数，对层数为1、2、3、4这4种情况分别进行试验，网络分类精度见表1。

表1 不同深度DBN网络分类正确率比较

从表1可以看出，本文选用的3层隐含层的结构分类正确率最高，达到94.33%，当层数增加到4时，分类正确率反而下滑，这是由于网络深度增加更容易陷入局部最优点，使分类正确率不高。

为了验证组合特征与单一特征对网络分类效果的影响，用测试样本分别测试了单一特征和组合特征下DBN网络的分类正确率，结果见表2。从表2可以看出，单一特征中使用边缘方向直方图分类正确率最高，为84.67%，而使用本文算法的组合特征对网络进行训练，正确率达到94.33%，显然高于单一特征算法。

表2 单一特征与本文算法DBN网络分类正确率比较 (%)

为了评价飞机目标识别效果，本文选用检测率(DR)和虚警率(FA)[16]作为评价指标。飞机的检测率是指算法所检测出的飞机目标数量占所有飞机目标的比重，可以定义为

(5)

式中，DR为飞机检测率；mi为检测出的第i幅影像中的飞机目标数量；Ni为第i幅影像中飞机目标的总数；n为试验影像的总数。虚警率反映被判定为飞机的样本中背景所占的比率。定义为

(6)

式中，FA为虚警率；FP为把非目标判断为目标的数量；TP为正确识别的目标数量。用来识别的75幅影像中，含有飞机259架，检测出255架，误检4架，检测率为98.46%，虚警率为5.20%。本文算法与其他算法的对比结果见表3。

表3 不同识别算法性能对比 (%)

从表3可以看出，本文的HC算法与深度置信网络结合进行飞机识别的检测率明显高于BP神经网络算法及SVM算法，虚警率也较低。图6所示为在不同机场不同分辨率的飞机目标的识别结果。

3 结 语

本文提出了一种由粗到精的显著图和多特征结合的基于DBN的飞机目标识别算法。首先利用HC算法和Ostu算法对目标进行粗定位并标记候选目标，然后提取候选目标的多种特征进行融合，最后使用深度置信网络进行分类识别。试验结果表明，本文算法的检测率为98.46%，虚警率为5.20%，能克服复杂背景的干扰。飞机识别的精度很大程度上取决于样本库的完善程度，下一步将继续完善样本数据库以提高分类识别精度。