基于特征融合的极限学习机图像分类方法

蒋 强，陈 凯，王德元

(1.沈阳理工大学，辽宁 沈阳 110000；2.沈阳飞驰电气设备有限公司，辽宁 沈阳 110000)

1 引言

随着我国自主建设、独立运行的卫星导航系统北斗卫星导航系统(BeiDou Navigation Satellite System)的日趋完善，填补了我国在卫星导航系统领域的空白。北斗卫星导航系统由三大部分组成，包括空间星座(空间段)、地面控制(地面段)和用户终端(用户段)[1]。北斗卫星导航系统可以为用户提供全天候、高精度的定位、导航及授时等方面的应用，截至目前，我国已成功发射48颗卫星，计划在2020年底全面完成北斗卫星导航系统的建设，形成全球无源服务能力，达到世界一流水平[2-3]。

随着北斗卫星导航系统的不断完善，系统在森林防火、军事战略、交通管理、农业渔业、公共安全、减灾救灾、气象探测、通信和电力等众多领域得到应用，并呈现出更为广泛应用的趋势[4-7]。遥感图像的场景分类作为这些应用的基础，对北斗卫星导航系统的进一步应用有着至关重要的作用，遥感图像的分类已成为热门的研究主题。遥感图像主要有以下特点：

1)遥感图像分辨率逐渐增高，图像数据维度越来越高，对计算机内存及处理能力要求不断提高，处理时间长；

2)图像受天气、光照、角度等外界因素影响比较大，增加了分类难度。

针对遥感图像的特点，本文提出一种结合图像融合和极限学习机(Extreme Learning Machine，ELM)的遥感图像分类方法。针对遥感图像光照等外部条件复杂的问题，通过融合遥感图像的SIFT特征和CNN网络特征，提高了遥感图像的特征层次，更充分的利用了遥感图像的信息，提取特征的鲁棒性和判别性较好，从而有效提高了遥感图像的分类准确率。通过引入信息熵改进的PCA对融合后的图像特征进行降维，提升了降维效率，减少了特征维度提高了特征质量从而提升了遥感图像的分类速度。

2 遥感图象识别的基本框架

结合图像融合和极限学习机的遥感图像识别混合深度模型结构图如图1示。本方法分别对输入的图像提取SIFT局部特征及CNN整体特征，特征提取完成后经过由图像信息熵改进的PCA降维后输入ELM分类器中最终完成遥感图像的分类任务。

图1 结合图像融合和极限学习机的遥感图像识别流程图

2.1 特征提取

2.1.1 SIFT图像特征

SIFT(Scale Invariant Feature Transformation)，即尺度不变特征变换，是最为优秀的目标匹配与识别算法之一。尺度的概念为表达人视网膜成像过程中目标的远近程度，尺度越大，看到的图像范围越大，但是细节越模糊；尺度越小，看到的范围越小，但细节比较丰富。SIFT算法可以找出尺度变换过程中的稳定点(特征点)，这些特征点都含有三个信息，即位置、方向、尺度，这样便保证了图像在翻转、平移和缩放时可以保持很好的鲁棒性，对光照、阴影和噪声等的稳定性也极高。SIFT算法流程图如图2所示。

图2 SIFT算法流程图

SIFT算法最重要的步骤为构建高斯差分金字塔(Difference of Gaussian，DOG)。1994年，Tony Lindeberg证明高斯核是唯一可以产生多尺度空间的核[8]，图像尺度可定义为原始图像与一个可变尺度的高斯函数卷积运算，即

L(x，y，σ)=G(x，y，σ)*I(x，y)

(1)

其中，G(x，y，σ)为高斯函数。

首先需要建立高斯金字塔，分为两步：

1)对图像做高斯平滑

2)对图像做将采样

设高斯图像金字塔共o组、s层，则有

σ(s)=σ02o+s/S

(2)

其中σ为尺度空间坐标，s为sub-level层坐标，σ0为初始尺度，S为每组层数。DoG金字塔过程如图3所示。

图3 DoG金字塔创建过程

图像的关键点由DoG空间的局部极值点组成，该极值点为图像离散极值点，根据Taylor展开式可以对尺度空间DoG函数进行曲线拟合

(3)

求解得

(4)

(5)

取值小于0.04的极值点均抛弃。

最后通过计算关键点周围像素梯度的幅值和方向确定关键点基准方向，从而保持翻转稳定性，其中，梯度幅值表示为

m(x，y)=

(6)

方向为

(7)

这样确定的每个关键点都含有位置尺度方向三个信息，保证了提取的局部特征的稳定性。

2.1.2 CNN提取图像全局特征

卷积神经网络(Convolutional Neural Networks，CNN)自从Yann Lecun等在1998年提出以来，迅速在图像领域取得了广泛的应用。其本质是一个多层感知机[9]，CNN特点主要是其局部连接和权值共享模式，当输入数据为图像时CNN能够自动完成特征提取，提取后的局部特征输入第一层全连接层组成全局特征，进而实现图像的分类。CNN已成功应用于图像处理的各个任务，因此CNN被认为是图像识别领域的主导算法。CNN虽然能够很方便的提取到特征，但其全连接层在分类时，占据了大量的计算时间与参数量，所以，近些年CNN被认为是优秀的全局特征提取结构，而在分类时，会删除全连接层，选用其它分类器。例如，2012年Niuxx等人提出的CNN-SVM模型[10]，结合了卷积神经网络特征提取和支持向量机分类器的优点，在图像分类试验中得到了较低的分类错误率。

2.2 特征融合及优化

图像的特征融合技术已成为当今图像研究的热门领域，图像融合是一种将来自同一场景的许多图像的不同信息融合在一起的方法，这些图像取自各种传感器或不同的特征范围。融合图像保留了输入图像的各种补充和冗余信息，这些信息对于人类的视觉感知和图像处理任务非常有用。为了达到这些目的，融合结果应满足以下要求：

(a)融合图像应保留输入图像中最互补和重要的信息；

(b)融合技术不应生成任何可能转移方向的合成信息；

(c)必须避免出现不完善的状态，例如噪声等[11]。

综上所述，图像融合将保留来自输入图像的互补信息和冗余信息，确保获取更全面的图像特征。

CNN提取的图像全局特征和和图像SIFT局部特征融合后，特征维度必然增大，为了减少后续分类过程的计算量，需要对特征进行PCA降维。在PCA降维过程中，需要计算特征之间的协方差矩阵，内存消耗很大且耗时。为了达到预期的效果，需要改进PCA以尽可能地压缩特征数据并减少特征维度，减少降维过程中的内存占用和运行时间，引入图像信息熵来满足这些要求。特征的信息熵值越大，原始数据中包含的信息量越大，它属于应保留的特征。如果特征的信息熵较低，则包含的数据信息越少[12]，应删除或不保留该特征。图4为改进PCA降维的效果图。

图4 改进PCA降维效果

改进的PCA降维有效降低了数据维度及分类时间，提高了网络在高维数据分类时的实时性表现。

2.3 ELM分类器

在提出的系统中，使用基于ELM的分类器。

图5 ELM结构

ELM是一个浅层网络，结构如图5所示，ELM具有许多优点，例如学习速度快，易于收敛以及随机性较低[13]。因为ELM可以随机初始化输入权重和偏差，所以ELM的训练只需确定输出权重及确定隐层神经元个数，其中，隐层神经元个数对分类性能有比较大的影响。本文用ELM代替全连接层，有效减少计算量及参数量。为了验证本文所使用的ELM分类器的优势，将ELM分类器从诊断准确率、训练时间和诊断时间三个层面分别与Softmax分类器和SVM进行对比，实验结果如表1所示。

表1 分类器性能比较

从表1可以看出，ELM平均准确率高达97.13%，高于Softmax分类器的93.71%以及SVM分类器的94.23%。此外，由于ELM训练时只需随机生成连接权重和偏置，极大的减少了训练过程中的参数量与计算量，避免了繁复的迭代过程，因此训练时间远低于其它两种分类器，同时，分类时间也只有7.32ms，基本达到实时识别的应用要求。

3 实验平台及数据集

搭建的测试平台使用的操作系统为Windows 10，深度学习框架为TensorFlow，开发软件为Python3.0x，主要硬件配置：处理器为E5-2660V2@2.6GHz；内存为16GB；；GPU为GTX1080TIi 11G。

AID Dataset是一个遥感影像数据集，其包含30个类别的场景图像，其中每个类别有约220～420张，整体共计10000张，其中每张像素大小约为600*600。该数据集由华中科技大学和武汉大学于2017年发布。

图6 AID Dataset数据集中的遥感图像

4 实验及结果分析

4.1 灰度处理与滤波

在本文中，需要分别用深度网络和SIFT方法提取深层和浅层特征，首先需要对Dataset数据集图像进行灰度和滤波处理，这样可以显著减少图像噪声并将三维彩色图像转化为二维灰色图像。

图7 图像预处理

4.2 输入网络，统计时间及识别准确度

上文已经验证改进的PCA降维可以提高分类实时性能，为了验证本文方法中降维对遥感图像分类准确率的影响，设定了本算法和与VGG-16算法分类准确率的两组对比实验。

图8 特征降至不同维度分类准确率

由图8可得，经过特征融合加入SIFT特征后，丰富了图像特征层次，有效提高了遥感图像分类的准确率，当将特征维度降至400维时遥感图像分类准确率最高。

上文中提到隐层神经元数目对ELM分类效果有着至关重要的作用。为验证隐藏节点数目对分类效果的影响，分别设置隐藏节点数目从2000增加到14000，结果如图9所示。

图9 不同隐藏节点数目下分类准确率对比

从实验结果可以看到，随着隐藏层节点数目增加，遥感图像分类的准确率会提高，但训练时间也会同时增加。综合考虑准确率和时间，本文选取隐藏层节点数量为10000。利用特征融合的分类准确率明显高于CNN特征下的分类准确率，平均高出两个百分点。

5 结论

综上所述，通过融合遥感图像的SIFT特征和CNN网络特征，针对遥感图像光照等外部条件复杂的问题，提高了遥感图像的特征层次，更充分的利用了遥感图像的信息，提取特征的鲁棒性和判别性较好，从而有效提高了遥感图像的分类准确率。通过引入信息熵改进的PCA对融合后的图像特征进行降维，减少了特征维度提高了特征质量从而提升了遥感图像的分类速度。