两阶段密集特征学习的高光谱图像分类方法

李 达,刘睬瑜,韩 睿,宋梅萍

(1.南方电网综合能源股份有限公司 新能源事业部， 广州 510075；2.大连海事大学 信息科学技术学院， 辽宁 大连 116026)

高光谱(hyperspectral，HSI)遥感数据包含丰富的辐射、空间和光谱数据，是多种信息的综合载体。其中，定量化的连续光谱曲线数据为图像提供光谱信息，像元及周边像元间的相互空间位置关系则为图像提供空间信息[1]。高光谱分类(hyperspectral classification，HSIC)技术一直是高光谱图像处理中的热点研究内容，其最终目标是根据光谱特征和空间特征的相似性对图像中的每个像元进行类别的划分，在农业、林业识别、环境监测、海洋目标探测等领域有着越来越广泛的应用价值。近年来随着机器学习技术的兴起，出现了一系列基于流形学习、稀疏理论、深度学习等框架的HSIC方法[2-14]，这些分类方法主要包括分类训练与特征提取2个部分，其基本框架是将提取到的分类特征进行训练以得到分类模型。在分类训练方面，Du等[15]基于流形学习原理，利用面向类别优化策略提出了一种稀疏多项式逻辑回归分类器； Ma等[16]采用半监督分类方式，利用样本的局部类别标签和深度学习框架得到的全局类别标签，采用自学习方式进行高光谱图像分类；Paoletti等[17]提出了基于一种三维深度卷积神经网络的高光谱分类框架，利用空间和谱间2种信息作为训练特征，并在图形处理器(graphic processing unit，GPU)上加以实现。在特征提取与增强方面，高光谱图像可以利用的空间特征有形态学特征、差分形态轮廓、Gabor特征和灰度共生矩阵等纹理特征。其中，Benediktsson等[18]通过多种尺度的形态学分解方法提取空间特征，成功地应用于城市遥感图像分类；Chen等[19]利用稀疏表示高光谱图像中的像元和邻域像元间的区别，提出的空谱分类器获得了局部平滑的分类效果，引发了基于稀疏理论表示的高光谱分类方法的研究浪潮；马尔可夫随机场模型能有效地模拟像元在空间上深层次相关性，在高光谱分类领域也有着大量的应用，Cao等[20]利用高斯-马尔可夫随机场模型提取高光谱遥感影像的空间特征，取得了较好的分类效果；另外，也有学者利用频域信号增强的方式提升高光谱数据的分类特征，例如Xie等[21]提出一种基于闭合式解抠图模型空间光谱特征增强方法，该方法利用边缘信息与预估的前景、背景信息线性组合以实现分类特征的增强。这些已有分类特征表示方法为高光谱分类的特征提取提供了大量理论支持与技术保障。在过去20年中，卷积神经网络(CNN)能自动提取具有分层架构的深层特征，在计算机视觉等领域有着非常广泛的应用，例如图像去噪、图像检测、目标识别和分类。基于CNN框架的分类方法为高光谱分类任务提供了丰富的解决方案，研究者也对CNN的框架进行了各种改进，现有的基于CNN的高光谱分类框架中存在3类卷积运算，分别是一维(1D)卷积、二维(2D)卷积和三维(3D)卷积，目前来说这3种模式通常独立执行。一方面，采用单一的卷积计算模式成为谱空分类特征无法深度提取的主要原因；另一方面，也造成了谱空特征融合的单一性，缺少谱间特征与空间特征的深层融合，导致分类精度不高。同时，高光谱图像的高维性带来的信息冗余也给分类增加了一定的困难，因此采用波段预处理的方式进行降维也逐渐成为解决这一问题的主要途径，目前特征提取和波段选择是2种主要的降维方法，而前者通常算法复杂，计算量较大，后者能比较完整地保留信息，是当前采用较多的波段处理方法。

针对以上问题，提出了一种基于显著性波段选择与密集谱-空特征融合的高光谱图像分类网络(HSIC CNN base on band selection and dense feature fusion，CNNBSDFF)，如图1所示。该方法首先构建第一阶段深度学习网络，分别构建2D和3D Dense深度卷积模块，用于提取高光谱图像的空间特征及谱空一体化特征；接着将提取到的两部分特征进行叠加，得到深层融合特征，并且在这个阶段中还采用了显著性波段选择(BS)技术来进行数据压缩，降低特征复杂度，提高HSIC的训练效率；第二阶段利用深度学习原理，构建含有卷积层、池化层和全连接层的深度卷积分类模块，进一步提取谱空融合数据的深层特征；最后采用反向传播的方式进行分类模型的训练，获取分类结果。本文所提出的融合模型利用两阶段深度学习集成策略可以有效地提取深层地物特征，一方面采用空间特征和光谱特征集成融合的方法提取高光谱数据的空谱特征，另一方面以两阶段学习模式逐步提取深层分类特征，增加空谱信息融合之后的表达性，获取更具有判别性的特征，提高网络的性能。

图1 CNNBSDFF方法的网络结构图

1 显著性波段选择

高光谱图像的主要特点是其数据由丰富的波段组成，包含了地物丰富的空间、辐射和光谱信息。实践表明，结合空间与光谱信息的图像分类方式比只利用单一的空间或者谱间信息有显著优势，而波段间不可避免地会存在一定的冗余，在有效利用光谱信息的同时不得不对波段的冗余信息进行处理，因此在高光谱数据处理应用中需要进行数据压缩以降低冗余干扰并提高处理速度。目前来说，主要有数据降维与波段选择2种压缩模式，其中数据降维主要从抽取特征子集和通过线性或非线性的方式将原来高维空间变换到新的空间2个角度出发，这在一定程度上忽略了数据本身的关联性。基于波段选择方法因为未改变高光谱数据的物理属性而备受关注，有助于保持数据类别之间和类别内部的客观联系。本文中提出一种基于波段相关性的显著性波段选择方法，用于选择信息量较大的波段组数据进行样本训练。考虑到最接近其他波段的波段蕴含着显著判别信息，构建2层前馈全连接网络来计算波段显著性系数，具体的波段选择流程如图2所示。其中，由Kullback-Leible(KL)散度计算出的初始波段相似度作为输入，每个节点的输出用于测量波段选择策略。具体为，若已知bi和bj为高光谱的2个波段，则2个波段间的相关性系数可以表示为KL(i_j)，其计算公式为：

(1)

式中：bik表示第i个波段的第k个像元；n表示高光谱图像的像元总数。

全连接网络中采用前向反馈结构，其中权重设置为1，偏置设置为0，输出节点yi{1-L}表示第i个波段与其他波段的显著相关性，将所有波段的显著相关性进行降序排序，根据波段数目选取算法选择出显著性波段子集。经过波段选择的预处理之后，一方面较好地保留了波段显著数据，在一定程度上减小数据冗余带来的影响，保证分类精度；另一方面降低了数据冗余，可以减少CNN分类网络的训练数据量，进而提高模型的处理速度。

图2 波段选择流程图

2 两阶段CNN的高光谱图像分类模型

提出的融合模型利用两阶段深度学习集成策略可以有效地提取深层地物特征，首先采用稠密连接的空间和光谱特征集成融合的方法来联合提取高光谱数据的空谱特征用于分类，而且充分利用深度学习原理，以两阶段学习模式进一步提取深层特征，增加空谱信息融合之后的表达性，获取更具有判别性的特征，增加了网络结构的复杂度，通过这2种方式有效提升特征表达质量，提高分类精度，这将在真实高光谱图像分类的实验中得以验证。

2.1 基于Dense CNN的谱空特征提取阶段

特征提取架构采用CNN网络，避免了传统复杂的特征提取过程，通过简单的非线性模型从原始图像中提取出更加抽象的特征。本文采用的网络结构流程如图3所示，网络主要包括2个阶段，联合特征提取阶段和深层特征提取阶段，在联合特征提取阶段首先采用波段选择的方法对高光谱数据进行压缩。

图3 CNNBSDFF方法流程框图

CNN结构对于图像的多层次结构、特征局部性、平移不变性具有良好的适应性，通过增加网络的深度可以在一定程度上提高分类效果，但也会增加数据处理的复杂度，增加训练的难度，尤其是对于复杂性较高的高光谱图像。因此，在本文中，采用了2D和3D Dense CNN 2种结构来分别提取空间特征和光谱特征，Dense CNN结构可以有效增加特征的表达，提高特征的可重用性，在保证网络中层与层之间最大程度的信息传递的前提下，直接将所有层连接起来，为了保证前馈的特性，每一层将之前所有层的输入进行拼接，再将输出的特征图传递给之后的所有层，这可以有效避免梯度消失，并且将每层得到的特征图进行最大程度的利用，同时由于不需要重复学习特征，很大程度上减少了网络的参数数量，起到缓解网络过拟合的作用。由于在Dense网络中需要对特征连接，因此不同层的输出特征大小需要保持一致，采用Dense CNN网络提取特征的过程如图1所示。

2.1.12DDenseCNN模块

(2)

式中：w2D和b2D表示二维卷积的权重与偏置参数；符号Θ代表2D卷积操作；σ(·)表示ReLU激活函数。为了提升空间分类特征的判别性，本文构建密集的2D CNN网络将前序的特征进行连接作为后续卷积层的输入，采用了三层密集连接层提取空间特征，采用3×3卷积核大小，每一层的密集结构中包含卷积层、最大池化层、ReLU激活函数。实验中的2D Dense网络的超参数设置如表1所示，采用三层密集连接的CNN卷积神经网络，卷积核的大小均为3*3，且连接最大池化层和ReLU激活层，每层的特征图均保持一致。其网络的密集特征连接方式定义如式(3)所示。

(3)

表1 超参数设置

2.1.23D Dense CNN模块

(4)

式中：w3D和b3D分别为3D卷积的权重与偏置参数；符号⊙表示3D卷积操作；N为3D卷积核个数；σ(·)表示ReLU激活函数。

与空间特征增强的实现类似，在光谱特征提取阶段，也利用密集连接方式，如图1所示，采用了两层密集网络将所有先前层提取到的特征作为后续卷积层的输入。此模块的实验参数设置如表1所示，在两层密集连接的CNN网络中，采用卷积核的大小是1*1*3，且连接最大池化层和ReLU激活层。相应地，对光谱信息的密集运算为：

(5)

2.2 谱空特征融合挖掘

光谱和空间特征作为高光谱图像分类的重要依据，决定着分类性能的好坏，目前高光谱分类框架的关键是联合光谱和空间特征共同进行分类，以改善框架的性能，提高分类精度。本文提出的框架中，第二阶段的CNN模块主要用于实现空间特征和光谱特征的融合与特征深度优化。

首先在特征融合方面，将第一阶段采用Dense CNN模型提取的空间和光谱特征进行组合以构建融合特征。该过程如式(6)所示。

(6)

式中：“+”表示连接操作；L为卷积操作个数。

将融合的光谱和空间特征作为第二阶段特深层征优化网络的输入，如图3所示，进行2D卷积操作捕获更加精细化的特征表达用于分类，网络搭建方面，由1个卷积层、1个池化层和2个完全连接层组成。其中卷积层的核大小设置为3*3，采用的2层全连接层节点数大小分别为300和100。在这个阶段中，对融合的空谱联合特征进行更进一步的深入挖掘，对类别的特征描述更加精细。

3 实验结果与分析

对所提出的CNNBSDFF方法在广泛使用的高光谱数据集Purdue和KSC上进行了实验，并和其他方法进行了比较，对实验结果进行了比较，分析了各个网络的性能。

3.1 数据集介绍

采用广泛使用的高光谱数据集进行实验，第一个数据集是Purdue数据集，该数据集是使用机载可见光AVIRIS成像光谱仪在印第安纳州西北部的印度松树测试场地收集的场景，图像空间分辨率是20 m，共有220个波段，每个波段大小为145×145像素点，波长范围在0.4～2.5 μm。该场景主要包括农业区和森林，还有一些建筑物以及道路，通用数据集选用其中16类用于分类应用，图4(a)和图4(b)分别为Purdue图像显示和地物分布。

图4 Purdue数据集

第2个数据集为肯尼迪航天中心(KSC)数据，该数据是采集于佛罗里达州的肯尼迪航天中心的高光谱图像，涉及的数据类别主要是13种沼泽类型。KSC场景去除噪声和水波段外，共有176个波段，数据分辨率大小为512×614。图5(a)和图5(b)分别为KSC图像显示和地物分布。

图5 KSC数据集

3.2 实验参数与CNN网络配置

为了分析提出的波段选择和密集卷积网络的可行性，本文利用不同的CNN模型与CNNBSDFF模型进行比较，其中将没有波段选择的CNNBSDFF模型表示为CNNDFF模型。所有用于比较的网络都按照表1中列出的相同的超参数设置。此外，该模型的实现在TensorFlow平台上完成，批量大小初始化为100，对所有网络均进行5 000次迭代训练，学习率设为0.001。其他比较的现有方法包括EPF[22]、MFASR[23]、CNNDH[24]，所有网络执行重复5次，OA为计算结果的平均值。其中，EPF是一种典型的保持图像边缘信息的特征表示方法；MFASR中采用了多尺度空间卷积对高光谱数据进行稀疏特征表示；CNNDH的模型由2个卷积层，1个反卷积层和1个嵌入的哈希语义特征提取模块组成来提取图像的特征。在实验中，各个模型均采用表1所示的超参数设置以便于更加准确的比较各个模型的性能。

根据VD算法[25]，所提出的模型从Purdue和KSC数据集中选择的波段数目分别为18和21，选择的波段序列和数据压缩大小列于表2，其中Purdue的压缩率达到了91.8%，KSC的压缩率达到了88.1%。

表2 不同数据集波段选择号与压缩率

3.3 结果分析

3.3.1Purdue结果对比分析

Purdue数据集实验的OA值实验结果如表3所示。可以看出CNNBSDFF模型获得了最高的OA值，为99.37%。根据实验结果，一方面可以证实密集块对网络模型有一定的积极影响，另一方面通过CNNBSDFF模型的性能优于CNNDFF模型也进一步说明了提出的显著性波段选择方法的必要性，能够缓和高光谱数据中的冗余信息带来的干扰。

表3 Purdue数据集的分类结果

在对Purdue数据集的实验中，从原始数据常用的200个波段中采用基于波段相关性的显著数据提取方式选择出18个波段，随机选择10%的训练样本，drop out的值设置为0.2，输入数据块大小为19×19×18。Purdue数据集实验的结果如图6所示，可以明显看出采用CNNBSDFF模型更接近真实地物分布，而采用EPF的网络结构得到的地物分布与图4(b)所展示的真实地物分布图相差最大。

图6 Purdue实验结果图

3.3.2KSC数据结果对比分析

从表4列出的KSC数据集分类结果中可以准确地看出采用CNNBSDFF模型达到最高的OA值，且在很多类别上的准确率都达到了100%，而CNNDFF的OA值只有94.54%，主要原因是KSC数据集相对稀疏的特征分布，对于传统网络通常在谱间和空间特征的表示上更困难。采用文中的显著性波段选择方法之后，CNNBSDFF模型获得的OA为99.53%，比CNNDFF高出5%左右，进一步表明，采用显著性波段提取的方法对KSC数据集的训练效果有很大提高，这也进一步验证了CNNBSDFF模型在样本分布稀疏的数据集上更具有优越性。

表4 KSC数据集的分类结果

在对KSC数据集的实验中，从原始数据常用的176个波段中采用基于波段相关性的显著数据提取方式选择出21个波段，训练样本百分比依旧设置为10%，经过显著性波段选择之后的数据样本大小为19×19×21，将drop out的值固定为0.1。KSC数据集的实验结果如图7所示，可以明显看出采用CNNBSDFF模型得到的地物分布图更接近图5(b)所展示的KSC真实地物分布图。

图 7 KSC实验结果图

3.3.3波段选择结果分析

为了评估本文的BS方法，实验中与其他数据压缩方法进行了比较，比较的方法包括主成分分析(PCA)压缩数据方法和均匀选择波段方法。其中，PCA方法选取的主要成分的数目分别为3个和5个，针对Purdue和KSC数据的均匀选择方法的步长分别设为11和8。表5展示了不同方法对OA值的影响。

表5 不同波段压缩方法的分类结果

由表5可以明显看出，Purdue和KSC采用显著性波段选择方法的OA值比平均选择方法分别提高了0.53%和6.35%，比PCA(5个主成分)改善了1.42%和30.53%。PCA的5个主成分结果较优于3个主成分，这也说明了在进行数据压缩时来降低冗余度的同时也会丢失部分信息，使用平均选择法的效果略高于PCA，但与本文所采用的显著性波段选择方法相比还存在一定的差距。

3.3.4实验参数分析

分析3个参数(包括drop out，图像样本大小和样本训练比)对CNNBSDFF模型性能的影响(图8)。Purdue数据和KSC数据训练样本的大小和样本训练比设为19×19和10%。

图8 实验结果

图8(a)展示了由所提出的网络在2个数据集上由不同的drop out率所获得的OA值，当drop out为0.2时，Purdue数据的最高OA值为99.37%，而KSC的最佳OA值为99.55%，drop out比率为0.1，由此可见，所提出的模型可以以较低的drop out率产生最佳性能。并且在drop out率为0.2，训练比为10%的情况下进行了样本大小影响的实验。改变样本训练比的实验结果如图8(b)所示，训练样本的比例从1%到10%不等，可以看出，KSC的精度高于Purdue，并且2条曲线都反映了随着百分比的增加而增加的趋势，这也反映了神经网络需要足够训练数据的事实。具体来说，OA获得的最高值是99.37%，Purdue数据的比例为10%，最佳OA值是99.58%，比例为9%。当百分比为1%时，Purdue和KSC均达到最低的OA值，分别为96.61%和97.90%。图8(c)显示了数据集上具有不同样本大小对应的OA值。可以看出，Purdue和KSC数据的最佳分类结果分别为99.57%和99.66%，此时样本大小为19×19。在样本大小为12×12的情况下，Purdue数据和KSC数据显示的最低OA值分别为98.02%和98.70%。训练时间比较结果如图8(d)所示。可以进一步看出，在相同的参数设置下，所提出的CNNBSDFF结构是最高效的模型。

4 结论

提出了一种基于两阶段CNN的高光谱分类方法，首先通过使用显著性波段选择进行数据压缩以减少数据冗余度，减小计算复杂度，再通过两阶段CNN对高光谱图像的空间和谱间分类信息进行深度挖掘。提出的CNNBSDFF模型在第1阶段CNN分别采用2D Dense及3D Dense嵌入模块进行空间和谱间的特征提取；在第2阶段CNN对谱空特征进行融合及进一步挖掘，增强分类特征表达能力。在2个经典高光谱数据集Purdue和KSC上的实验和分析表明，所提出的CNNBSDFF模型在准确度和对公共数据集的计算方面均展示出优越的性能。由于高光谱图像标记困难并且存在严重的样本不平衡问题，而网络通常需要大量的数据来学习更加精细的特征用于分类，在少量标记样本的情况下保持模型性能的优越性对高光谱图像分类方面的研究有重大意义，这也是下一步的研究方向。