基于深度学习的高光谱遥感影像分类

朱寿红，王胜利，舒帮荣

(江苏师范大学地理测绘与城乡规划学院，江苏 徐州 221116)

基于深度学习的高光谱遥感影像分类

朱寿红*，王胜利，舒帮荣

(江苏师范大学地理测绘与城乡规划学院，江苏 徐州 221116)

从传统高光谱遥感影像分类的不足出发，提出一种空-谱信息与深度学习相结合的影像分类方法。利用深度学习的常用模型—深度置信网络(DBN)对高光谱影像进行了基于空-谱特征的分类。首先利用主成分分析(PCA)对原始影像进行降维，再对主成分图影像块内的所有像素按照窗口大小进行重组，并用排序的方法堆栈融合为空-谱特征。最后利用得到的空-谱特征作为DBN的输入对高光谱影像进行分类。通过在2组高光谱数据上进行试验，并与传统的分类算法进行比较，发现本文方法能较好地提高分类精度。

高光谱遥感；空-谱特征；深度学习；限制玻尔兹曼机；深度置信网络；影像分类

1 引 言

影像分类作为遥感信息提取的重要手段，受到学者们的广泛研究并取得一定成果[1～4]。但由于高光谱影像图谱合一、高维度和数据中非线性成分的存在，传统分类方法难以满足其分类的需求，探索新的分类理论和方法具有十分重要的意义。在常用的高光谱影像分类方法中，支持向量机(Support Vector machine，SVM)是精度较高、应用广泛的模型之一[4～7]。而近年来，深度学习[8～9]成为解决影像分类所面临的高维数据和算法泛化能力差问题的一个有力工具，并在影像分类领域取得了很好的效果[10～13]。

为了进一步提高高光谱影像分类精度，应将光谱信息和空间信息充分结合起来，寻找一种适合高维数据处理的分类算法。尽管深度学习在影像分类方面取得了一些成果，但数据输入维度、网络优化算法和模型自身参数设置比较复杂，目前还没有统一可供参考的标准。因此，本文引入空-谱特征利用深度学习进行高光谱影像分类，通过多次试验寻找合适的参数：首先，利用主成分分析(Principal Component Analysis，PCA)对原始影像进行降维；然后，对主成分图影像块内的所有像素按照窗口大小进行重组，并用排序的方法堆栈融合得到旋转不变的空-谱特征；最后，将空-谱特征作为深度置信网络的输入进行分类。采用2组高光谱数据进行试验的结果表明，与传统分类方法相比，本文方法可以获得较高的分类精度。

2 深度置信网络(Deep Belief Network，DBN)

2.1 限制玻尔兹曼机(Restricted Boltzmann Machines，RBM)

RBM[14]是对称连接且无反馈机制的两层随机神经网络模型，层间全连接，层内无连接，如图1所示。

图1 限制玻尔兹曼机模型

假设一个具有n个可视节点和m个隐藏节点RBM的状态随机变量为(v，h；θ)，则其能量函数如式(1)所示：

(1)

式中，θ=(Wij，ai，bj)，Wij为层间节点连接权重，ai为可视节点i的偏置，bj为隐藏节点j的偏置。RBM的学习过程是确定参数θ=(Wij，ai，bj)的过程，又称编码解码。

2.2 DBN模型

多层RBM和后向传播算法(BP)构成DBN模型[15]，如图2所示。其训练过程包括预训练、编码解码和微调三个过程。预训练阶段，采用贪婪学习算法[9]调整每层RBM参数，一层RBM训练完成后，将其输出结果作为输入数据训练下一层RBM，直到预训练结束；然后，利用监督学习将重构误差后向传播，微调θ。与传统神经网络相比，微调θ能够提高训练效率，避免网络陷入局部最优解。

图2 DBN模型

3 空-谱特征提取

高光谱影像各个波段间存在较强的相关性，存在信息冗余，因此在提取空间特征前需要对影像进行PCA降维。假定高光谱影像I在PCA降维后保留d个波段用于分类试验，那么影像上任意像素x0的空-谱特征可由下式进行构造

U={f0，sort([f1，f2，…，fm2-(r+1)])}∈Rd×(m×m)

(2)

图3 空-谱特征提取过程

由于遥感影像在成像过程中易受到外界环境及传感器自身增益变化等因素的影响，使得同物异谱和异物同谱现象广泛存在，给遥感影像地物分类与提取带来了一定的挑战。相关研究表明将空间和光谱信息有效结合起来有利于分类精度的提高[7，10，16]。本文在引入空间信息的同时，充分考虑了影像地物类内差异小和类间差异大的特点，通过找到与中心像元灰度值差值最大的某几个像元并进行删除，进一步拉大不同地物的特征可分性，减小错分现象。试验中，删除像元的个数随着窗口大小而改变，且删去的像元个数占邻域像元总数的1/4，如3×3大小的窗口删除的像元个数为2，7×7大小的窗口删除的像元个数为12。

4 试验与分析

在MATLAB R2014a平台下，利用DBN模型对2组高光谱数据进行分类试验，通过整体分类精度(overall accuracy，OA)和Kappa系数对分类效果进行评价。试验分析了DBN不同模型深度、隐层神经元个数和引入空间信息对分类精度的影响，并和其他分类方法进行对比分析。

4.1 试验数据

选取Pavia University和Pavia Center两幅高光谱影像进行试验。Pavia数据是ROSIS-03传感器在意大利Pavia市获取的影像，共115个波段，电磁波覆盖范围为 0.43 μm～0.86 μm，空间分辨率为 1.3 m。其中Pavia University空间大小为610像素×340像素，受电磁干扰和水汽影响，去掉12个噪声波段保留103个波段；Pavia Center空间大小为 1 096像素×492像素，去掉13个噪声波段，选取102个波段进行分类试验。试验中这2幅影像的训练集和测试集数目分配如表1所示。

2幅影像的训练集和测试集信息 表1

4.2 RBM层间节点连接权重

RBM层间连接权重Wij可视为一个光谱噪声滤波器，代表对不同波段信息的重视程度[11]。2组数据对应的RBM隐层节点都设为40，则每个隐层节点将分别有103和102个连接权重，对应的RBM可视为40个滤波器。为了方便可视化，将Wij进行折叠，并以二维灰度图像显示，如图4所示。

图4中灰度值代表Wij中的数值大小，可以看出，RBM部分隐层节点对不同波段的选择存在明显差异，不同波段间存在着跳跃，部分波段呈现出类似高斯噪声的扰动。这说明RBM具备自学习能力，可以自适应调节Wij实现对不同影像的特征提取。

4.3 窗口大小和主成分波段对分类精度的影响

针对图谱合一的高光谱影像，国内外学者结合空间信息取得较好的分类效果，如灰度共生矩阵、形态学操作和马尔科夫随机场等[11，13，16]。本文对2组数据做PCA降维后，根据式(2)得到空-谱联合特征进行分类试验。图5表示不同窗口大小及PCA降维后保留波段数与OA的关系曲线图。

图5 窗口大小及主成分波段数目与OA的关系曲线

从图5(a)可以看出，窗口增大的同时OA随之增大，但增幅逐渐减小。对于Pavia University数据，窗口 7×7时OA达到最大；对于Pavia Center数据，窗口为9×9时OA最大，窗口进一步增大时分类精度趋向稳定。由此可以得出，选取适当的窗口大小对对象特征的完整表达、增加特征的可区分性是至关重要的。从图5(b)可以看出，PCA保留波段数目也是影响OA的一个重要因素，OA随着主成分波段数目的增大而提高，主成分波段为6时趋于稳定。综合以上分析，最终选取主成分波段数目为6，大小为7×7的窗口进行试验。

4.4 DBN模型参数对分类精度的影响

网络深度和隐层神经元个数是影响DBN分类精度的2个重要参数。本文选取网络深度为2、3、4、5、6，隐层神经元个数为20、40、60、80、100分别进行训练，学习率初值设置为0.02，之后根据重构误差进行动态调整。试验时，将样本集分为多个小样本进行分批训练，Pavia University和Pavia Center数据每批样本个数分别设置为100和220。从图6可以看出，网络深度为5，隐层神经元个数为80是较合适的模型参数。

图6 DBN模型参数与训练误差关系图

4.5 训练样本数目对分类精度的影响

针对2组数据，分别随机选取5%到30%的地物标签做训练样本，进行10次重复试验，Kappa系数的详细统计如图7所示。通过每个箱中心的红线表示Kappa系数的中间值，箱型的上下边缘分别代表第25和75百分位，箱外的上下延伸线分别到Kappa系数的最大值和最小值处，其中红色“+”表示异常值。从图中可以看出，对于这2组数据，共同的趋势是Kappa系数随着训练样本增多而提高；此外，在训练样本数量小于15%时，Kappa系数波动较大，且存在异常值。这种现象表明训练样本的数量和质量对分类结果的影响至关重要。

图7 不同训练样本数目对应Kappa系数的厢型图

4.6 本文方法和其他分类方法的对比

为了评定本文方法的优劣，与其他5种分类方法进行了对比，包括：①基于光谱特征的DBN分类法(Spectral)[11]；②基于复合核的SVM分类法(SVM-CK)[3]；③核化的子空间追踪法(KSSP)[7]；④集成旋转森林和马尔科夫随机场的分类法(RoF-MRF)[17]；⑤未排序的DBN空-谱特征分类法。5种方法采用相同的训练集和测试集进行比较，如表2所示。可以看出，联合空-谱特征的分类精度明显高于仅利用光谱信息的分类精度。与其他分类方法相比，本文方法分类精度有一定程度提高，尤其对于基于排序策略的DBN分类，其精度最高，Pavia University数据分类精度为94.97%，Pavia Center数据分类精度高达99.33%，这说明引入空间信息增加了特征的可区分性。此外，本文方法考虑到影像地物类内差异小的特点，通过删除与中心像元灰度值差值最大的部分像元，有效地减小了不同类地物误分的现象，相当于在不同类地物边缘处进行空间特征提取时，自适应地调节了邻域的大小，最大程度避免将不同类地物划分为一类的现象。

2幅影像不同分类方法的分类精度 表2

本文采用基于DBN的排序空-谱特征分类方法的分类结果如图8和图9所示。

图8 Pavia University分类结果

图9 Pavia Center分类结果

4.7 算法运行效率

和SVM等机器学习算法相比，DBN模型往往需要消耗更多的时间进行训练。但在处理大数据方面的优势以及分类的高效率，使其受到多数研究者的青睐。原因在于，影像分类实质是矩阵运算，而DBN擅长矩阵运算的特性使其比传统分类器(NN和SVM)运行效率更高。为了评定DBN的分类效率，选取地物标签的5%～30%作为训练样本进行分类试验，并和LIBSVM进行对比，硬件配置为Intel酷睿i5，CPU主频 3.2 GHz，内存 8 GB。从运行结果(如图10所示)可以看出，随着训练样本数目的增多，DBN的运算效率明显占优。

图10 分类效率对比

5 结 论

针对传统高光谱遥感影像分类方法的不足，本文将基于深度学习的分类器引入此领域，选取合适的DBN参数对2组高光谱数据进行分类试验，并和其他分类方法进行对比。结果表明，本文方法提取空间特征时充分考虑地物样本的类内稳定性，在不同类地物边缘处最大程度避免误分，能够较好地提高高光谱影像分类精度，且提取空-谱特征简单易行，通过旋转不变特征消除了原始特征的相关，算法运行效率较高，特征提取能力更强，可以更准确地挖掘到高光谱影像的空间分布规律；此外，DBN自带稀疏编码功能，在保留影像低层特征的同时能够有效降低数据冗余。

当然，本文方法还存在一些不足。比如，DBN模型结构和参数设置是否最优还需深入研究；此外，本文对分类精度和训练样本数目之间的关系进行了分析，但并没有考虑样本质量与分类精度的关系，下一步，将尝试引入半监督分类理论，以期得到更好的效果。

[1] 杜培军，夏俊士，薛朝辉等. 高光谱遥感影像分类研究进展[J]. 遥感学报，2016，20(2)：236～256.

[2] Richards J A，Jia X. Using Suitable Neighbors to Augment the Training Set in Hyperspectral Maximum Likelihood Classification[J]. IEEE Geoscience & Remote Sensing Letters，2008，5(4)：774～777.

[3] Philpott S，Heise L，Mcgrory E，et al. Simultaneous Joint Sparsity Model for Target Detection in Hyperspectral Imagery[J]. IEEE Geoscience & Remote Sensing Letters，2011，8(4)：676～680.

[4] Mountrakis G，Im J，Ogole C. Support vector machines in remote sensing： A review[J]. Isprs Journal of Photogrammetry & Remote Sensing，2011，66(3)：247～259.

[5] 白云海，武文波. 纹理辅助的SAR图像SVM分类[J]. 城市勘测，2016(6)：60～64.

[6] 谭琨，杜培军，王小美.基于支持向量机和多变量分析的高光谱遥感数据分类[J]. 测绘通报，2009，11：37～40.

[7] 杨钊霞，邹峥嵘，陶超等. 空-谱信息与稀疏表示相结合的高光谱遥感影像分类[J]. 测绘学报，2015，44(7)：775～781.

[8] Hinton G E，Salakhutdinov R R. Reducing the dimensionality of data with neural networks[J]. Science，2006，313(5786)：504～507.

[9] 余凯，贾磊，陈雨强等. 深度学习的昨天、今天和明天[J]. 计算机研究与发展，2013，50(9)：1799～1804.

[10] 吕启，窦勇，牛新等. 基于DBN模型的遥感图像分类[J]. 计算机研究与发展，2014，51(9)：1911～1918.

[11] Chen Y，Lin Z，Zhao X，et al. Deep Learning-Based Classification of Hyperspectral Data[J]. IEEE Journal of Selected Topics in Applied Earth Observations & Remote Sensing，2014，7(6)：2094～2107.

[12] 高常鑫，桑农. 基于深度学习的高分辨率遥感影像目标检测[J]. 测绘通报，2014(S1)：108～111.

[13] 刘大伟，韩玲，韩晓勇. 基于深度学习的高分辨率遥感影像分类研究[J]. 光学学报，2016(4)：306～314.

[14] 樊恒，徐俊，邓勇等. 基于深度学习的人体行为识别[J]. 武汉大学学报·信息科学版，2016(4)：492～497.

[15] Hinton G E，Osindero S，Teh Y W. A fast learning algorithm for deep belief nets[J]. Neural computation，2006，18(7)：1527～1554.

[16] 林雪，彭道黎，黄国胜等. 结合多尺度纹理特征的遥感影像面向对象分类[J]. 测绘工程，2016，25(7)：22～27.

[17] Xia J，Chanussot J，Du P，et al. Spectral─Spatial Classification for Hyperspectral Data Using Rotation Forests With Local Feature Extraction and Markov Random Fields[J]. IEEE Transactions on Geoscience & Remote Sensing，2015，53(5)：2532～2546.

Classification of Hyperspectral Remote Sensing Image Based on Deep Learning

Zhu Shouhong，Wang Shengli，Shu Bangrong

(School of Geography，Geomatics and Planning Jiangsu Normal University，Xuzhou 221116，China)

In order to avoid the problem of being over-dependent on high-dimensional spectral feature in the traditional hyperspectral image classification，a novel approach based on the combination of spatial-spectral feature and deep learning is proposed in this paper. The deep learning common model-deep belief network (DBN) is used to classify the hyperspectral remote sensing images based on spatial-spectral feature. Firstly，we extract the spatial-spectral feature by reorganizing the local image patch with the firstdprincipal components (PCs) into a vector representation，followed by a sorting scheme to make the vector invariant to local image rotation. Secondly，the spatial-spectral feature is used as the input of the DBN for hyperspectral image classification. In addition，experiments using two hyperspectral data show that the proposed method can effectively improve the classification accuracy comparing with traditional classificaton methods.

hyperspectral remote sensing；spatial-spectral feature；deep learning；restricted boltzmann machine；deep belief network；image classification

1672-8262(2017)04-84-06

P236，TP75

A

2017—03—07

朱寿红(1991—)，女，硕士研究生，研究方向为遥感影像解译与土地利用分类。

国家自然科学基金(71503117)