基于多尺度卷积神经网络的高光谱图像分类算法

齐永锋，陈 静，火元莲，李发勇

基于多尺度卷积神经网络的高光谱图像分类算法

齐永锋1，陈 静1，火元莲2，李发勇1

（1. 西北师范大学 计算机科学与工程学院，甘肃 兰州 730070；2. 西北师范大学 物理与电子工程学院，甘肃 兰州 730070）

为了提高高光谱图像的分类精度，提出了一种基于多尺度卷积神经网络的高光谱图像分类算法。首先，利用等距特征映射算法处理高光谱数据，以挖掘数据的非线性特性，保持数据点的内在几何性质；然后，构建以标记像元为中心的训练图像块，训练多尺度卷积神经网络；最后，利用softmax分类器预测测试像元的标签。提出的方法在Indian Pines、University of Pavia和Salinas scene高光谱遥感数据集上进行分类实验，并与CNN、R-PCA CNN、CNN-PPF、CD-CNN等算法进行性能比较。实验结果表明，在3个数据集上提出的方法的总体识别精度分别达到98.51%、98.64%和99.39%，与CNN算法相比分别提高了约8.35%、6.37%和7.81%。本文提出的方法无论是在分类精度还是Kappa系数上都优于另外4种方法，是一种较好的高光谱遥感数据分类方法。

高光谱图像；等距特征映射；多尺度卷积神经网络；分类

0 引言

高光谱图像具有较高的光谱分辨率和图谱合一的特性，能够较好地对地物进行表达与分辨识别，是模式识别领域的研究热点[1]，并被广泛地应用于农业[2]、林业[3]、矿业[4]等领域。高光谱图像分类是高光谱遥感影像处理和应用的基础，其最终目标是给影像中的每个像元赋以唯一的类别标识[5]，从而实现地物类别的自动识别。

由于高光谱图像具有高维、信息冗余、同物异谱及同谱异物等特性，如果直接对高光谱图像进行分类，容易产生Hughes现象[6]，降低分类效果。针对上述问题，通常在分类之前要先对高光谱数据进行降维处理。但是，高光谱数据具有非线性特性，用线性方法降维会导致一些重要信息的丢失。流形学习是一种非线性降维方法，可将高维数据转换到低维流形上实现数据降维。流形学习分为全局算法和局部算法。全局算法能够保持所有数据点之间的相似性关系，例如等距特征映射（Isometric Mapping，ISOMAP）[7]算法等。局部算法是在低维流形中保持数据的局部几何结构，例如局部线性嵌入（Locally Linear Embedding，LLE）[8]，拉普拉斯特征映射（Laplacian Eigenmaps，LE）[9]等。

深度学习改变了传统手工设置空间特征的方式，可以自动提取图像的空间特征。近年来，深度学习在许多领域都取得了重大突破，例如图像分类[10]、物体检测[11]、自然语言处理[12]等。在这些成功应用的推动下，深度学习已被广泛应用于遥感图像[13-15]领域。2014年，陈等人[16]提出了一个由多层堆叠自动编码器（Stacked Auto Encoder，SAE）组成的深层架构来提取高光谱图像的空谱特征，然后利用逻辑回归处理以实现分类。2015年，文献[17]提出了一种基于自动编码器的改进的深度网络用于高光谱图像分类，主要是通过在能量函数中加入正则项来表示样本之间的相似性[18]，从而实现分类。此外，深度信念网络（Deep Belief Networks，DBN）也被广泛用于高光谱图像分类[19-21]。尽管前面提到的模型可以有效地提取图像的深层特征以区分不同的类别，但是一旦将输入转换为一维向量就会忽略高光谱图像的空间信息，以至于得不到好的分类效果。为了解决上述问题，文献[22]提出了一种利用卷积神经网络（Convolutional Neural Network，CNN）直接处理小立方体的高光谱图像。文献[23]通过组合中心像素和CNN提取深层像元及其周围的像元，以扩充训练样本的数量。通过分块可以充分利用像元的空间结构信息，但是每个像元谱特征中依旧包含许多冗余信息，这些冗余信息往往会降低其鉴别性。除此之外，网络的深度对于空谱特性复杂的高光谱图像是至关重要的，但是过度增加网络的深度将给传统CNN带来梯度消失、过度拟合、精度降低等问题。

为了解决上述问题，本文结合高光谱数据和深度学习的特点，提出了一种基于多尺度卷积神经网络的分类模型，用于充分提取高光谱图像的空谱特征。一方面，本文首先采用ISOMAP算法对高光谱遥感数据进行降维[24]；另一方面，本文采用多尺度卷积神经网络进行空谱特征提取，通过引入残差函数构建了更深层次的网络，提取了更具表达能力的深层特征。另外，考虑到不同的层可以提取不同尺度的特征，可以提供互补而相关的分类信息，本文还采用了融合机制以充分利用多层功能。

1 本文方法

1.1 算法网络结构

基于多尺度卷积神经网络的高光谱图像分类算法，主要是利用等距特征映射算法保护数据点之间的内在几何特征和利用多尺度卷积神经网络提取更深层、更抽象和更稳定的特征的方法。

具体流程如下：

1）对高光谱数据进行ISOMAP降维，以降低计算成本；

2）训练多尺度卷积神经网络；

3）利用softmax分类器预测测试像素的标签。

图1给出了基于多尺度卷积神经网络的高光谱图像分类算法的网络结构图。

1.2 ISOMAP算法

算法的基本思想是：假设高维空间的数据分布在一个低维嵌入的流形结构中，那么数据间在邻域关系图中的最短距离就可以近似表示数据所含的几何特性。

图1 多尺度卷积神经网络结构图

算法的具体步骤如下：

1）构建邻接图：解出数据集＝{1,2, …,x}（表示数据集中的样本数量）中对应的最近邻，并以x为顶点，求出x与x间的欧式距离，从而建立邻域关系图。

2）计算相似图D：最短路径利用Dijkstra方法求得[25]：

式中：(ij)表示在邻接图中数据点和之间的测地线距离。

3）降维：最小化代价函数通过多维尺度变换算法（Multidimensional Scaling，MDS）[26]求得：

将测地线距离转化为内积形式：

其中：

(,)＝((,))2(4)

式中：为距离平方矩阵；为中心矩阵；为单位矩阵。

ISOMAP算法是通过把测地线距离和代价函数最小化来获取数据集的低维坐标。算法对于具有非线性特征的高光谱遥感图像数据有较好的适用性，能够有效地提高分类精度。

1.3 多尺度卷积神经网络

高光谱图像具有非常复杂的空谱特征。通常，只有几个卷积层不能充分提取判别特征以进行准确分类。但过度增加网络深度将会带来过度拟合、梯度消失等问题。为了能够充分利用图像的细节信息和让提取的特征更具判别性，本文提出了多尺度卷积神经网络。如图1所示，多尺度卷积神经网络分为3层：卷积层C1采用8个大小为5×5的卷积核；C2层采用16个大小为3×3的卷积核；C3层采用32个大小为3×3的卷积核，步长均为1。在池化之前，先利用匹配尺寸函数进行特征融合，之后进行大小为2×2、步长为2的最大池化操作。最后经由全连接层馈入到Softmax分类器中实现图像的分类。

1.3.1 卷积部分

与传统模式识别方法相比较，深层网络具有更多的网络层数和更为复杂的结构，因此能提取到更深层次的特征。也就是说网络的深度决定了模型的性能，但是随着网络深度的加深，网络将会退化，分类识别的准确率将很快达到饱和，出现层次越深，错误率反而越高的现象。为解决此类问题，本文在卷积过程中结合了深度残差网络[27]的思想来优化网络退化的问题，以便能够成功训练更深层次的网络。其示意图如图2所示。

深度残差网络具体表示如下：

()＝()＋(6)

其中，残差函数()通过与的两次卷积来计算，即：

()＝((*1＋1)*2＋2) (7)

式中：1、2是卷积核；1、2为偏置；为ReLU函数。

深度残差网络有助于提取更深层次的光谱和空间特征，而且随着网络深度的增加，残差网络还可以有效减少梯度消失的问题，能够更有效地利用特征并增强卷积层之间的特征传递。

1.3.2 池化部分

考虑到不同的层可能具有不同数量的特征图，本文使用尺寸匹配函数来确保它们在特征融合之前具有相同的光谱维度。假设1、2、3分别代表C1层、C2层、C3层网络的输出，并且它们分别具有8、16、32个特征映射。为了让其具有相同的特征映射数量，我们用大小为1×1的32个内核来做卷积运算。通过这种卷积运算，1、2、3的特征映射的数量都变为32个。接着通过元素求和的方式实现特征融合。池化大小为2×2，步长为2。整个过程如下表示：

图2 残差示意图

＝Pooling((1)＋(2)＋(3)) (8)

式中；(*)为1×1的32个内核尺寸匹配函数；Pooling为最大池化。

1.3.3 分类

对于特征向量，概率分布可以表示为：

那么，对于高光谱像元¢，可通过以下公式分类：

2 实验结果与分析

本文采用总体识别精度（Overall Accuracy，OA）、平均分类精度（Average Accuracy，AA）、Kappa系数作为性能评价指标。为了验证本文方法对分类性能的有效性，将把本文方法与CNN[28]、R-PCA CNN（Randomized-Principle Component Analysis CNN）[29]、CNN-PPF（CNN-Pixel Pair Features）[30]、CD-CNN（Contextual Deep-CNN）[31]方法进行比较，并分别在Indian Pines、University of Pavia、Salinas scene数据集上进行对比验证。本文选取这3个数据集作为实验数据原因在于它们的光谱分辨率、空间分辨率、场景来源均不相同，便于验证本文方法的全面性。

2.1 参数设置

本文采用随机梯度下降法（Stochastic Gradient Descent，SGD）作为优化器，学习率、decay、momentum最优值分别设置为0.04、0.0001、0.9。实验环境为Intel(R) core(TM) i5-2520M CPU@2.50 GHz，内存8GB，Matlab R2018a。训练样本与测试样本的比例为9:1。为避免随机偏差，每个实验结果都为重复多次实验并计算平均值所得。

2.2 Indian Pines数据集上的实验

Indian Pines图像的截取尺寸大小为145×145，共有16种地物，通常用去除坏波段和水体吸收波段后剩余的200个波段作为研究对象。Indians Pines数据集具有植被多、分布复杂且数据集不平衡、易产生混合像元等特点。表1和图3分别反映了在Indian Pines数据集上实验的分类结果。

表1 Indian Pines数据集上的分类性能比较

图3 Indian Pines数据集分类效果

在Indians Pines数据集上，本文算法的OA比其余4种方法高约4.27%～8.35%，AA高约4.27%～8.35%，Kappa系数高约0.0341～0.0845。特别是在少耕大豆、免耕玉米等类别上的效果明显好于其他4种方法。如图3所示，本文方法能够有效地去除椒盐现象，对高光谱图像有较好的分类性能。

2.3 University of Pavia数据集上的实验

University of Pavia图像的截取尺寸大小为610×340，共有9种地物。表2和图4分别反映了在University of Pavia数据集上实验的分类结果。

表2 University of Pavia数据集上的分类性能比较

图4 University of Pavia数据集分类效果

如表2所示，本文算法在University of Pavia数据集上的OA比其余4种算法高约1.91%～6.37%，AA高约1.42%～3.83%，Kappa系数高约0.0196～0.0636。University of Pavia数据集中沥青与柏油路的光谱特征极为相似，但从图4可以看出，本文方法对于这种光谱曲线相似的图像也有较好的效果，是一种较好的高光谱遥感数据分类方法。

2.4 Salinas scene数据集上的实验

Salinas scene图像的截取尺寸大小为512×217，共有16种地物，通常用去掉20个水吸收波段后剩余的204个波段作为研究对象。表3和图5分别反映了在Salinas scene数据集上实验的分类结果。

如表3所示，在Salinas scene数据集上，本文算法的OA比其余4种算法高约3.97%～7.81%，AA高约0.94%～4.38%，Kappa系数高约0.0193～0.0770。Salinas scene数据集分布复杂且不平衡，尤其是长叶莴苣的分类有一定困难，从上面的分类效果图可以看出，本文方法相对其他4种方法错分点少，分类效果较好，能够有效地去除椒盐现象[32]。

表3 Salinas scene数据集上的分类性能比较

2.5 计算时间的比较

表4反映了本文算法和其它深度学习算法的训练和测试时间。可以看出，本文算法的执行时间比CNN、R-PCA CNN方法要长，其原因可能是本文算法的卷积层多于这两种方法；但与CNN-PPF、CD-CNN算法相比，本文算法的执行时间要少得多，需要较少的训练时间即可达到最佳效果。

3 结论

本文首先采用ISOMAP算法对高光谱遥感数据进行降维，在去除像元冗余的谱数据的同时保留数据的全局几何分布结构，可在降低数据维数的同时提高了谱特征的鉴别性。然后将降维后的谱特征输入到本文提出的多尺度卷积神经网络进行特征的提取与分类。本文在构建网络的过程中引用了残差学习的思想，提高了深度卷积网络对数据特征的学习能力，不仅提取到了高光谱图像的空谱特征，而且改善了梯度消失等问题。本文提出的多尺度卷积神经网络既可以提取更深层次的特征、降低特征分辨率，又能使网络在特征提取时体现出很好的鲁棒性，获得更好的分类性能。在Indian Pines数据集、Pavia数据集和Salinas scene数据集上实验结果也验证了本文方法有效性和鲁棒性。

表4 各算法测试和训练时间比较

虽然与其他方法相比，本文方法的分类性能较好，但还存在许多不足之处。如在运行性能上不及其他方法，这将成为下一步的研究重点。

[1] LI Shutao, SONG Weiwei, FANG Leyuan, et al. Deep Learning for Hyperspectral Image Classification: An Overview[J]., 2019, 57(9): 6690-6709.

[2] TAN Kun, MA Weibo, WU Fuyu, et al. Random forest-based estimation of heavy metal concentration in agricultural soils with hyperspectral sensor data[J]., 2019, 191(7): 1-14.

[3] CAO Xianghai, WANG Xiaozhen, WANG Da, et al. Densely connected deep random forest for hyperspectral imagery classification[J]., 2018, 40(3): 1-16.

[4] ZHANG Cuifen, YANG Xiaoxia, HAO Lina, et al. Lithological classification by synergizing hyperspectral Hyperion and high resolution WorldView-2 satellite images[J].: Science & Technology Edition, 2017, 44(5): 613-622.

[5] 杜培军, 夏俊士, 薛朝辉, 等. 高光谱遥感影像分类研究进展[J].遥感学报, 2016, 20(2): 236-256.

DU Peijun, XIA Junshi, XUE Chaohui, et al. Research progress on classification of hyperspectral remote sensing images[J]., 2016, 20(2): 236-256.

[6] 刘靖, 赵逢禹. 高维数据降维技术及研究进展[J]. 电子科技, 2018, 31(3): 36-38.

LIU Jing, ZHAO Fengqi. High-dimensional data dimension reduction technology and research progress[J]., 2018, 31(3): 36-38.

[7] LIU Q, CAI Y, JIANG H, et al. Traffic state prediction using ISOMAP manifold learning[J].:, 2018, 506(15): 532-541.

[8] 王程锦, 王秀友, 林玉娥. 基于内类子空间学习的局部线性嵌入算法[J]. 阜阳师范学院学报: 自然科学版, 2019, 36(2): 52-56.

WANG Chengjin, WANG Xiuyou, LIN Yuxi. Local Linear Embedding Algorithm Based on Inner Class Subspace Learning[J].: Natural science, 2019, 36(2): 52-56.

[9] LI S, WANG Z, LI Y. Using Laplacian Eigenmap as Heuristic Information to Solve Nonlinear Constraints Defined on a Graph and Its Application in Distributed Range-Free Localization of Wireless Sensor Networks[J]., 2013, 37(3): 411-424.

[10] A Krizhevsky, I Sutskever, G E Hinton. Image Net classification with deep convolutional neural networks[C]//(NIPS), 2012, 25(2): 1097-1105.

[11] 王博. 基于深度学习的低信息量图片物体检测算法研究[J].价值工程, 2019, 38(24): 256-259.

WANG Bo. Research on Low-information Image Object Detection Algorithm Based on Deep Learning[J]., 2019, 38(24): 256-259.

[12] 崔莹. 深度学习在文本表示及分类中的应用研究[J]. 电脑知识与技术, 2019, 15(16): 174-177.

CUI Ying. Application of Deep Learning in Text Representation and Classification[J]., 2019, 15(16): 174-177.

[13] ZHANG L, ZHANG L, DU B. Deep learning for remote sensing data: A technical tutorial on the state of the art[J]., 2016, 4(2): 22-40.

[14] CHENG G, ZHOU P, HAN J. Learning rotation-invariant convolutional neural networks for object detection in VHR optical remote sensing images[J]., 2016, 54(12): 7405-7415.

[15] YAO X, HAN J, CHENG G, et al. Semantic annotation of high-resolution satellite images via weakly supervised learning[J]., 2015, 4(6): 3660-3671.

[16] CHEN Y, LIN Z, ZHAO X, et al. Deep learning-based classification of hyperspectral data[J]., 2014, 7(6): 2094-2107.

[17] LIU Y, CAO G, SUN Q, et al. Hyperspectral classification via deep networks and superpixel segmentation[J]., 2015, 36(13): 3459-3482.

[18] MA X, WANG H, GENG J. Spectral-spatial classification of hyperspectral image based on deep auto-encoder[J]., 2016, 9(9): 4073-4085.

[19] CHEN Y, ZHAO X, JIA X. Spectral-spatial classification of hyperspectral data based on deep belief network[J]., 2015, 8(6): 2381-2392.

[20] ZHONG P, GONG Z, LI S, et al. Learning to diversify deep belief networks for hyperspectral image classification[J]., 2017, 55(6): 3516-3530.

[21] 杨建功, 江西莉, 刘侍刚. 融合谱-空域信息的DBN高光谱图像分类方法[J].西安电子科技大学学报, 2019, 46(3): 109-115.

YANG Jiangong, LI Jiangxi, LIU Shigang. DBN hyperspectral image classification method based on fusion spectrum-airspace information[J]., 2019, 46(3): 109-115.

[22] CHEN Y, JIANG H, LI C, et al. Deep feature extraction and classification of hyperspectral images based on convolutional neural networks[J]., 2016, 54(10): 6232-6251.

[23] LI W, WU G, ZHANG F, et al. Hyperspectral image classification using deep pixel-pair features[J]., 2017, 55(2): 844-853.

[24] 丁玲, 唐娉, 李宏益. 基于ISOMAP的高光谱遥感数据的降维与分类[J]. 红外与激光工程, 2013, 42(10): 2708-2711.

DING Ling, TANG Wei, LI Hongyi. Dimensionality and classification of hyperspectral remote sensing data based on ISOMAP[J]., 2013, 42(10): 2708-2711.

[25] Enayattabar M, Ebrahimnejad A, Motameni H. Dijkstra algorithm for shortest path problem under interval-valued Pythagorean fuzzy environment[J]., 2019, 5(2): 93-100.

[26] 唐文俊. 基于流行学习的数据降维的研究[D]. 广东: 广东工业大学, 2012.

TANG Wenjun. Research on data dimensionality reduction based on popular learning[D]. Guangdong: Guangdong University of Technology, 2012.

[27] 吴从中, 陈曦, 季栋, 等. 结合深度残差学习和感知损失的图像去噪[J]. 中国图象图形学报, 2018, 23(10): 1483-1491.

WU Congzhong, CHEN Wei, JI Dong, et al. Image Denoising Combined with Deep Residual Learning and Perceptual Loss[J]., 2018, 23(10): 1483-1491.

[28] HU W, HUANG Y, LI W, et al. Deep convolutional neural networks for hyperspectral image classification[J]., 2015, 2015(2): 1-12.

[29] K Makantasis, K Karantzalos, A Doulamis, et al. Deep supervised learning for hyperspectral data classification through convolutional neural networks[C]/, Milan, Italy, 2015: 4959-4962.

[30] LI W, WU G, ZHANG F, et al. Hyperspectral image classification using deep pixel-pair features[J]., 2017, 55(2): 844-853.

[31] LEE H, KWON H. Going deeper with contextual CNN for hyperspectral image classification[J]., 2017, 26(10): 4843-4855.

[32] ZHONG M, LI W, DU Q. Diverse region-based CNN for hyperspectral image classification[J]., 2018, 27(6): 2623-2634.

Hyperspectral Image Classification Algorithm Based on Multiscale Convolutional Neural Network

QI Yongfeng1，CHEN Jing1，HUO Yuanlian2，LI Fayong1

(1.,,730070,；2.,,730070,)

To improve the classification accuracy of hyperspectral remote sensing images, a classification algorithm based on a multiscale convolutional neural network (CNN) is proposed. First, an isometric feature mapping algorithm was used to process hyperspectral data, to mine the nonlinear characteristics of the data and maintain the intrinsic geometric properties of data points. Second, training image blocks centered on labeled pixels were constructed, after which the multiscale CNNs were trained. Finally, the Softmax classifier was used to predict the label of the test pixel. The proposed method performed classification experiments on the Indian Pines, University of Pavia, and Salinas scene hyperspectral remote sensing datasets, and its performance was compared with a CNN, randomized principal component analysis (R-PCA CNN), a deep CNN with pixel-pair features (CNN-PPF), a cross-domain CNN (CD-CNN), and other algorithms. The experimental results showed that the overall recognition accuracy of the proposed method for the three datasets was 98.51%, 98.64%, and 99.39%, respectively, which was 8.35%, 6.37%, and 7.81% higher than that of the CNN algorithm, respectively. The proposed method performed better than the other four methods studied, in terms of both classification accuracy and Kappa coefficient, providing a superior method for hyperspectral remote sensing data classification.

hyperspectral image, isometric feature mapping, multiscale convolutional neural network, classification

TP391.9

A

1001-8891(2020)09-0855-08

2019-11-28；

2020-09-03.

齐永锋（1971-），男，教授，博士，主要研究方向：模式识别与数字图像，E-mail: qiyf@nwnu.edu.cn。

甘肃省高等学校科研项目（2016A-004）；甘肃省科技计划项目（18JR3RA097）。