基于多视图边界判别投影的高光谱图像分类

潘 恒，何进荣，凌 宇，任思霖



基于多视图边界判别投影的高光谱图像分类

潘 恒，何进荣，凌 宇，任思霖

(西北农林科技大学信息工程学院，陕西 杨凌 712100)

高光谱图像分类是遥感领域研究的热点问题，其关键在于利用高光谱图谱合一的优势，同时融合高光谱图像中各个像元位置的光谱信息和空间信息，提高光谱图像分类精度。针对高光谱图像特征维数高和冗余信息多等问题，采用多视图子空间学习方法进行特征降维，提出了图正则化的多视图边界判别投影算法。将每个像元处的光谱特征看作一个视图，该像元处的空间特征看作另一个视图，通过同时优化每个视图上的投影方向来寻找最优判别公共子空间。公开测试数据集上的分类实验表明，多视图学习在高光谱图像空谱融合分类方面具有显著的优越性，在多视图降维算法中，该算法具有最高的分类准确性。

多视图学习；判别降维；高光谱分类；空谱融合

高光谱图像分类是高光谱遥感技术研究的关键问题之一，被广泛应用于农业种植、城市规划、矿物识别等领域。由于高光谱图像特征维数高、冗余信息多，容易降低分类器的泛化能力，因此人们常常通过降维处理来消除其谱间相关性。经典的降维方法包括主成分分析(principal component analysis，PCA)[1]等无监督方法和线性判别分析(linear discriminant analysis，LDA)[2]等有监督方法。经过降维之后，再使用支持向量机(support vector machine，SVM)[3]进行高光谱图像分类，分类精度可得到显著提升。但是传统的光谱降维分类算法仅考虑了像元的光谱特征，却忽视了其空间信息。由于图像分布具有区域内连续、区域边界跳跃的特点，因此近年来基于空谱特征融合的高光谱图像分类算法成为研究热点。常用的空间特征提取方法有邻域空间特征提取、离散Gabor变换[4]、离散小波变换等。空谱特征融合策略有多种，例如，文献[5]提出了一种基于PCA与移动窗小波变换的高光谱决策融合分类方法；文献[6]从邻域提取空间特征，然后采用修正张量局部保持投影方法进行高光谱空谱特征融合。除此思路，近年来也有研究将卷积神经网络等深度学习方法引入到高光谱图像分类问题中[7-9]，并取得了优异的变现。

本文采用多视图学习方法研究高光谱图像空谱特征融合问题，将所有像元的光谱特征看作一个视图，将空间特征看作另一个视图，在特征融合的过程中，同时减少视图间和视图内的信息冗余。多视图学习方法可分为3类[10]，即协同训练(co-training)[11]、多核学习(multiple kernel learning)[12]和公共子空间学习(common subspace learning)[13]。由于公共子空间学习致力于发掘多视图数据之间的共性，寻找其潜在的公共子空间，引起了学者们的广泛关注。经典的无监督子空间学习方法包括典型相关分析(canonical correlation analysis，CCA)[14]，即通过最大化投影后视图间的相关系数来进行多视图降维。CCA只能处理两幅视图的情况，于是学者们提出了多视图的CCA(multiview canonical correlation analysis，MCCA)[15]。经典的有监督多视图学习方法包括多视图判别分析(multiview discriminant analysis，MvDA)算法[16-17]，MvDA通过同时考虑视图间和视图内的判别信息来寻找一个统一的公共判别子空间。SHARMA等[18]提出了一种高效、泛化、领域无关的多视图学习框架——广义多视图分析(generalized multiview analysis，GMA)，并将LDA和边界Fisher分析(marginal fisher analysis，MFA)[19]扩展为多视图方法。本文在GMA的框架下，将边界判别投影(marginal discriminant projection，MDP)[20]扩展为多视图边界判别投影(multiview marginal discriminant projection，MMDP)，并加入图正则化约束[21]，提出了图正则化的多视图边界判别投影(graph regularized multiview marginal discriminant projection，GMMDP)。

本文将多视图学习思想应用到高光谱图像分类领域，首先提取高光谱图像的光谱和空间特征，构建两幅视图，然后对数据进行归一化和PCA降维处理，接着应用多视图学习方法寻找视图间的公共子空间，并在子空间中对数据进行分类。为处理同一像元在不同视图中被分为不同类别的问题，本文最后对两个视图的分类结果进行决策融合。公开数据集上的实验证明了多视图学习在高光谱图像分类问题上的有效性和鲁棒性。本文算法具体流程如图1所示。

图1 多视图学习方法下的高光谱图像分类

1 高光谱图像的多视图特征

1.1 光谱特征

1.2 空间特征

随着对地物真实空间分布的研究的深入，越来越多的空间特征提取方法被提出，其中主要有融合像元邻域、Gabor变换、小波变换、形态学剖面[22]等。本文探讨其中两种空间特征提取策略，作为后续多视图学习的空间视图。

1.2.1 邻域空间特征

1.2.2 离散小波特征

2 多视图降维

2.1 多视图判别分析(MvDA)[16-17]

MvDA通过同时考虑视图间和视图内的变量关系，在多幅视图间寻找潜在的判别公共子空间，最大化不同类别样本之间的差异。对于幅视图，MvDA的目标函数为

MvDA是一种有监督的学习方法，能够处理两幅视图以上的问题。

2.2 广义多视图分析(GMA)[18]

2.3 图正则化的多视图边界判别投影

MDP是一种有监督线性降维算法，其能够最小化同类样本间的最大距离，最大化异类样本间的最小距离，同时保持数据流形的几何形状。本文将GMA多视图框架应用到MDP上，提出了MMDP。

根据GMA的多视图框架，MMDP的目标函数为

为了提升MMDP的分类性能，引入流形学习理论，为每一幅视图建立近邻图，在同类样本之间连边，边权定义为

即同类样本两两之间距离的平均值。由此得到每幅视图的图正则化项为

式(17)所示模型可以通过特征值分解的方法求解。对于高光谱图像光谱和空间两个视图，GMMDP的目标函数为

其中，为光谱特征数据矩阵；为空间特征数据矩阵。

经过多视图降维算法，像元的光谱特征和空谱特征被投影至公共判别子空间，此时选取合适的分类器对子空间中的样本点进行分类，即可得到像元的预测类别。SVM是一种有监督的机器学习算法，已在高光谱图像分类中有着广泛的应用，本文使用SVM作为该任务的分类器。

3 实验

3.1 数据集

3.1.1 Indian Pines数据集

3.1.2 Salinas Valley数据集

3.2 实验设置

实验中分别使用邻域法和小波变换法获取不同形式的空间信息，作为一组对照。之后对光谱数据和空间数据进行标准差标准化以及PCA降维，通过多视图学习投影视图到公共子空间。为减少参数，实验保持子空间维数与PCA维数一致。实验中，像元的光谱特征和空间特征被视为两个数据样本，存在同一像元被分为不同类别的情况。决策时，实验将空谱视图下的分类结果作为该像元的最终分类结果，因为在图像中，空间几何上相邻的像素点更加有可能属于同一类，而由于“异物同谱”现象存在，光谱相似的像素不一定是同一种物质。对于高光谱图像像素分类问题，相比之下空间特征的贡献更大。

表1 不同参数下的GMMDP总体分类精度

此外，实验使用MvDA、GMMFA作为多视图学习的对比算法，使用传统的LDA-MLE、SVM-RBF作为单视图对比算法。对于子空间中的数据，统一选择高斯核的SVM作为分类器。为减小实验过程中偶然误差的影响，每组实验重复20次，取平均值作为最终结果。实验源代码：https:// github.com/Penn000/GMMDP_for_HIC。

图2 不同α下的GMMDP总体分类精度

图3 不同λ下的GMMDP总体分类精度

3.3 实验结果与分析

Indian Pines数据集上的实验结果见表3，对比方法包括传统的单视图算法和本文介绍的多视图方法。由表3可知，不论是哪种空间特征提取方式，多视图学习方法明显提升了高光谱图像分类的准确性，其中采用邻域法提取空间特征的GMMDP比传统的LDA-MLE方法的分类精度高出35.22%，Kappa系数高出42.17%，比SVM-RBF方法的分类精度高出了18.79%，Kappa 系数高出了22.49%。这一方面说明了空间信息的重要性以及空谱融合的必要性，同时也证明了多视图学习可显著提升高光谱图像分类精度。比较各有监督的多视图学习算法，虽然各算法间的性能差异不大，但GMMDP仍以96.58%和956.48%的准确率取得最好的分类精度。GMMDP的Kappa系数也是各多视图降维算法中最高的。另外，不同的空间特征提取方式将会影响多视图学习的分类精度。不论从总体分类精度上看，还是从Kappa系数上看，本文提出的基于邻域的空间提取方式都比小波变换提取特征的方式要好。这是因为本文采用的空间特征提取方式考虑周围不同像元对目标像元的影响大小，而小波变换对窗口内的像元使用同样的权重。图4从视觉上展现了各高光谱分类算法的性能差异。

表2 Indian Pines数据的分类结果

表3 Salinas Valley数据的分类结果

图4 Indian Pines数据的分类图

Salinas Valley数据集上的实验结果见表3，结果表明多视图学习方法提升了高光谱图像分类的准确性，其中采用邻域法提取空间特征的GMMDP比传统的LDA-MLE方法的分类精度高出8.8%，Kappa系数高出9.83%，比SVM-RBF方法的分类精度高出了5.93%，Kappa 系数高出了6.63%。此外，本文提出的基于邻域的空间提取方式比小波变换提取特征的方式更能取得高的分类精度。图5从视觉上展现了各高光谱分类算法的性能差异。LDA-MLE和SVM-RBF这两个单视图方法相比于多视图方法存在更多的错分像元，视觉上噪声更加明显。

图5 Salinas Valley数据的分类图

为了验证GMMDP等多视图降维算法对于训练集规模变化的稳定性，在Indian Pines数据集上，保持其他参数不变，仅改变训练样本和测试样本的比例进行实验，结果如表4和图6所示。所有算法的分类精度都会随着训练样本的增加而呈上升趋势，符合人们的直观认识。而在不同规模的训练集上，GMMDP始终保持最优的性能，表明其稳定性较强。在只有10%的训练样本情况下，GMMDP依然有超过95%的准确率，显示了GMMDP在小样本问题上的优良性能。

表4 不同训练集规模下的分类性能

图6 不同训练集规模下的分类性能

4 结 论

本文采用多视图学习方法融合高光谱图像的光谱信息和空间信息进行降维与分类。在已有多视图学习方法基础上，提出了图正则化的多视图边界判别投影算法。该算法在对高光谱空谱特征融合降维的同时，保持原始高维特征集的流形结构，从而提升其多视图特征降维的泛化性能。实验证明，多视图学习是处理高光谱图像分类问题的一种有效方法，且与传统的多视图学习算法相比，图正则化的多视图边界判别投影算法具有较高的高光谱图像分类准确率。

[1] MOORE B. Principal component analysis in linear systems: controllability, observability, and model reduction [J]. IEEE Transactions on Automatic Control, 1981, 26(1): 17-32.

[2] ZHAO W, PHILLIPS P J. Subspace linear discriminant analysis for face recognition [EP/OL]. [2018-01-09]. https://www.researchgate.net/publication/2306824_Subspace_Linear_Discriminant_Analysis_for_Face_Recognition.

[3] BAESENS B, VIAENE S, GESTEL T V, et al. Least squares support vector machine classifiers: An empirical evaluation [EB/OL]. [2018-02-02]. https:// core.ac.uk/display/34312128.

[4] 叶珍, 白璘, 粘永健. 基于Gabor特征与局部保护降维的高光谱图像分类算法[J]. 光学学报, 2016, 36(10): 504-513.

[5] 叶珍, 何明一. PCA与移动窗小波变换的高光谱决策融合分类[J]. 中国图象图形学报, 2015, 20(1): 132-139.

[6] DENG Y J, LI H C, PAN L, et al. Modified tensor locality preserving projection for dimensionality reduction of hyperspectral images [J]. IEEE Geoscience & Remote Sensing Letters, 2018, 15(2): 277-281.

[7] HU W, HUANG Y, WEI L, et al. Deep convolutional neural networks for hyperspectral image classification [EB/OL]. [2018-03-01]. https://www.hindawi.com/ journals/js/2015/258619/.

[8] LIN L, SONG X. Using CNN to classify hyperspectral data based on spatial-spectral information [M]// Advances in Intelligent Information Hiding and Multimedia Signal Processing. Berlin: Springer International Publishing, 2017: 61-68.

[9] MEI S H, JI J Y, HOU J H, et al. Learning sensor-specific spatial-spectral features of hyperspectral images via convolutional neural networks [J]. IEEE Transactions on Geoscience & Remote Sensing, 2017, 55(8): 4520-4533.

[10] XU C, TAO D C, XU C. A Survey on Multi-view learning[EB/OL]. [2018-01-09]. http://cn.arxiv.org/abs/ 1304. 5634.

[11] BLIM A, MITCHELL T. Combining labeled and unlabeled data with co-training [C]//Eleventh Conference on Computational Learning Theory. New York: ACM Press, 1998: 92-100.

[12] WANG H Q, SUN F C, CAI Y N, et al. On multiple kernel learning methods [J]. Acta Automatica Sinica, 2010, 36(36): 1037-1050.

[13] YANG P P, HUANG K Z, LIU C L. A multi-task framework for metric learning with common subspace [J]. Neural Computing and Applications, 2013, 22(7-8): 1337-1347.

[14] HARDOON D R, SZEDMAK S , SHAWE-TAYLOR J. Canonical correlation analysis: an overview with application to learning methods [J]. Neural Comput. 2004, 16(12): 2639-2664.

[15] RUPNK J, SHAWE-TAYLOR J. Multi-view canonical correlation analysis [EB/OL]. [2018-02-17]. https://www. researchgate.net/publication/228836443_Multi-View_Canonical_Correlation_Analysis.

[16] KAN M, SHAN S G, ZHANG H H, et al. Multi-view discriminant analysis [C]//European Conference on Computer Vision. Berlin: Springer, 2012: 808-821.

[17] KAN M, SHAN S G, ZHANG H H, et al. Multi-view discriminant analysis [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2016, 38(1): 188-194.

[18] SHARMA A, KUMAR A, DAUME H, et al. Generalized multiview analysis: a discriminative latent space [C]//2012 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Computer Society, 2012: 2160-2167.

[19] MIKA S, RÄTSCH G, WESTON J, et al. Fisher discriminant analysis with kernels [C]//Neural Networks for Signal Processing IX: Proceedings of the 1999 IEEE Signal Processing Society Workshop. NewYork: IEEE Press, 2002: 41-48.

[20] 何进荣, 丁立新, 李照奎, 等. 基于边界判别投影的数据降维[J]. 软件学报, 2014, 25(4): 826-838.

[21] HUANG S, YANG D, ZHOU J, et al. Graph regularized linear discriminant analysis and its generalization [J]. Pattern Analysis & Applications, 2015, 18(3): 639-650.

[22] 鲍蕊, 夏俊士, 薛朝辉, 等. 基于形态学属性剖面的高光谱影像集成分类[J]. 遥感技术与应用, 2016, 31(4): 731-738.

Hyperspectral Images Classification Based on Multiview Marginal Discriminant Projection

PAN Heng, HE Jinrong, LING Yu, REN Silin

(College of Information Engineering, Northwest A&F University, Yangling Shaanxi 712100, China)

Hyperspectral images classification is a research hotspot in the remote sensing field. The key point is to improve the classification accuracy by taking the advantage of spectral-spatial features of hyperspectral images, which fuse the spectral information and spatial information of each pixel in the hyperspectral image simultaneously. This paper employed multiview subspace learning for feature reduction with the problems of high feature dimension and redundant information of hyperspectral images, and proposed a graph regularized multiview marginal discriminant projection (GMMDP) algorithm. The multiview feature reduction algorithm took the spectral features of each pixels as a view and spatial features as another view, then searched the optimal discriminant common subspace by optimizing the projection direction of each view. Experiments on the open dataset showed that multiview learning had a significant advantage in spectral-spatial classification of hyperspectral images. Among all multiview dimensionality reduction algorithms, our GMMDP had the highest classification accuracy.

multiview learning; discriminant reduction; hyperspectral classification; spectral-spatial fusion

TP 391

10.11996/JG.j.2095-302X.2018061062

A

2095-302X(2018)06-1062-07

2018-04-16；

2018-07-25

中国博士后科学基金项目(2018M633585)；陕西省自然科学基金项目(2018JQ6060)；西北农业科技大学大学生创新创业训练计划项目(201710712064)

潘 恒(1996-)，男，浙江嘉兴人，本科生。主要研究方向为多视图学习、图神经网络。E-mail：panheng@nwafu.edu.cn

何进荣(1984-)，男，甘肃民勤人，讲师，博士。主要研究方向为机器学习、计算机视觉。E-mail：hejinrong@163.com