多特征融合下的高光谱图像混合卷积分类

熊 余，单德明，姚 玉，张 宇

多特征融合下的高光谱图像混合卷积分类

熊 余1,2,3，单德明1,2,3，姚 玉1,2,3，张 宇1,2,3

（1. 重庆邮电大学 通信与信息工程学院，重庆 400065；2. 重庆高校市级光通信与网络重点实验室，重庆 400065；3. 泛在感知与互联重庆市重点实验室，重庆 400065）

针对现有高光谱遥感图像卷积神经网络分类算法空谱特征利用率不足的问题，提出一种多特征融合下基于混合卷积胶囊网络的高光谱图像分类策略。首先，联合使用主成分分析和非负矩阵分解对高光谱数据集进行降维；然后，将降维所得主成分通过超像素分割和余弦聚类生成一个多维特征集；最后，将叠加后的特征集通过二维、三维多尺度混合卷积网络进行空谱特征提取，并使用胶囊网络对其进行分类。通过在不同高光谱数据集下的实验结果表明，在相同20维光谱维度下，所提策略相比于传统分类策略在总体精度、平均精度以及Kappa系数上均有明显提升。

图像分类；高光谱图像；降维；超像素；混合卷积胶囊网络

0 引言

高光谱遥感是指在电磁波谱的紫外、可见光、近红外和中红外区域，利用成像光谱仪获取窄而连续的光谱图像数据[1]。由于包含丰富的光谱信息使得高光谱图像（hyperspectral image，HSI）能够捕捉复杂的地物分布，因此HSI被广泛应用于深林植被保护、水质检测和地质勘测等[2]。然而，由于大气分子影响使图像存在椒盐噪声，以及光谱高维性所带来的冗余，给遥感图像实现准确的分类带来了极大挑战。

现有的遥感图像分类技术大致可分为基于像元的分类方法和基于联合空间特征和光谱信息分类的方法[3]。前者主要是通过同类地物光谱之间的相似性特征进行分类，一般采用支持向量机（support vector machine，SVM）、逻辑回归和反向传播神经网络等[4]。它们基于光谱特征的相似性进行特征提取、选择和分类，由于易受噪声和光谱冗余影响，分类精度普遍较低。而后者主要基于相似区域将空间信息和光谱信息进行结合从而提高分类精度，如利用形态学扩展、超像素分割和二维卷积网络（two dimensional convolutional neural network, 2DCNN）等[5]。它们主要依赖于对高光谱图像中的空间特征信息提取，并与光谱特征相结合从而提高分类精度。其中卷积网络以其自动挖掘特征的优势，摆脱了人工提取特征的困难，获得了研究者的广泛关注。如文献[6]提出了联合使用最大池和平均池的组合型二维网络以避免忽略相邻像素特征之间的相关性，有效地提高了网络的分类性能。但为了获得更好的特征提取，该方法需要堆叠深层的卷积层，增加了网络的复杂性与不可解释性。因此，文献[7]结合哈希特征来改善网络，通过使用哈希函数和二进制哈希码来改进语义特征的提取，以增强网络的可解释性。但未考虑光谱波段之间的相关性，且由于光谱信息的高维性，将导致计算量增大。为此，文献[8]提出使用三维卷积神经网络（three dimensional convolutional neural network, 3DCNN）作为分类器，以实现对空间和光谱特征的同时提取，在采用较少参数的同时显著提升了分类精度。但受限于固定大小的卷积核，未能对地物边界像元的特征进行较好提取，带来空间信息利用不足的问题。而文献[9]结合10层卷积层和1层全连接层构造了混合分类网络，通过联合使用一维、二维和三维的小卷积核来多尺度地提取光谱和空间特征，显著提升了分类结果。文献[10]设计了一种结合二维、三维卷积核的混合卷积网络，旨在提高对主成分分析（principal component analysis，PCA）降维后高光谱图像空谱特征的提取能力，同时降低了模型的复杂度，取得了较好的分类精度。但该模型需对不同数据集进行不同程度的降维，泛化能力不足，且空间和光谱特征融合仅限于三维卷积核，没有充分利用光谱信息和空间特征以及未考虑小样本对该模型分类的影响。

基于上述问题，本文提出了一种多特征融合下基于混合卷积胶囊网络（hybrid convolutional capsule network with multi-feature fusion，MFF-HCCN）的高光谱分类策略。首先，使用主成分分析和非负矩阵分解（non-negative matrix factorization，NMF）对HSI数据集进行降维；然后，使用简单非迭代聚类（Simple Non-Iterative Clustering，SNIC）算法和余弦聚类算法进行图像分割和聚类融合；最后，将融合后的数据集通过改进的混合卷积胶囊网络（hybrid convolutional capsule network，HCCN）进行分类。

1 MFF数据预处理

高光谱图像的光谱特征具有高维性和冗余性，导致计算量大、分类困难，在分类前一般采用PCA与NMF对高光谱数据集进行特征提取[11]。PCA依赖于采用最大化方差去相关性，以保留数据集信息的主要成分，但降维数据可正可负，造成PCA的基在原始数据方面不具有直观的物理意义[12]。虽然NMF分解结果为非负，具有可解释性和明确的物理意义，但进行高光谱图像的光谱解混时，易受噪声影响陷入局部最优[13]。为此，综合考虑二者的性能后，提出了一种PCA和NMF联合的多特征融合（multi-feature fusion，MFF）算法。

1.1 数据降维

式中：(W×H)×B为高光谱数据；(W×H)×r和×B分别对应加权矩阵和加权系数矩阵；为降维的特征数目。

虽然NMF能够较好地保留HSI的特征，但原始信息缺失较大，需要使用PCA对HSI进行降维。因此，使用PCA对HSI进行降维，分别得到前5主成分×H×5＝{PC1, PC2, …, PC5}和前16主成分×H×16＝{PC1, PC2, …, PC16}。图1为以Pavia University数据集为例的PCA降维的各个成分之间的方差比例，数据的前5主成分和前16主成分信息分别保留在98%和99%以上。

1.2 超像素SNIC分割与聚类

超像素是由一系列位置相邻且颜色、亮度、纹理等特征相似的像素点组成的小区域，它能够提取图像局部特征，获取图像的冗余信息[14]。而为获取高光谱图像各类地物分布情况，使用文献[15]所提的SNIC分割算法对NMF所降维的三维图像进行分割。该算法是传统简单线性迭代聚类算法（simple linear iterative clustering, SLIC）的改进算法，它以单次迭代和强制性连接取代了SLIC的K-means聚类分割，能够更快、更有效地对物体边界分割。SNIC将图像由RGB颜色空间转化为颜色分明的CIELAB颜色空间，在迭代过程中以初始中心像元的4邻域或8邻域像元作为一个超像素，其距离计算公式如公式(2)所示。

图1 Pavia University数据集PCA降维成分方差比例分布图

式中：＝(,)T表示像元的空间位置；＝()T表示像元在CIELAB空间的颜色通道；和分别为第个像元与第个像元之间的空间距离和颜色距离的归一化因子。同时，也称为紧密度参数，值越高，超像素越紧凑，但边界贴合度越差，反之亦然。

使用NMF分解后的三维成分进行超像素分割而非PCA降维后的前3主成分，是因为NMF将数据集×H×B分解为三维的矩阵，能够较好地保留个别地物的分布情况。从图2的Pavia University降维图可以看出，使用NMF降维后的图2(a)比使用PCA降维的图2(b)地物边界保留更加完整、清晰。然后，为保证分割图保留较为完整信息，将分割后的图像与高光谱数据集×H×5按像元空间位置进行合并，得到一个具有五维光谱通道的立方体图，如图2(c)所示。

式中：i＝{0, 1, …, p－1}为每个超像素所包含的像元个数；k＝{1,2,…, K}为第k个超像素。因此，得到一个节点向量，同时也得到了一个均值化后的HSI图像数据。

U＝1－U，U∈[0,2] (5)

以像元间光谱波段的夹角余弦距离度量像元的相似性，取代传统的欧式距离度量，并做K-means聚类得到的聚类结果作为图像的初始分类标签ini＝{1,2, …,ini}。其中，L表示类标签，ini表示初始聚类得到标签数量。

1.3 多特征融合

式中：为给定的待归一化的数据集；为的元素；¢为归一化后的结果。

2 分类网络

高光谱数据集经过以上预处理后，可以得到一个具有空谱融合特征的20维数据集。为了进一步提高对空间和光谱特征的利用率，首先使用4种不同尺度的三维卷积核对数据集进行空谱特征提取，然后使用3种不同尺度的二维卷积核进一步提取局部空间特征，最后通过具有方向特性的胶囊网络进行分类。

2.1 HCCN网络

式中：为ReLU激活函数；b,j为第层第个特征图的偏置；d－1为第(－1)层特征图的数量和用于生成第层第个特征图卷积核,j的深度，2＋1、2＋1和2＋1分别为卷积核,j的宽度、高度和光谱通道数。

首先，为了加强对不同空间尺度特征提取，在三维卷积层中使用3×2×3、2×3×3、2×1×3和1×2×7四种不同大小的三维卷积核，可以得到一系列具有空谱特征的立方体特征图。然后，将所得的特征立方体图根据其光谱通道数变换为二维特征图，分别使用3种不同尺度的3×3、2×2和1×1二维卷积核进行滤波处理，如公式(9)所示。并将每个滤波器输出的二维特征图平铺为一维向量并进行叠加如公式(10)所示。

将叠加后的0输入到胶囊网络中进行特征提取，获得一组具有大小和方向的向量[16]。胶囊卷积是传统神经网络的一种改进形式，它具有平移不变性以及可以自动选择图像的位置、大小和方向等特征并做特征的聚类以强化相似性，输出一种更具有表达力的特征向量。因此，使用胶囊网络接收多尺度卷积层输出的特征可以有效提高对不同特征的提取和判别能力，以提升模型的分类性能。图3展示了胶囊网络内部神经元的加权组合过程。

图3 胶囊网络神经元解析图

对于所获得的每一个胶囊属于一个类，使用胶囊向量的模值长度表示对应像元的类概率。因此使用公式(14)边缘损失作为整个网络的损失函数：

式中：＋＝0.9，－＝0.1，＝0.25，如果像元属于第类，T＝1。参数＋表示输出的向量||||的长度大于＋时，则可以确定该像元属于第类；参数－表示||||小于－时，则像元不属于第类。为控制权值大小的参数，以达到当像元误判时停止初始化学习。

所提HCCN分类如图4以Pavia University数据集为例所示，其各层参数如表1所示。

表1中卷积核的前3个数为核的大小，第四个数为核的数量。输出大小表示每层输出特征图的大小。如第一层卷积层的卷积核的参数为(3,2,3,16)，分别表示卷积核大小为3×2×3和核的数量为16。输出为(9,10,18)，表示输出的特征图大小为9×10×18。

2.2 MFF-HCCN算法步骤

MFF-HCCN算法主要分为以下几步：

步骤1：使用PCA对HSI数据集进行降维，获取前5主成分×H×5和前16主成分×H×16并使用NMF获取HSI的前3成分×H×3。

步骤4：对×H×20使用公式(7)进行归一化处理，并输入到改进的混合卷积胶囊网络HCCN中进行分类处理。

MFF-HCCN算法的结构图如图5所示。

图4 HCCN分类示意图

表1 Pavia University数据集卷积分类各层的参数

图5 MFF-HCCN算法结构图

3 仿真分析与讨论

3.1 实验数据

实验以3种公开的遥感数据集Indian Pines、Pavia University和WHU-Hi-Longkou来检验算法分类效果。

1）Indian Pines数据集[7]。该数据集是通过AVIRIS传感器于1992年6月获取的来自美国印第安纳州北部农业区的具有220个波段的高光谱遥感图像，光谱波段范围为0.4～2.5mm。该图像大小为145×145像素，空间分辨率约为20m。该数据去除了水吸收和低信噪比波段后为200个波段数据，总共划分为16类真实地物，如表2所示。

2）Pavia University数据集[7]。该数据集是通过ROSIS传感器于2001年获取的Pavia大学的场景图，具有115个光谱波段，光谱波段范围在0.43～0.86mm，所获图像大小为610×340像素，空间分辨率大约为1.3m，真实标记地物划分为9类。实验选取103个波段用于分类，如表3所示。

3）WHU-Hi-Longkou数据集[17]。该数据集是通过搭载Headwall Nano-Hyperspec成像传感器的无人机于2018年7月获取的中国湖北省龙口镇农业场景图，具有270个光谱波段，光谱波段范围在400～1000nm，所获图像大小为550×400像素，空间分辨率约为0.463m，真实标记地物划分为9类，如表4所示。

表2 Indian Pines数据集的地物类别和样本数

表3 Pavia University数据集的地物类别和样本数

3.2 参数设置

在对高光谱图像进行分类时，使用SNIC将Indian Pines数据集分割为200个超像素。考虑到没有标记地物的影响，初始聚类数目为18类。当对Pavia University数据集进行分类时，SNIC将其分割为800个超像素，初始聚类数目为11类。同样，在对WHU-Hi-Longkou数据集进行分割时，将其分割为500个超像素，初始聚类数目为11类。SNIC的紧密度参数设置为10。模型batch size设置为128，初始学习率为0.001，衰减速率为1×10－6。网络训练迭代次数为300次，网络输入大小为11×11×20。

表4 WHU-Hi-Longkou数据集的地物类别和样本数

为了验证所提策略在分类方面的高效性，与以下策略进行对比：SVM、PCA-SVM、MFF-SVM、3DCNN[8]、PCA-3DCNN、MFF-3DCNN、PCA- HybridSN[10]。其中，带有PCA的分类策略表示使用相同20维的PCA降维数据集，用于对比所提MFF算法的有效性。PCA-HybridSN和所提策略MFF-HCCN使用相同大小的batch和网络输入。SVM使用径向基函数，惩罚系数为100。实验分类结果的评估准则使用总体精度（overall accuracy，OA）、平均精度（average accuracy，AA）和Kappa系数进行评估。

3.3 仿真结果分析

在Indain Pines分类实验中，随机选取数据集的10%和90%分别作为训练样本和测试样本，仿真结果如表5所示。首先对比SVM和PCA-SVM以及3DCNN和PCA-3DCNN分类情况，易见未降维的分类策略所获得的分类精度优于使用PCA降维的分类策略。这是由于Indain Pines数据集具有低的空间分辨率和高的光谱分辨率，“同谱异物，异物同谱”现象较为严重，所以此时大多分类策略主要利用数据集光谱维波段的差异性来对地物像元进行精准分类。而PCA线性降维破坏了光谱波段间的非线性相关关系，降低了像元间的光谱差异性，导致分类精度下降。与此同时，通过对比还可以发现使用3DCNN分类策略优于SVM分类策略，这是因为3DCNN在进行卷积操作时能够有效地提取局部空间特征，从而进一步提高分类精度。接着使用MFF-SVM和MFF-3DCNN分类策略与前面所述的分类策略进行对比，可以发现相比于PCA降维和未降维的分类策略，后两种分类策略的OA、AA和Kappa都获得了显著的提升。因为所提的MFF算法使用SNIC算法将相似且相邻的地物像元划分到多个小区域，并对每个超像素进行均值化从而提高了同类地物像元的相似性和异物地物像元的差异性。而且MFF算法又对均值化的图像融合多种光谱特征进一步提高了地物像元的差异性，减少了SNIC误分割带来的影响。最后将所提MFF-HCCN分类策略与最新的PCA-HybridSN分类策略相比，可见所提策略在OA、AA和Kappa精度上分别提升了2.472%、1.924%和2.814%，表明了所提策略能够有效地利用空谱特征。这是因为相比于PCA-HybridSN分类策略，所提的MFF-HCCN分类策略在二维卷积层使用了3种不同尺度的二维卷积核。通过对三维卷积层输出的特征图多尺度的局部特征提取，从而提高了对空谱特征的利用率。与此同时，所提分类策略又使用胶囊网络作为输出层，通过对二维卷积层输出的特征转换为具有大小和方向的胶囊向量作为输出，可以提高对地物像元的判别能力。当然，在训练时间方面，所提策略相对于3DCNN和HybridSN网络使用较多的卷积层和胶囊网络，复杂度较高，所以在相同20维光谱特征下，所提分类策略训练时间较长。图6为Indian Pines数据集的伪彩色图和其真实地物标记图。图7展示了不同分类策略在10%训练样本下的分类结果，可以发现所提方法分类效果最佳，而且使用MFF算法的分类策略相比其他策略图像更为平滑。

表5 各算法在Indian Pines 数据集10%训练样本下的分类结果比较

图6 Indian Pines伪彩色图及其标记图

图7 各算法在Indian Pines 数据集10%训练样本下分类图像

在Pavia University分类实验中，选取数据集的2%和98%分别作为训练集和测试集，仿真结果如表6所示。易知在Pavia University数据集下，所使用分类策略的精度相比于Indian Pines数据集时都表现出更好的分类效果，这是因为Indian Pines数据集存在数据不平衡问题，而Pavia University则有着较高的空间分辨率和较少的地物类别。首先对比SVM、PCA-SVM、3DCNN和PCA-3DCNN四种分类策略，可以发现PCA-3DCNN分类精度最高，PCA-SVM分类精度最低。这是由于3DCNN能够同时提取空间和光谱特征，提高了地物像元类别的判断能力。然而光谱的高维性也使得了3DCNN的空间特征和光谱信息不能较好地结合，适当地降维提高网络对空谱特征的提取，因此PCA-3DCNN获得了更好的分类效果。然后将MFF-SVM和MFF-3DCNN策略分别与SVM和PCA-3DCNN策略对比，发现使用MFF算法的分类策略在分类精度方面都得到显著提升，证明了基于SNIC分割的MFF算法可以有效地融合空谱特征。最后将所提MFF-HCCN策略与PCA-HybridSN策略对比，发现前者可以取得更好的分类精度，其OA、AA和Kappa系数相比于PCA-HybridSN策略分别提高了1.312%、1.317%和1.743%。表明所提MFF-HCCN能够更好地对高分辨率、高光谱图像进行地物分类，其主要原因是该策略通过聚类融合、卷积提取和胶囊判别有效地挖掘了地物的空谱特征。图8和图9展示了使用不同分类策略在2%训练样本下的分类结果图，可以发现所提方法图像更为平滑，误分类较为集中，这是由于使用超像素分割和均值化的结果。

表6 各算法在Pavia University 数据集2%训练样本下分类结果比较

图8 Pavia University伪彩色图及其标记图

图9 各算法在Pavia University 数据集2%训练样本下分类图像

在WHU-Hi-Longkou分类试验中，随机选取数据集的0.5%和99.5%作为训练集和测试集，仿真结果如表7所示。由表7可知，所提分类策略的总体分类精度分别优于PCA-3DCNN和PCA-HybridSN分类。同时，通过对比也可以发现，WHU-Hi-Longkou数据集是一种高空间分辨率和高光谱分辨率的影像，相比传统基于像元的SVM分类策略，基于卷积神经网络的分类策略在分类时由于融合了空间信息，因此分类精度普遍较高。对比MFF-SVM和SVM分类策略，可以发现，MFF预处理方法使用SNIC分割方法在一定程度上融合了一定程度的空间信息，使得同类像元相似性增大，异类像元差异性加大，更易于SVM分类器判别。图10为WHU-Hi-Longkou数据集的伪彩色图和地物标记图。图11为0.5%训练样本下各个分类策略的分类结果图。

为了衡量所提策略在不同训练样本下的鲁棒性，这里使用总体分类精度OA作为判断标准，如图12所示。其中横坐标表示不同训练样本的数目比例，纵坐标表示对应的OA精度，可以发现无论是Indian Pines数据集或是Pavia University数据集或是WHU-Hi-LongKou数据集，各个分类策略的OA曲线图均随训练样本的增加呈平稳上升的趋势，显然更多的训练集能有助于分类精度的提升。所提MFF-HCCN分类策略在不同数据集的不同样本情况下，保持了稳定的效果，分类精度始终优于其他策略。值得注意的是，所提策略在极少训练样本下仍能够取得较好的分类精度，如在Indian Pines数据集下仅使用2%的训练样本仍能够获得90.503%的总体分类精度，分别比SVM、PCA-SVM、MFF-SVM、3DCNN、PCA-3DCNN、MFF-3DCNN和PCA-HybridSN高24.052%、32.534%、16.088%、28.452%、22.205%、12.715%和13.48%。与此同时，当采用Pavia University数据集的0.2%样本作为训练样本时，所提策略的总体精度为88.217%，相比于其他分类策略分别提高了10.041%、15.588%、2.82%、15.923%、1.886%、4.229%、6.143%。而对于WHU-Hi-LongKou数据集，仅使用数据集的0.1%作为训练样本，总体分类精度可达97.296%，明显优于其他分类策略。可见，所提策略在小样本场景下依然适用，这是因为使用了SNIC分割算法、多尺度二维卷积核和胶囊网络能有效提升对图像局部空间特征的提取能力，从而能实现小样本情况下高光谱图像分类精度的提高。

表7 各算法在WHU-Hi-Longkou 数据集0.5%训练样本下分类结果比较

图10 WHU-Hi-Longkou伪彩色图及其标记图

图11 各算法在WHU-Hi-Longkou 数据集0.5%训练样本下分类图像

图12 不同训练样本下的总体分类精度OA曲线图

4 结论

针对现有高光谱图像分类方法中空间和光谱利用率不足的问题，提出了一种多特征融合下基于混合卷积胶囊网络的高光谱图像分类策略。首先针对传统PCA降维未能利用空间特征，设计了基于超像素的PCA和NMF联合降维的MFF算法，以有效地将空间特征融入到降维的数据集中。同时通过将多种特征相融合来降低误分割带来的误差，以及避免超像素内像元均值化导致像元光谱维过于简单产生卷积网络过拟合的现象。然后，设计一种多核的混合卷积分类网络，通过使用多尺度二维核对三维卷积输出的特征图进行特征提取，进一步提高了对空谱特征的利用。最后，使用胶囊对卷积网络输出的局部特征进行胶囊变换，输出具有大小和方向的胶囊，以提高不同类别像元的判别精度。实验在传统的Indian Pines和Pavia University公共数据集下对比所提分类策略与传统分类策略分类情况，结果表明，该策略在总体精度、平均精度和Kapp系数方面均表现最佳，而且当使用较少训练样本时所提策略依然能够取得较高的分类精度，证明了所提策略利用空谱特征提高分类精度的有效性。与此同时，为了体现所提分类策略的应用价值，在近年精准农业方面的WHU-Hi-LongKou数据集上进行仿真，实验证明该分类策略具有良好的分类性能和泛化能力。

[1] 蓝金辉, 邹金霖, 郝彦爽, 等. 高光谱遥感图像混合像元分解研究进展[J]. 遥感学报, 2018, 22(1): 13-27.

LAN J, ZOU J, HAO Y, et al. Research progress on unmixing of hyperspectral remote sensing imagery[J]., 2018, 22(1): 13-27.

[2] 徐金环, 沈煜, 刘鹏飞, 等. 联合核稀疏多元逻辑回归和TV-L1错误剔除的高光谱图像分类算法[J]. 电子学报, 2018, 46(1): 175-184.

XU J, SHEN Y, LIU P, et al. Hyperspectral image classification combining kernel sparse multinomial logistic regression and TV-L1 error rejection[J]., 2018, 46(1): 175-184.

[3] 刘启超, 肖亮, 刘芳, 等. SSC DenseNet: 一种空-谱卷积稠密网络的高光谱图像分类算法[J]. 电子学报, 2020, 48(4): 751-762.

LIU Q, XIAO L, LIU F, et al. SSC DenseNet: a spectral-spatial convolutional dense network for hyperspectral image classification[J]., 2020, 48(4): 751-762.

[4] LI S, SONG W, FANG L, et al. Deep learning for hyperspectral image classification: an overview[J]., 2019, 57(9): 6690-6709.

[5] Nanjun H, Paoletti M E, Mario H J, et al. Feature extraction with multiscale covariance maps for hyperspectral image classification[J]., 2018, 57(2): 755-769.

[6] GAO H, LIN S, LI C, et al. Application of hyperspectral image classification based on overlap pooling[J]., 2019, 49(3): 1335-1354.

[7] YU C, ZHAO M, SONG M, et al. Hyperspectral image classification method based on CNN architecture embedding with hashing semantic feature[J]., 2019, 12(6): 1866-1881.

[8] YING L, Haokui Z, QIANG S. Spectral-spatial classification of hyperspectral imagery with 3D convolutional neural network[J]., 2017, 9(1): 67-88.

[9] HE M, LI B, CHEN H, et al. Multi-scale 3D deep convolutional neural network for hyperspectral image classification[C]//, 2017: 3904-3908.

[10] Roy S K, Krishna G, Dubey S R, et al. Hybrid SN: exploring 3D-2D CNN feature hierarchy for hyperspectral image classification[J]., 2020, 17(2): 277-281.

[11] WEI W, ZHANG J, LEI Z, et al. Deep cube-pair network for hyperspectral imagery classification[J]., 2018, 10(5): 783-801.

[12] Baisantry M, SAO A K. Band selection using segmented PCA and component loadings for hyperspectral image classification[C]/, 2019: 3812-3815.

[13] ZHANG W, FU K, SUN X, et al. Joint optimisation convex-negative matrix factorisation for multi-modal image collection summarisation based on images and tags[J]., 2018, 13(2): 125-130.

[14] Achanta R, Shaji A, Smith K, et al. SLIC superpixels compared to state-of-the-art superpixel methods[J]., 2012, 34(11): 2274-2282.

[15] Achanta R, Süsstrunk S. Superpixels and polygons using simple non-iterative clustering[C]//, 2017: 4895-4904.

[16] Sabour S, Frosst N, Hinton G E. Dynamic routing between capsules[C]//2017, 2017: 3856-3866.

[17] ZHONG Y, WANG X, XU Y, et al. Mini-UAV-Borne hyperspectral remote sensing: from observation and processing to applications[J]., 2018, 6(4):46-62.

Hyperspectral Image Hybrid Convolution Classification under Multi-Feature Fusion

XIONG Yu1,2,3，SHAN Deming1,2,3，YAO Yu1,2,3，ZHANG Yu1,2,3

(1.,,400065,; 2.,400065,;3.,400065,)

To address the problem of insufficient utilization of spatial-spectrum features in existing convolutional neural network classification algorithms for hyperspectral remote sensing images, we propose a hyperspectral image classification strategy based on a hybrid convolution capsule network under multi-feature fusion. First, a combination of principal component analysis and non-negative matrix decomposition is used to reduce the dimensionality of a hyperspectral dataset. Second, the principal components obtained through dimensionality reduction are used to generate a multidimensional feature set through super-pixel segmentation and cosine clustering. Finally, the superimposed feature set is used to extract spatial-spectrum features through a two-dimensional and three-dimensional multi-scale hybrid convolutional network, and a capsule network is used to classify them. We performed experiments on different hyperspectral datasets, and the results revealed that under the same 20-dimensional spectral setting, the proposed strategy significantly improves the overall accuracy, average accuracy, and Kappa coefficient compared to traditional classification strategies.

image classification, hyperspectral image, dimensionality reduction, superpixel, hybrid convolution capsules network

TP391.41

A

1001-8891(2022)01-0009-12

2020-11-02；

2021-01-25.

熊余（1982-），男，研究员，博士，主要研究方向为教育大数据，光网络。E-mail：xiongyu@cqupt.edu.cn。

国家自然科学基金资助项目（61401052）；国家留学基金委资助项目（201608500030）；重庆市教委科学技术研究资助项目（KJ1400418, KJ1500445）；重庆邮电大学博士启动基金资助项目（A2015-09）。