高光谱影像三分支分组空谱注意力深度分类网络

苏涵，陈娜，彭江涛，3，孙伟伟

1.湖北大学 数学与统计学学院 应用数学湖北省重点实验室,武汉 430062;2.宁波大学 地理与空间信息技术系,宁波 315211;3.宁波大学 遥感遥测产业技术研究院 宁波拾烨智能科技有限公司,宁波 315211

1 引言

与传统自然图像不同，高光谱影像HSI（Hyperspectral Image）是由地物的一维光谱和二维空间特征构成的“立方体数据”。高光谱影像通常包含数百个光谱波段，可以提供丰富的空间和光谱信息，能够更好地揭示物体固有的物理和化学性质（Ghamisi 等，2017）。目前，高光谱影像已被应用于许多领域，如灾害检测（Govender 等，2007）、资源评估（Zhang 等，2016）和智慧农业（Wan 等，2021）、湿地监测（彭江涛 等，2020）等。高光谱影像分类是上述应用中最常用的技术之一。

早期的分类算法主要聚焦于光谱特征的处理。然而，高光谱波段较多且波段间冗余度较高，这些冗余波段不仅增加了计算负担，而且无法提供更多的有效信息（赵海士，2022）。为了降低影像光谱维数，大量特征提取和特征选择方法被提出（Chen 和Qian，2007；Jia 等，2013；孙伟伟 等，2018；Kumar 等，2020；Tang 等，2014）。经过降维后的特征被用于训练分类器。典型的基于光谱特征的分类器包括支持向量机SVM（Support Vector Machines）（Melgani 和Bruzzone，2004）、多元逻辑回归（Pal，2012）和极大似然分类器（Sisodia 等，2014）等。由于地物光谱变化性等因素影响，仅利用光谱特征得到的分类结果无法达到令人满意的水平。考虑到高光谱影像蕴含丰富的空间和光谱信息，越来越多的算法开始结合空间和光谱特征进行分类。空间和光谱特征提取方法包括马尔可夫随机场MRF（Markov random field）（Zhang 等，2011）、Gabor 滤波器（Chen 等，2017；Zhu等，2015）、小波变换（Zhu和Yang，1998；Qian等，2013）等。但是这些传统算法通常依赖手动设计特征，只能提取较为浅层的特征（Tang 等，2021），无法根据数据特点自适应提取判别特征，难以准确表达高光谱数据中的复杂空谱结构信息。

近年来，深度学习被广泛应用于高光谱影像特征提取和分类。早期的深度特征提取模型包括多层感知机MLP（Multilayer Perceptron）（Zhou 等，2019）、堆叠自动编码器SAE（Stacked Autoencoder）（Vincent等，2010）等。这些模型通常将空间信息扁平化为向量进行处理，会丢失空间信息。卷积神经网络CNN（Convolutional Neural Network）的出现很好地解决了这个问题，它可以直接对数据块进行处理，在保留数据原始结构的同时提取特征（Li 等，2022；Zhang 等，2022a）。例如，Mei 等（2016）提出了一个集成光谱特征和空间特征的CNN模型。Chen等（2016）提出了三维CNN模型，通过在光谱维设计较大感受野，在空间维设计较小感受野提取空谱联合特征。三维卷积可以同时提取光谱和空间特征，分类性能往往优于一维和二维卷积。在深度网络中，更深层次的网络能捕获更加精细的特征信息，然而深层网络训练容易出现梯度消失或梯度爆炸等问题。残差网络ResNet（Residual Network）和稠密卷积网络DenseNet（Dense Convolutional Network）的出现使得加深网络层数以提高网络分类性能成为可能。Zhong等（2018）设计了一个高光谱空间光谱残差网络SSRN（Spectral-Spatial Residual Network）来解决梯度消失问题。Wang 等（2018）提出了一种快速密集空谱卷积网络FDSSC（Fast Dense Spectral-Spatial Convolution），用不同卷积核大小分别提取空间和光谱特征，通过密集连接构建了更深层网络。

光谱特征和空间特征分别对应光谱维和空间维，这些特征自身存在一定的差异性。SSRN 和FDSSC 连续串行提取光谱特征和空间特征，可能会破坏特征自身的结构特性。考虑光谱特征和空间特征的差异性，一些学者提出了并行双分支网络分别提取空间特征和光谱特征（Ma 等，2019；Liu 等，2019）。Ma 等（2019）设计了一个双分支网络，在两个平行分支上利用不同大小的卷积核分别提取空间特征和光谱特征，然后通过级联操作进行融合分类。Liu 等（2019）提出一种双分支卷积神经网络，将裁剪后的数据立方体送入2-D卷积分支进行空间特征提取，同时提取数据立方体的中心像素点用于1-D 卷积分支的光谱特征提取，最后连接空间和光谱特征用于分类 。利用双分支并行网络分别提取空间和光谱特征可以减少两类特征之间的干扰（Ma等，2019），但是这类网络在特征提取时没有考虑高光谱影像空间维与光谱维之间的内在联系，无法充分利用空间维和光谱维信息之间的相关性。不同类型地物具有其自身的电磁辐射规律，光谱特征就是借由传感器捕获的地物反射或自身辐射的一些光谱信息，可以反映地物本身的一些物理化学特性。空间特征指地物在实际场景中的分布特征。联合光谱和空间特征可以反映空间和光谱特征之间的相关性。考虑光谱特征和空间特征之间的差异性和相关性，本文设计了一种三分支网络，包括光谱分支、空间分支、空谱联合分支。光谱分支和空间分支用于独立提取光谱和空间特征，保证得到的光谱和空间特征不会因为维度不同被破坏，体现不同类型特征的差异性。空谱联合分支利用了光谱和空间之间的相关性，能进一步提升分类性能。此外，在三分支网络中，本文充分考虑高光谱遥感影像光谱波段之间的差异性和空间位置对分类的影响，嵌入不同的注意力机制，突出重要波段和判别空间特征。

通过模拟人类视觉系统，注意力机制可以根据信息的重要程度给予不同的权重，达到细化特征的目的（Guo 等，2022）。典型的注意力机制包括挤压和激励机制SE（Squeeze-and-Excitation），卷积注意力模块CBAM（Convolutional Block Attention Module）等。SE模块通过全局池化生成通道注意力矩阵，可以校准光谱特征（Hu 等，2018）。CBAM模块利用最大池化层和平均池化层，可以沿着空间维度和光谱维度分别确定通道权重和空间位置权重（Woo等，2018）。Yang等（2022）提出了一种交叉注意力空谱网络，利用像素的局部和全局光谱生成注意力权重，同时校准光谱和空间特征。随后，Vaswani 等（2017）提出了自注意力机制（Self-Attention），基于该框架构建的Transformer 模型已成功应用于机器学习的许多领域。自注意力机制可以减少对外部信息的依赖，更注重捕捉数据或特征的内部相关性。Fu 等（2019）提出了一种双重注意力网络DANet（Dual Attention Network），利用空间自注意力模块和光谱自注意力模块捕获特征图的任意两个位置和任意两个通道间的相关性。Zhang 等（2022b）提出了一种空间—光谱自注意力网络，通过空间自注意力模块和光谱自注意力模块提高了中心像素识别准确度和光谱特征辨别性。Liu 等（2023）提出了一种中心注意力网络（Center Attention Network），通过利用中心注意力模块突出中心像素的同时正确提取中心像素周围的像素带来的空间信息。

为了进一步细化和优化提取的特征，本文在三分支网络中融入不同注意力机制。特别地，光谱注意力模块利用一维卷积捕获每个通道与其相邻通道的局部相关性。空间注意力模块利用特征间的空间关系求解出空间位置权重。在空谱联合分支，本文结合了空间和光谱注意力，提出了一种分组空谱注意力机制，通过分组并行处理保证了网络的计算效率。三分支网络通过不同的卷积结构和注意力机制提取出更具辨别性的不同层次的特征，然后利用特征融合模块进行融合分类，有效提高了网络的分类性能。

2 本文算法

本文提出了一种融合光谱注意力、空间注意力和分组空谱注意力的三分支高光谱分类网络模型TGSSAN（Three-branch Grouped Spatial-Spectral Attention Network）。

2.1 算法整体框架

用X∈RM×N×D表示高光谱影像，其中M、N分别表示空间维度的长和宽，D表示波段数。假设影像X包含P个像素，记为Xpixel={x1，x2，…，xP}∈R1×1×D，对应标签向量记为Y={y1，y2，…，yP}∈R1×1×C，其中C为类别数。为充分利用影像空谱信息，本文从空间、光谱和联合空谱3个不同维度出发，设计3 个并行网络分支进行特征提取，并融合提取的特征进行分类。

光谱分支用于提取光谱维度的信息，故保留待分类像素的完整光谱维Xspe∈R1×1×D作为输入。空间分支用于提取空间维度的信息，本文利用主成分分析PCA（Principal Component Analysis）将高光谱数据的维度从D降为B，以待分类像素为中心，构建窗口尺寸为S×S 的空间块Xspa∈RS×S×B作为输入。联合空谱分支需要同时提取空间和光谱两个维度上的信息，因此需结合光谱和空间分支的特性，以空间块Xspa-spe∈RS×S×D作为输入。

图1 中给出了本文TGSSAN 模型的整体框架。该模型由三分支构成，即光谱分支、空谱联合分支和空间分支。在3个分支中，分别构建“光谱注意力模块Spe-AM（Spectral Attention Module）”、“分组空谱注意力模块 GSSAM（Grouped Spatial-Spectral Attention Module）”和“空间注意力模块Spa-AM（Spatial Attention Module）”提取特征。最后将3 个分支特征送入“特征融合模块FFM（Feature Fusion Module）”进行融合分类。

图1 基于分组空谱注意力的三分支网络结构Fig.1 The structure of the proposed three-branch grouped spatial-spectral attention network

2.2 光谱分支

如图1所示，光谱分支的输入为Xspe∈R1×1×D，首先经过一维卷积（1D-CNN）、批归一化BN（Batch Normalization）和ReLU 激活函数处理，减少光谱波段数量，得到形状为(1×1×D1，n)的特征图（处理后波段D1＜D）。其中，一维卷积核的大小是9，步长为2，n是卷积核个数（实验中取n=24）。

然后，利用Spe-AM 模块进行光谱特征提取和加权。Spe-AM 见图1 左下角绿色模块，该模块由两个1D-CNN、BN 和ReLU 激活层，以及光谱注意力机制构成。Spe-AM 的核心是光谱注意力机制，如图2所示。

图2 光谱注意力机制Fig.2 Spectral Attention Mechanism

考虑到高光谱影像波段较多，不同波段所蕴含的信息量不同，通过引入光谱注意力机制，可以突出有效信息抑制冗余光谱波段，提高光谱波段的辨别能力。本文使用的光谱注意力机制借鉴了高效通道注意力ECA（Efficient Channel Attention）模块的思想（Wang等，2020），利用一维卷积捕获局部跨通道信息。为了获得光谱维相邻波段相关性，利用一维卷积和Sigmoid 函数生成光谱特征注意力权重。假设输入像素Xi，经处理之后对应的D1维特征为pi。记为pi的第j个波段，表示的k个相邻波段集合，则可计算得到对应的权重：

式中，Covk(·)表示核大小为k的一维卷积，σ(·)表示Sigmoid激活函数。

利用波段权重来重新校准光谱特征pi中不同波段的重要性，加权后的光谱特征可以表示为

2.3 空间分支

如图1所示，空间分支的输入数据为Xspa∈RS×S×B，经过由三维卷积（3D-CNN）、BN 和ReLU 层处理层之后，得到特征大小为(S×S×1，n)。然后，经过两个Spa-AM 模块进行空间特征提取和加权。Spa-AM 模块结构见图1 右下角橙色模块，该模块包含两个卷积核为(3×3×1)的3D-CNN 层、BN和ReLU 层，以及空间注意力机制。Spa-AM 模块的核心在于空间注意力机制。

空间注意力机制利用特征的空间关系生成空间注意力权重矩阵，保持空间维度不变，压缩通道维度。该机制关注的重点是空间的位置信息。空间注意力机制借鉴了CBAM 中的SAM（Spatial Attention Module）的想法（Woo 等，2018），利用两个池化操作来聚合特征图的通道信息，拼接后利用3D-CNN 捕获空间相关性。如图3所示，沿通道轴分别应用平均池化（AvgPool）和最大池化（MaxPool）操作，得到两个不同的特征，表示如下：

图3 空间注意力机制Fig.3 Spatial Attention Mechanism

式中，Hi表示以像素Xi为中心构建的空间块。

然后，将得到的特征沿通道轴连接融合，送入卷积层以获取空间权重矩阵，空间权重矩阵计算公式为

式中，Conv(·)表示3D-CNN卷积操作。

接下来，将输入的特征与空间权重矩阵相乘，得到加权后的特征图：

加权之后的特征充分利用了特征的空间关系，能够突出空间中的有效信息，提高空间特征的辨别性。最后，通过残差连接得到空间分支输出：

2.4 空谱联合分支

空谱联合分支的输入数据为Xspa-spe∈RS×S×D。经过3D-CNN、BN 和ReLU 层处理之后，得到特征大小为(S×S×D1，n)。然后，用4个GSSAM模块连续提取空间和光谱特征。为了增加特征的可辨别性，利用分组空谱注意力机制对特征进行空间和光谱维加权。GSSAM 模块由两个3D-CNN 层、BN和ReLU 层，以及分组空谱注意力和恒等映射残差连接构成，如图1底部中间所示。

受洗牌注意力启发（Zhang 等，2021），分组空谱注意力模块采用“通道分割”来并行处理每个组的子特征，然后对每个子特征再次沿着通道维均等划分成两个分支，分别用于求解光谱和空间的权重矩阵。为了进一步保证模块的轻量，在求解权重矩阵时，没有选用卷积进行求解，而是选取了一对可训练的参数去学习光谱相关性和空间相关性。

分组空谱注意力机制可以同时获得光谱和空间的权重矩阵。该模块将输入的特征图沿着通道轴进行分组，然后对分组后的数据块求解空间注意力和光谱注意力并整合到一个数据块中，最后将分组后的数据块聚合成原始数据块的大小，分组空谱注意力机制的整体框架如图4所示。

图4 分组空谱注意力机制Fig.4 Grouped Spatial-Spectral Attention Mechanism

对于输入的特征图F∈，沿着通道轴划分为G组，有F=[F1，…，FG]，Fk∈。分组后每个子特征图大小保持一致，但是包含的信息不完全一样。然后利用注意力机制为每个子特征图生成对应的权重矩阵。首先将子特征图Fk沿着通道维分成两个分支，即，如图4所示。两个分支中，一个利用光谱间的相关性生成光谱注意力权重，另一个利用空间之间的相关性生成空间注意力权重。从而使得模型重点关注特征图中更有用的信息。

求解光谱注意力权重时，首先使用全局平均池化获取光谱维全局统计信息，即：

式中，Avg(·)表示全局平均池化。

利用两个可训练参数和Sigmoid 激活函数生成光谱带权重，然后将权重和特征图相乘进行特征图加权。光谱分组最终输出为

如图4所示，空间注意力权重的求解首先利用组归一化GN（Group Normalization）获得空间维度的统计信息。然后同样构建两个可训练参数和Sigmoid 激活函数自适应的获取空间注意力权重，然后将权重和特征图相乘获得加权后的特征图。空间注意力的最终输出可以表示为

式中，W、2b2为可训练的权重和偏置参数，大小均为，GN(·)表示组归一化操作。

获得空间加权特征图和光谱加权特征图后，沿光谱维连接两个特征图使得加权后的光谱维数保持不变，即。聚合加权后的子特征图，使得特征图的形状保持不变，。

通过分组空谱注意力模块获得加权特征图后，再通过一个恒等映射残差连接得到输出：

如图1 所示，经过两个连续的GSSAM 模块，可以有效地提取高光谱影像的光谱特征。然后，经过两个3D-CNN、BN 和ReLU 层，将特征图光谱维降到1 维。接下来，再经过两个连续的GSSAM模块提取空间特征。最后将得到的加权联合空谱特征图送入特征融合模块进行融合分类。

2.5 特征融合模块（FFM）

经过三分支特征提取后，可以获得数据的光谱特征、空间特征和空谱联合特征。利用池化层将3个分支的特征转化成同样尺寸，然后对三分支特征进行加权融合：

式中，Yspe、Yspa和Yspa-spe分别表示光谱分支、空间分支和空谱联合分支处理后的特征，Y表示融合后的特征。参数λ和μ为[0，1]范围内的权重参数。

3 实验结果和分析

3.1 数据集描述

为验证算法性能，本文选取了5个高光谱数据集进行实验，即Indian Pines（IP），Pavia University（PU），Salinas（SA），Houston（HU），黄河口GF-5数据集（HHK），具体见图5—9。

图5 IP数据的伪彩色合成图像和标记图Fig.5 RGB composite image and ground-truth map of IP data set

图6 PU数据的伪彩色合成图像和标记图Fig.6 RGB composite image and ground-truth map of PU data set

图7 SA数据的伪彩色合成图像和标记图Fig.7 RGB composite image and ground-truth map of SA data set

图9 黄河口数据的伪彩色合成图像和标记图Fig.9 RGB composite image and ground-truth map of HHK dataset

（1）Indian Pines（IP）：该数据是1992 年机载可视红外线成像光谱仪（AVIRIS）对美国印第安纳州的一块松树林成像并进行处理后得到的。该数据集像素大小为145×145，包含220个光谱波段，剔除其中20 个水吸收波段后，将剩余的200 个波段用于分类。该数据集一共包含了16种地物类别。本文在每类样本中随机选取5%的标记样本组成训练集进行网络训练，余下样本用于模型测试。表1中列举了每个类别的训练和测试样本的数量。

表1 IP数据集的每类样本数Table 1 The number of samples in each class for IP

（2）Pavia University（PU）：该数据是机载反射光学光谱成像仪于2003 年在意大利北部帕维亚的一次飞行活动中获取的。影像尺寸为610×340像素，空间分辨率为1.3 m，共115个波段，覆盖波段范围为0.43—0.86 μm。去除12 个受噪声影响的波段，将剩余的103个波段用于实验。该数据集共包含9 种地物类别。每类选取1%的标记样本进行网络训练，表2中列举了每个类别的训练和测试样本的数量。

表2 PU数据集的每类样本数Table 2 The number of samples in each class for PU

（3）Salinas（SA）：该数据集是AVIRIS成像仪1998 年对美国Salinas 山谷进行成像获取的。该数据集中图像的尺寸大小为512×217像素，空间分辨率为3.7 m。该影像包含224 个光谱波段，去除其中20 个受噪声影响的波段，剩余的204 个波段用于分类。数据集包含16 种地物类别。本文选择了1%的标记样本进行网络训练，表3 中列举了每类的训练和测试样本的数量。

表3 SA数据集的每类样本数Table 3 The number of samples in each class for SA

（4）Houston University（HU）：HU 数据集是2012 年6 月23 日ITRES-CASI 1500 传感器在休斯顿大学校园及其邻近市区上空采集得到的。图像尺寸为349×1905 像素，共有144 个光谱波段，覆盖波段范围为0.38—1.05 μm。该数据包含了15 个地物类别。本文选择其中5%的标记数据作为训练集进行网络训练。表4中列举了每个类别的训练和测试样本的数量。

表4 HU数据集的每类样本数Table 4 The number of samples in each class for HU

（5）黄河口GF-5 数据集（HHK）：该数据是利用GF5_AHSI 传感器于2019 年1 月7 日获取的黄河口地区的高光谱分辨率影像。影像尺寸为1185×342，包含330 个波段。剔除45 个坏波段，余下285 个波段用于分类。该影像标注的地物类别共有21 类，其中主要以湿地、水草、农作物为主。我们选择其中5%的标记数据作为训练集进行网络训练，具体信息见表5。

表5 黄河口数据集的每类样本数Table 5 The number of samples in each class for HHK

3.2 实验设置

实验是基于Pytorch 的深度学习框架，在配备2.7 GHz Intel Xeon Gold 6258R CPU 和2 块NVIDIA GeForce RTX 2080 Ti GPU的计算机上完成。

IP、PU、HU 和HHK 数据集的输入窗口设置为7×7，SA 数据集的输入窗口设置为9×9。在五个数据集中，空间分支通过PCA 降维后的光谱维数设置为30；FFM 模块中融合参数λ=0.5，μ=0.2。针对本文提出的框架，使用Adam优化器，初始学习率为0.0005，迭代次数为250，批次训练集大小为32。

3.3 对比算法

为了验证本文TGSSAN算法的有效性，将该算法与下列算法进行对比：

（1）空间光谱残差网络SSRN（Spectral-Spatial Residual Network）（Zhong等，2018）。

（2）快速密集空谱卷积网络FDSSC（Fast Dense Spectral-Spatial Convolution）（Wang等，2018）。

（3）双通道多注意力网络DBMA（Double-Branch Multi-Attention Mechanism Network）（Ma 等，2019）。

（4）双通道对偶注意力网络DBDA（Double-Branch Dual-Attention Mechanism Network）（Li 等，2020）。

（5）基于注意力机制的层次残差网络HResNetAM（Hierarchical Residual Network With Attention Mechanism）（Xue等，2021）。

（6）基于注意力的自适应空谱核改进残差网络A2S2KResNet（Attention-Based Adaptive Spectral-Spatial Kernel Improved Residual Network）（Roy 等，2021）。

其中，SSRN 和FDSSC 分别是基于ResNet 和DenseNet的空谱网络，DBMA、DBDA和HResNetAM是基于空间和光谱注意力的双分支网络，A2S2KResNet 是基于注意力和ResNet 的空谱网络。所有方法均按原文中的最优参数进行训练。

本文利用总体分类精度OA（Overall Accuracy）、平均分类精度AA（Average Accuracy）和Kappa 系数来衡量模型性能。OA 表示测试集中被正确分类的像素占测试像素的百分比，AA 表示各个类别分类准确率的平均值，Kappa系数用于衡量分类结果与真实值一致性，取值越大表示一致性越高。所有实验均进行十次独立测试，以十次测试的平均值作为最后的实验结果。

3.4 实验结果

表6—10 分别给出了各算法在5 个数据集上的分类结果，其中每组的最佳结果以粗体显示。

表6 不同算法在5%的IP数据集上的分类精度Table 6 Classification accuracy of different algorithms on IP dataset with 5% labeled samples per class /%

（1）Indian Pines 数据集实验结果。IP 数据集上各算法的总体分类精度OA、平均分类精度AA和Kappa 系数如表6 所示。从表中可以看出，与其他算法相比，本文提出的TGSSAN算法获得了最优分类性能，在每类5%的训练样本情况下OA 达到98.21%。IP数据集的样本分布不均衡，部分类别对应的样本较少，分类难度较大。例如，第7训练样本数仅为1个，此时FDSSC、DBMA 和HResNetAM等深度学习方法性能较差，但本文提出的TGSSAN在该类别上准确率分别达到98.52%，这表明本文算法在小样本数据分类中也表现良好。总的来看，本文算法在16 个类别中的9 个类别上取得最优性能。此外，从10次随机实验的标准偏差可以看出，本文算法相比于其他对比算法性能更加稳定。

图10 给出了IP 数据集下各方法分类结果图。深度学习对比算法分类结果较为准确，整个分类区域也很平滑。但在分类图的左上角处，由于多个类别交错分布，对比算法出现了很多错分点，但本文算法分类情况良好，基本没有出现错分情况。

图10 IP分类结果图Fig.10 Classification maps on IP

（2）Salinas 数据集分类结果。表7 给出了SA数据集的分类结果。从表7中可以看出，本文算法的分类结果优于对比算法，在16 类地物上的分类精度均在97%以上，第1、2、3、6、9、12、16类达到了100%的准确率。SA 数据集的分类难点在于第8 类（“Grapes_untrained”，葡萄）和第15 类（“Vinyard_untrained”，葡萄庄园）。这两个类别空间位置邻近，光谱相似，难以鉴别。深度学习方法，如DBMA，DBDA，HResNetAM，在这两个类别上的准确率均在90%左右，而我们算法达到98%以上。这表明我们方法的鉴别能力更强。

表7 不同算法在1%的SA数据集上的分类精度Table 7 Classification accuracy of different algorithms on SA dataset with 1% labeled samples per class /%

图11给出了不同算法在SA 数据集上的分类结果图。从图中可以看出，对比算法在第8 类和第15 类（即图中左上角区域）上都有较多错分点，而本文算法错分点较少。

图11 SA分类结果图Fig.11 Classification maps on SA

（3）Pavia University 数据集分类结果。表8 给出了PU 数据集的分类结果。在1%的训练样本下，本文算法的OA、AA 和Kappa 分别达到了99.35%、99.00%、99.15%，均优于对比算法。该数据集中，第1 类和第7 类（“Asphalt”和“Bitumen”）均为沥青类相似材质，难以鉴别。本文算法综合考虑了光谱特征、空间特征和空谱联合特征，能够准确鉴别相似材质的细微差异，在这两个类别上准确率均接近100%。此外，从表中可以看出，对于第8 类（“Bricks”，砖块），对比算法的分类精度均低于90%，但本文算法的分类准确率达到98.12%。这表明本文算法对于难分类类别以及相似类别均有较好性能。

表8 不同算法在1%的PU数据集上的分类精度Table 8 Classification accuracy of different algorithms on PU dataset with 1% labeled samples per class /%

从图12 的分类结果图可以看出，在第7 类和第9 类交错的地方（图中间部分亮灰色和深红色区域），大部分对比算法都会出现错分现象。例如，FDSSC，DBMA，HResNetAM 均将第9 类（“Shadows”，阴影）错分成第1 类（“Asphalt”，沥青道路）。尽管这两个类别从表面上看很相似，但本文算法仍能将其正确区分开。另外，DBMA和DBDA 等算法将第8 类（“Bricks”，砖块）错分到第3 类（“Gravel”，碎石），本文算法对这两个类别也得到了较好分类结果。总的来看，本文算法的分类结果图与真实标记图更加一致。

图12 PU分类图Fig.12 Classification maps on PU

（4）Houston 数据集分类结果。表9 给出了HU数据集下各算法的分类结果，在5%的训练样本下，本文算法的OA 达到了98.76%。本文算法在13 个类别上取得了最高的分类精度。特别地，在第3、5、15等3个地物类别中分类准确率达到了100%。

图13 为HU 的分类结果图，从图中可以看出，本文算法的分类结果图错分点更少，分类结果图更接近真实地物分类图。

图13 HU分类结果图Fig.13 Classification maps on HU

（5）黄河口GF-5数据集分类结果。表10给出了黄河口数据集上不同算法的分类结果。在5%的训练样本下，本文算法分类精度达到了97.68%，优于其他对比算法。比SSRN、DBMA、A2S2KResNet等深度学习算法高2%左右。本文算法在9 个类别中取得最高精度，且在第9、11、12 类中取得了100%的准确率。

表10 不同算法在5%的黄河口数据集上的分类精度Table 10 Classification accuracy of different algorithms on HHK dataset with 5% labeled samples per class /%

3.5 消融实验

为了验证3个分支特征提取的有效性，我们设计了对比实验，比较单独采用3个分支的分类结果和融合三分支后网络的分类结果。表11 给出了5 个数据集上的分类结果。从表11 中可以看出，光谱分支对应的性能较差，空间分支的性能大幅提升。空间和光谱特征的加权组合，以及直接提取空谱联合特征，这两种策略存在一定差异，但均能改善单分支特征提取的分类性能。通过融合光谱、空间、空谱联合特征，本文的三分支特征融合网络TGSSAN的分类准确率高于单分支和双分支的分类结果，说明特征融合模块很好地捕获不同层次的特征信息。

表11 5个数据集上不同模块的OATable 11 OA of different modules on five data sets /%

在空谱联合分支，本文提出了分组空谱注意力机制。为了验证分组空谱注意力的有效性，在5个数据集上进行对比实验。比较有和没有分组空谱注意力时空谱联合分支的分类性能（有分组空谱注意力的空谱联合分支表示为SSNet，没有的表示为SSNet-GA）。从图14 可以看出，加入分组空谱注意力之后，每组数据的分类的精度都有一定程度的提升，可以看出分组空谱注意力模块可以提升网络的判别特征学习能力。

图14 分组空谱注意力对分类的影响Fig.14 The effect of grouped spatial-spectral attention

3.6 参数分析

本小节对影响分类性能的参数进行了分析。图15 给出了窗口尺寸对分类性能的影响。从图中可以看出，随着窗口尺寸的增大，OA 呈现上升趋势。但是当窗口尺寸超过7×7 后，除了SA 数据集仍旧保持较大的上升幅度外，其余4个数据集的上升幅度较小，甚至在部分数据集上出现了下降。虽然较大的窗口会包含更多空间信息，但是当窗口过大时，它可能会携带一些负面信息对分类产生干扰，而且过大的窗口会增加计算量。因此，将数据集IP、PU、HU 和HHK 的窗口大小设置为7×7，数据集SA的窗口大小设置为9×9。

图15 窗口大小对分类性能的影响Fig.15 The effect of window size on classification performance

深度网络训练中，学习率控制每次训练迭代的学习步长，对网络收敛速率有一定影响。图16给出了不同学习率对分类性能的影响。从图中可以看出，当学习率在0.0001—0.001 时，分类性能较为稳定。实验中，5个数据集对应的学习率均设置为0.0005。

图16 学习率对分类性能的影响Fig.16 The effect of learning rates on classification performance

在三分支特征融合时，权重参数λ和μ反映不同分支特征的重要程度。图17 给出了不同参数组合对分类性能的影响，其中，λ，μ∈[0，1]。从图中可以看出，本文TGSSAN算法在较大参数变化范围内保持性能稳定。实验表明，当λ∈[0.3，0.6]，μ∈[0.1，0.3]时，实验结果具有较高精度且比较稳定，为了在数据集上保持统一，我们设置λ=0.5，μ=0.2。

图17 不同融合权重系数对分类性能的影响Fig.17 The effect of different weight coefficients on classification performance

3.7 算法运算时间对比

表12 对比了各算法训练和测试时间。从表中可以看出，TGSSAN 的训练和测试时间与FDSCC、DBMA、DBDA 相差不大，但精度可以提升2%以上。而与SSRN、HResNetAM、A2S2KResNet相比，虽然运算时间有所增加，但仍在一个可接受的范围内，而且精度能得到2%左右的提升。

表12 各算法在IP数据集上运算时间和分类精度对比Table 12 Comparison of running time and OA of each algorithm on IP

4 结论

本文提出了一种高光谱遥感影像三分支深度分类网络。该网络包含3个并行的光谱分支、空间分支和空谱联合分支，用于提取不同层次的空谱特征信息，并结合空间、光谱和分组空谱注意力机制增强空间信息和光谱波段特征的辨别性，最后利用特征融合模块进行融合分类。本文提出的算法在IP、PU、SA、HU 和HHK 等5 个数据集上均取得了优越的分类性能。特别地，在训练样本较少时，算法仍旧具有良好的性能。本文提出的三分支分类网络，在分类任务中展现了优越的性能，改进了单分支串行网络连续提取空谱特征和双分支并行网络分别提取空谱特征两类特征提取网络的不足之处，可以更加有效地提取图像的特征信息。在实验中发现，如果网络本身的性能较好，通过注意力机制提升网络性能的难度会加大。下一步将会继续探讨更加有效的注意力模型和注意力机制嵌入网络的方式。