基于空谱分组卷积密集网络的高光谱图像分类

欧阳宁，李祖锋，林乐平+

(1.桂林电子科技大学 信息与通信学院 认知无线电与信息处理省部共建教育部重点实验室， 广西 桂林 541004；2.桂林电子科技大学 信息与通信学院，广西 桂林 541004)

0 引 言

高光谱图像是一种三维立方体数据，具有信息冗余、图谱合一、高维连续性波段以及光谱波段高相关性等特点，高光谱图像为地物的分类与识别提供了丰富的空-谱信息数据基础的同时，也对其像素的分类提出了挑战[1,2]。此外，深度网络以其自动提取数据由浅至深的特征能力以及端到端的训练方式，在高光谱图像分类任务中有着良好的表现。然而，深度网络中的浅层次的特征与深层次的特征存在着差异，即浅层特征包含有图像的高分辨率特征信息，深层特征有更为丰富的语义特征。随着网络的加深，进行特征提取时，往往容易丢失浅层的高分辨率特征信息，使得网络的分类性能下降。其次，高光谱数据内在的信息冗余，也使得训练获得的模型容易出现休斯(Hughes)现象。

针对上述问题所导致的网络模型分类性能下降，本文在密集网络结构的基础上，提出一种基于空-谱分组卷积密集网络的高光谱图像分类方法(hyperspectral image classification based on spatial-spectral group convolution dense network，GCDN)。该方法根据高光谱图像数据特点，构建了单通道的空-谱联合特征提网络，设计了光谱-空间三维分组卷积密集模块(spatial-spectral 3D group convolution densenet module，GCDM)，通过对GCDM模块进行不同的参数配置构造了光谱三维分组卷积密集模块GCDM_spe与空间三维分组卷积密集模块GCDM_spa，用以分步进行对光谱与空间特征的提取。其中，分组卷积起到减少信息数据冗余的作用。同时，为了进一步减少光谱特征内固有的信息冗余，构建了光谱残差注意力模块(spectral residual attention module，SRAM)嵌入GCDM_spe与GCDM_spa之间。SRAM通过结合空间与光谱信息计算空-谱注意力权重，通过注意力权重对空谱信息丰富的区域重新赋予更多的关注，增强光谱特征的可判别性。实验结果表明，与若干最新的深度网络方法相比，本文提出的算法可以有效提升高光谱分类网络模型的性能，得到较高的分类精度。

1 相关研究

目前，基于深度学习神经网络框架的高光谱图像分类器的设计已成为高光谱图像分类领域的热门研究方向之一[3-12]。其中，基于联合损失训练卷积神经网络的高光谱图像分类方法[6]，该方法采用编解码结构并由重构损失函数和判别损失函数对网络联合训练，获取到了判别性较好的空谱特征；Zhong等[7]提出了一种三维卷积空-谱残差网络，以一体化结构分步提取空间与光谱特征，该方法结合残差网络结构优点有效提高了模型的分类性能；Roy等[8]结合了二维卷积与三维卷积提出了一种HybridSN混合网络，进一步改进了3D-CNN网络结构，有效提高模型的高光谱分类性能；在单通道三维卷积密集网络[10](3D-Densenet)中，以常规的三维卷积构建密集网络。该方法以原始数据直接提取的领域块作为3D-Densenet的输入直接进行空-谱联合特征的提取，该方法能在邻域块尺寸较大的情形下有着较快的训练速度以及较好的分类精度。

尽管当前一些基于卷积神经网络的高光谱图像分类方法已经获得了一定的效果，但在设计网络结构时未考虑到对高光谱图像数据的高分辨率特征的充分利用，以及在特征提取过程中，由于使用下采样或是池化操作致使高分辨的特征信息受到损失。并且由于高光谱图像数据存在着信息冗余，训练过程容易出现过拟合现象，无法有效获得准确的分类精度。

为解决上述问题，本文提出的GCDM模块，以三维分组卷积构建密集网络模块，该模块使具有高分辨信息的特征进行重用的同时，通过三维分组卷积进一步的使网络中的训练参数减少。GCDM可以针对高光谱图像的特点分别进行不同的参数配置，对光谱与空间特征进行分步提取，使其更有效地提取光谱与空间特征。因此，所提出的GCDM模块提取的光谱与空间特征包含有更具判别性的光谱和空间信息。

除此之外，为了对GCDM_spe模块提取的光谱特征中重要信息进行重点关注并充分学习，使其光谱特征更具可判别性，本文设计了光谱残差注意力模块SRAM。SRAM的提出受到残差注意力机制[13]的启发。该机制首次在图像分类[18]应用中提出，其目的在于通过堆叠残差注意力模块构建注意力网络，使注意力模块能捕获不同类型的注意力，可为分类网络带来持续的性能改善，现已经成功推广至超宽带雷达识别[14]与人群流量预测[15]。SRAM与残差注意力机制[13]不同的是，SRAM同时利用了空间与光谱信息获取注意力权重，利用该模块对从GCDM_spe提取的光谱特征进行光谱权重重分配，使其能够更有效地减少光谱固有信息的冗余，并且SRAM所获取的权重内含空-谱联合信息，使得空-谱信息能够对光谱特征进行补充，获得可判别能力更强的光谱特征，并为之后空间特征的提取丰富了数据信息。

通过结合GCDM模块与光谱残差注意力模块SRAM，本文所提出的空-谱分组卷积密集网络GCDN框架如图1所示。

图1 空-谱分组卷积密集网络框架

2 基于空-谱分组卷积密集网络的高光谱图像分类

本文所提出的空-谱分组卷积密集网络GCDN框架如图1所示。以原始高光谱图像数据三维邻域块Fn∈ω1×ω1×B作为该网络输入，首先对Fn在光谱上使用三维卷积，对Fn进行降维以及提取光谱特征ω1×ω1×p×C1， 其后，并将作为GCDM_spe模块的输入，并提取光谱特征ω1×ω1×p′×C2； 其次利用SRAM模块对进行光谱维信息的增强，获得增强后的特征ω1×ω1×p′×C2， 并将其输入转换层转换为ω2×ω2×1×C3； 将作为GCDM_spe模块的输入进行空间特征提取，并获取空间特征。最后对进行全局平均池化操作，并用线性softmax分类器进行分类，同时本文以交叉熵构建损失函数，来测量预测标签与真值标签之间的差异。

2.1 光谱-空间三维分组卷积密集模块

密集网络(dense-net)提出的初衷是为了在网络参数和计算资源消耗更少的情形下能够获得比ResNet更优的网络性能，该网络结构有着更紧凑的密集连接结构，并以其能使更多的特征重复利用的能力[16]在诸多领域中有着广泛的应用[17-20]。DenseNet相当于ResNet的一种变形，该网络的连接机制是使所有的层都相互连接，每个层都会接受前面所有的层作为输入，并将每层特征图都在通道维度上进行连接，即

xl=Hl([x0,x1,…,xl-1])，l=0,1,2,…,n

(1)

其中，xl为第l层输出特征，表示为 [x0,x1,…,xl-1] 从输入层的特征x0到l-1层的输出特征xl-1进行级联拼接；Hl(·) 为非线性转化函数，该函数是一个包含BN层、ReLU层以及卷积层的组合操作。而在模型网络构建中，本文使用PReLU层替换ReLU层，其目的在于加速模型训练的收敛。本文在密集网络的基础上利用三维分组卷积构建GCDM模块。

本文设计的GCDM模块的结构如图2所示。该模块结构在水平维度上由三维分组卷积层进行密集连接构成密集结构，分组卷积示意结构如图3所示。在GCDN网络中，针对空间与光谱特征分别对GCDM模块进行参数配置，得到光谱分组卷积密集连接模块GCDM_spe和空间分组卷积密集连接模块GCDM_spa，参数配置见表1。表中的GCONV_spe与GCONV_spa表示GCDM_spe与GCDM_spa模块中的分组卷积中每组的卷积操作的参数设置，g表示分组数，在实验中g取3。

图2 光谱-空间三维分组卷积密集模块结构

图3 分组卷积结构

表1 空-谱分组卷积密集网络参数设置

本文采用了三维卷积(3D-CNN)构造的分组卷积在未降维的高光谱图像数据上，以待分类像素为中心，提取一定邻域内的所有像素的光谱信息，组成三维数据领域块，利用三维分组卷积对三维数据领域块进行特征提取。相较于二维卷积，三维卷积的卷积核是三维的，而且卷积的方向从空间上的二维扩展到了空间加光谱的三维。三维卷积操作中卷积层的第l层，第j个卷积核 (o,y,z) 处的具体值可以通过如下公式计算

(2)

在常规三维卷积中，假设特征尺寸为Hin×Win×Min×Cin， 则卷积核尺寸为Hk×Wk×Mk×Cin， 则常规三维卷积的参数量表示为

P=Hk×Wk×Mk×Cin×Cout

(3)

其中，Cout表示输出特征的通道大小。分组卷积将输入的特征按着通道数均分成g组，并对每组特征单独进行卷积，则每组输入特征尺寸为Hin×Win×Min×Cin/g， 对应的卷积核尺寸为Hk×Wk×Mk×Cin/g， 各组卷积操作完成后，将g组结果进行拼接，得到最终的输出特征，总输出特征通道数为Cout， 则每组卷积获得的特征通道数为Cout/g， 分组卷积的参数量则表示为

(4)

本文使用分组卷积进行密集连接从而构造GCDM模块，通过对GCDM进行不同的参数配置，可以有效获取高光谱图像的空间与光谱信息。

2.2 光谱残差注意力模块与转化层

为了对GCDM_spe模块提取的光谱特征中丰富信息的重要区域进行重点关注并进行空-谱信息的补充，本文借鉴了残差注意力模块的设计思想，提出了一种光谱残差注意力模块，用于结合空间与光谱信息计算注意力权重，从而对光谱特征进行权重的重新分配，增强含有丰富信息区域的权重，进一步减少光谱特征中存在的信息冗余，获取更具判别性的光谱特征，为之后空间特征的学习提供丰富数据信息。SRAM结构如图4所示，参数配置见表1。

图4 光谱残差注意力模块结构

(5)

其中，σ为sigmoid激活函数，e为指数。最后将注意力系数α进行Reshape操作，获得Fα∈R1×1×d×1。

(6)

在SRAM中为了减少该模块中所需要训练的参数量，采用全局平均池化层GAP替换全连接层。

图5 转化层结构

2.3 网络训练

(7)

其中，u表示样本，n表示样本的总数。

网络优化过程中，网络的训练与验证同时进行。在每次迭代训练过程中，训练集所对应的网络损失通过反向传播更新网络模型参数，同时利用验证集记录使得验证损失最小的网络模型，并选取最优网络模型。训练过程中，采用RMSprop优化器进行随机梯度优化，以高斯随机分布初始化[21]作为GCDN中所有卷积层的初始化方法，学习速率设置为0.0003，一共运行120个epochs。

3 实验结果与分析

本文的实验测试结果分两个部分：①分组数的确定，在Indian Pines数据上进行对分组数对模型的性能影响的实验；②与最新的基于深度网络分类方法进行分类性能与模型训练测试时间的实验对比。

3.1 实验数据集

实验使用IP(Indian Pines)和KSC(Kennedy Space Center)两个高光谱数据集[22]来验证本文所提出的算法的有效性。Indian Pines数据集，其包含220个波段(波长范围为0.4 μm～2.5 μm)，有16种主要地物，图像大小为145×145像素，空间分辨率为20 m，去除其中20个噪声严重的波段，得到包含200个光谱波段的数据用于分析。Kennedy Space Center数据集,其包含224个10 nm带宽，含13种主要地物，图像大小为512×614像素，空间分辨率为18 m，去除吸水率和低SNR光谱波段后，得到包含176个光谱波段的数据用于研究分析。

实验中，从Indian Pines和Kennedy Space Center数据集中随机挑选训练集、验证集和测试集分别划分为20%为训练集，10%验证集及70%测试集。使用随机选择的训练数据进行10次实验。采用单类分类精度、总体分类精度(overall accuracy，OA)、平均分类精度(average accuracy，AA)以及Kappa系数等作为模型性能评估指标，并报告了它们的均值和标准差。实验平台的配置为GTX1080Ti显卡以及Windows操作系统，并使用Tensorflow和Keras深度学习框架实现。

3.2 分组数目对网络的影响

相对于常规的三维卷积，三维分组卷积可以减少网络中的训练参数，降低训练出现过拟合的风险，因此，三维分组卷积的分组数目会影响GCDN的网络分类性能。由于分组卷积将特征图按照通道进行分组，会使每组特征图经过不同的卷积路径，而所得到的各组特征图之间的相关性会降低，从而达到减少特征信息冗余的目的。所以，在实验中，三维分组卷积的分组的数目需要选择一个合适的数目，因为分组数目过大，分组卷积每个通道完全独立，这样会过度减弱每组特征图之间的相关性；若分组数目太小，就达不到减少参数的目的，无法减少信息冗余。

本文使用Indian Pines数据集进行分组数目对GCDN性能影响的实验。在表2中，给出了不同的分组数目g=[2,3,4,6] 对模型性能的影响。由于在网络参数的设置中，三维分组卷积中的通道数必须与分组数目整除，所以实验中每个分组卷积层通道数的设置均为2，3，4，6的倍数。从表2可以看出，在g=3时，所提出的GCDM网络性能的综合表现最好，OA、AA以及Kappa的精度达到最高。所以，在之后的Indian Pines与Kennedy Space Center数据分类实验中，网络中分组卷积层的分组数均取3。

表2 分组数目对GCDN性能的影响

3.3 对比实验分析

为了评价本文所提出方法的分类性能，将所提出的GCDN方法与最新的基于深度网络的高光谱图像分类方法进行比较，其中对比算法包括3D-CNN[23]、3D-DenseNet[10]、HybridSN[8]与SRNN[7]。由于基于卷积神经网络的高光谱图像分类方法分类精度的提升在很大程度上依赖于训练的数据量。因此，对于所有的对比算法均使用相同规模的训练数据，并从原始高光谱图像数据中选取大小为9×9×B的三维领域块作为输入，其中B为原高光谱图像数据光谱维数。

GCDN与对比方法的分类结果见表3、表4。从表中可以看出，GCDN的分类精度对于3D-CNN和3D-DenseNet方法有着明显的提升，OA、AA以及Kappa分类精度提高了2.88%～5.2%，并且GCDN有着更小的标准差。表明了分步提取光谱与空间特征的结构，比直接从原始高光谱图像数据邻域块中同时提取空-谱联合特征的网络结构，能够更有效地获取高光谱图像数据的空间与光谱信息，并且所提取到的特征中的光谱与空间信息更为明确；相较于HybridSN和SSRN方法，GCDN的OA、AA以及Kappa分类精度也均有所提升(提高了0.08%～0.59%)，GCDN有着更小的标准差。表明本文GCDN能更好地捕获光谱与空间特征信息，通过密集连接结构使得高分辨率的特征能够进行重用，有效避免了在特征提取过程中高分辨率空谱信息丢失，并能够更充分利用高分辨率的细节特征信息，进而提高网络的分类性能，获得更准确的分类精度。

表5给出GCDN以及对比方法10次实验的平均训练和测试时间。可以看出，GCDN的训练测试速度不及3D-CNN与HybridSN，这是因为3D-CNN与HybridSN的网络规模较小。并且相较于SSRN和3D-DenseNet，GCDN的训练测试速度较快。结合表3与表4的分类精度结果可知，本文所提出的GCDN在分类性能以及时效性两方面都有着良好的表现。

表3 使用不同方法在Indian Pines数据上的分类结果

表4 使用不同方法在Kennedy Space Center数据上的分类结果

表5 两种数据下不同方法的训练和测试时间

图6、图7给出了GCDN与对比方法在Indian Pines和Kennedy Space Center数据集上的高光谱图像分类效果图。从中可以看出，GCDN所产生的分类效果图中噪声点更少，即是代表着GCDN方法所获得的分类效果图中错分类样本点更少。如图6(g)相比图6(f)，把Oats错分为Grass-Trees的像素点更少；图6(g)相比图6(e)，把Soybean-mintill错分为Grass-Trees的像素点更少。从结果能够看出，GCDN能更有效地捕捉光谱与空间特征信息，减少了特征提取过程中数据细节信息的损失，有效改善了网络模型的分类性能。

图7 Kennedy Space Center数据集分类效果

4 结束语

本文提出了一种基于空谱分组卷积密集网络的高光谱图像分类方法。该方法以空间-光谱信息为基础，探究空间与光谱特征提取方法。首先，该方法所提出的光谱-空间三维分组卷积密集模块从数据邻域块中分步提取光谱与空间特征，通过对高分辨率的特征进行特征重用，有效地避免了高分辨率特征信息的丢失，同时通过分组卷积有效地减少了高光谱图像数据固有的信息冗余。并且，为了对所获得的光谱特征进行增强，设计了光谱残差注意力模块，该模块通过结合空间与光谱信息计算注意力权重，有效地对光谱特征进行增强并丰富了光谱特征的数据信息。实验结果表明，所提出的高光谱图像分类方法可以有效提高网络模型分类性能，获得更为准确的分类精度。但GCDN是基于三维卷积所构造的网络模型，由获得的分类效果图可以看出，不同类别之间的分界线表现较为平滑，未能更好地捕捉高光谱图像的空间边缘信息。并且网络计算参数较大。未来将在高光谱空间图像的边缘特征信息提取进行探索，并在保持分类精度的前提下，进一步改善网络模型结构，提高计算效率。