基于改进的三维卷积神经网络的高光谱遥感影像分类技术研究

赵 扬，杨清洁

(中国科学技术大学 信息科学技术学院，安徽 合肥 230026)

0 引言

随着成像技术的不断发展以及软硬件水平的日益提升，成像光谱仪得以提取越来越多的光谱波段数据[1]，光谱范围也逐步从可见光过渡到红外光，高光谱遥感应运而生。因为高光谱遥感拥有多个光谱通道以及相邻光谱通道间具有连续性，所以高光谱遥感影像数据包含了多样的光谱信息和空间信息。分类技术作为高光谱遥感影像处理最重要的内容之一[2]，已经广泛应用于农业、矿物学、地球观测、物理学[3-4]等诸多领域。

目前高光谱影像分类主要存在如下问题：(1)由于高光谱成像正不断地从宽波段成像向窄波段成像过渡，这使得高光谱影像数据包含了众多关联性较强的成像波段，导致大量冗余信息的产生；(2)当下通信设备的储存能力难以满足在传输高光谱数据的过程中保持着较高空间分辨率的需求，所以高光谱影像数据的空间分辨率往往在数十米左右；(3)高光谱影像分类过程中会出现Hughes现象[5]。Hughes现象指的是在高光谱影像分类过程中，分类精度并不与选取的波段数目成正比，而是在达到一个临界值后，继续增加波段数目反而会导致分类准确率下降。传统的高光谱影像分类方法按照有无采用先验知识分为无监督分类方法和监督分类方法。常用的无监督分类方法包含K近邻法[6]、ISDOATA[7]等，以上方法受相似度的预估值影响较大，即对噪声等外界因素十分敏感。监督方法有最小距离分类[8]、最大似然分类以及基于支持向量机(Support Vector Machine，SVM)[9]方法等，这些方法使用带有标签的训练样本中的先验知识训练分类器，取到分类器的参数后，再用它对未知类别的数据进行分类。传统的监督分类方法相较于无监督分类方法在高光谱遥感影像的最终分类结果上取得了很大提高。

近年来对深度学习(Deep Learning，DL)方法的研究热度持续上升[10-12]，深度学习已经发展为机器学习研究中一个全新的领域。深度学习在处理分类问题时，不是依赖于某种先前假定的准则，而是在不同的学习框架下建立不同的的学习模型。例如，卷积神经网络(Convolutional Neural Network,CNN)[13-15]就是在深度监督学习下的机器学习模型。卷积神经网络的基本结构包括特征提取层和特征映射层，在特征提取层隐式地从训练数据中进行学习，舍弃了显式的特征提取。由于网络无需繁琐的图像预处理过程，原始数据可以直接输入到模型中训练，因而得以广泛的运用。此外，网络结构对一般几何变换(如平移和缩放等)高度不变。2016年，Zhao Wenzhi[16]等将多尺度二维CNN(2D-CNN)模型应用到高光谱遥感影像分类研究中，实现了在分类过程中同时利用多段光谱特征，但面临着对于不同地物类别需要选择不同特征提取尺度的问题。Mei Shaohui[17]等人发现，2D-CNN网络训练过程中涌现的大量参数易使模型过度拟合，大大限制了模型的泛化能力。

本文提出一个改进的三维卷积神经网络，将三维核函数用于高光谱影像分类，从而充分利用了三维高光谱影像数据的结构特征。该三维卷积神经网络将学习到的高光谱影像相邻光谱波段和领域空间的局部信号变化作为判断其所属类别的重点信息。本文提出的网络输入为原始的光谱数据立方体，分类器模型采用端到端的方式，无需采用任何预处理和后续优化处理便可实现高光谱影像的像素级分类。因为池化操作会使得特征图分辨率被进一步降低，即传统神经网络中的池化层会减少高光谱图像的空间分辨率，因此在该模型中并不采用池化层。相同分辨率下，本文的三维卷积神经网络包含更少的参数，更适用于缺乏高质量训练图像的高光谱影像分类问题。完整算法的分类流程如图1所示。

图1 实验方法流程图

1 实验方法

1.1 三维卷积

二维卷积神经网络(2D-CNN)已经在诸如图像分类[18]、目标检测[19]和深度评估图像[20]等计算机视觉和图像领域取得了很好的研究成果。2D-CNN的显著优点之一是它提供了一种完整的从原始输入图像提取特征的渠道。然而，直接将2D-CNN应用于高光谱图像，需要对网络中每个二维输入进行卷积，每一个光谱波段都有一组待学习的核。沿着高光谱影像的光谱波段(网络输入)的数百个通道需要大量的卷积核(需要学习的参数)，这可能在增加计算成本的同时也容易造成过度拟合。

在三维卷积被提出前，通常采用数据降维的预处理方法减少光谱维数来解决上述问题。例如，在文献[21]中，首先通过主成分分析(PCA)从高光谱图像中提取出前若干个主成分(PC)，然后使用窗口大小为42×42 的二维卷积网络提取深度特征，从而预测每个像素的标签。采用降维方法减少计算成本的明显缺点是它们没有很好地保留高光谱影像的光谱信息。

(1)

(2)

图2 二维卷积和三维卷积

总之，对高光谱遥感影像分类来说，三维卷积操作同时在空间和光谱维上对原始数据进行卷积，与传统的二维卷积相比避免了大量光谱信息的丢失。这对于包含大量波段信息的高光谱影像而言尤为重要。

1.2 三维卷积神经网络的构建

1.2.1 空间-光谱数据的构建

为了减弱因高光谱遥感影像不同波段数据范围差异性较大对最终分类结果造成的干扰，需要对原始的影像数据进行归一化处理，随后再将其输入到网络中。

(3)

归一化后以所选像元为中心提取S×S×B的三维数据及其对应的类别l作为本次研究的训练样本。S×S为领域大小又叫做空间感受野，B为选取的波段数。样本块的维度与原始数据维度相同，例如在Indiana Pines数据集中可以选取尺寸为27×27×200的图像块。

1.2.2 三维卷积神经网络分类架构

(1)三维卷积神经网络特征提取

如图3，整个网络由两层卷积层和两层全连接层构成。首先，将第一步获得的S×S×B原始数据立方体作为模型输入。第一个3D卷积层包含2个三维卷积核函数，其大小为K1×K2×K3，用来处理(M-K11+1)(M-K12+1)(B-K13+1)大小的三维数据立方体。每个三维核函数生成一个三维数据立方体，将两个尺寸为(M-K11+1)(M-K12+1)(B-K13+1)的数据立方体作为输入。第二个卷积层包含4个核函数，处理8个(S-K11-K21+2)(S-K12-K22+2)(S-K13-K23)大小的三维数据立方体。经过第一次卷积后得到4个三维卷积核的空间立方体数据。得到的8个三维数据块被拉伸

图3 3D-CNN的高光谱图像分类架构

成一个一维的特征向量作为后面全连接层的输入。最后通过两个全连接层F1与F2进行特征空间变换，将三维空间特征向量转换为1×200维向量。

(2)基于Softmax逻辑回归分类器

使用Softmax loss来训练深层分类器。与二维卷积模型的情况一样，其利用反向传播的随机梯度下降最小化网络的损失。核函数用下列公式更新：

(4)

ωi+1=ωi+εmi+1

(5)

其中，i为迭代次数，m为动量，ε为学习率。分类结束后，将得到每个像元所属的地物类别及对应概率。

2 实验结果及分析

2.1 University of Pavia数据集仿真实验

Pavia数据由ROSIS传感器获得。该数据于2003年在意大利帕维亚地区拍摄，原始数据拥有103个光谱通道，光谱覆盖范围为430～860 nm，空间大小为610×340个像素点，空间分辨率达到了1.3 m。该场景中包含了树林、草地、柏油马路等9个地物类别，表1给出了9类地物的详细信息。

表1 University of Pavia数据集样本

在Pavia University数据集上，提取了5×5×103的数据立方体来计算原始空-谱信息，将它们作为3D-CNN的输入。在这个数据集上，提出的3D-CNN模型包括两个三维卷积层C1、C2，一个全连接层F1，一个分类层。C1包含两个3×3×7的核，C2包含4个3×3×3的核。为了证明本文算法的有效性，将本文算法与LDM-FL、Auto-encoder-SVM、PCA-MOR-SVM、2D-CNN分类算法进行对比。图4为分类结果，表2为每一类地物分类的精度。

图4 University of Pavia数据集仿真结果图

序号LDM-FLAuto-encoder-SVMPCA-MOR-SVM2D-CNN3D-CNN10.8350.8190.8930.8490.89020.8750.8280.8070.8550.89630.8480.6790.8280.8570.82140.8560.7230.8730.8800.93750.8280.7910.7930.8930.85360.8520.8150.8670.8130.89670.8250.8150.8000.8490.93180.8420.7320.7730.8730.91590.7730.7960.7900.8650.926

2.2 Indiana Pines数据集仿真实验

Indiana Pines数据集是经AVIRIS光谱仪于6月在位于北印第安纳州的Indiana Pines地区拍摄的。该场景包含了森林、草甸和若干种类的灌木，还包含了两条柏油路和铁轨以及些许零星分布的人工建筑群等共计16类地物。

Indiana Pines数据集的类别数量以及训练和测试样本数量如表3所示。为验证本文算法的有效性，将本文算法与以下分类算法进行对比：LDM-FL、Auto-encoder-SVM、PCA-MOR-SVM、2D-CNN，图5为分类的结果，表4为每一类地物分类的精度。

2.3 实验结果分析

在国际公开数据集University of Pavia和Indiana Pines上进行了算法验证，根据分类精度评价，可以看出本文算法的有效性。本文方法借助整体高光谱图像立方体数据集，而完全不依赖任何预处理或后期优化处理，有效地提取了光谱和空间特征。因为需要的参数比其他基于深度学习的方法更少，所以该模型更容易训练。此外，由于池化操作会进一步减少特征映射的分辨率，因此去除池化层使得该模型可以进一步提高高光谱影像的分类精确率。

表3 Indiana Pines数据集样本

图5 Indiana Pines数据集仿真结果图

序号LDM-FLAuto-encoder-SVMPCA-MOR-SVM2D-CNN3D-CNN10.7700.8230.8000.8230.76420.7900.8020.8780.8810.93530.7960.7570.8450.7850.88440.8360.6890.8970.8950.87150.7640.8330.9100.9300.97560.7800.8450.8560.9200.97670.7780.7120.6960.8510.87081.0000.9670.8781.0001.00090.9000.6450.2610.9250.940100.8760.8080.9120.9140.885110.7800.8340.9420.8280.875120.8120.7870.8250.8710.931130.7930.7760.9120.8350.896140.8190.8750.9780.9100.953150.8690.6120.7810.8840.948160.8490.8020.6230.8080.867

3 结论

本文为了改进高光谱影像分类，本着最大化高光谱影像空间和谱间信息利用率的思想，提出了一种改进的三维卷积神经网络分类框架。结果表明去除池化层后的3D-CNN可以很好地适应高光谱遥感影像的三维结构。基于两种高光谱数据集将本文方法与多种基于深度学习的高光谱图像分类方法进行了比较，实验结果表明，基于改进的3D-CNN的高光谱图像分类方法在多个数据集上达到了最佳的综合精度。它具有捕获局部三维模式的潜力，有助于提高分类性能。

未来将研究更有效的可以利用无标记样本的基于3D-CNN的分类技术。在高光谱影像数据集中，未标记样本比标记样本获取方式更简单。使用3D-CNN的监督分类方法不能完整使用大量未标注样本。为了更好地解决这一问题，一种基于3D-CNN的整合无监督和半监督的分类方法可能更加合适。