面向高光谱影像分类的深度流形重构置信网络

黄 鸿，张 臻，李政英

（重庆大学 光电技术与系统教育部重点实验室，重庆 400044）

1 引 言

高光谱遥感影像能够获取地表物体上百个连续波段的光谱信息，并将其与反映地物目标纹理、形态学等特性的空间信息结合起来，具有“图谱合一”特性［1-3］，在精细农业、资源勘查及环境监测方面具有广泛的应用前景［4-5］。但是高光谱影像在具有丰富光谱信息的同时，其波段数多、数据量大、高冗余度等特点易导致“维数灾难”问题［6-7］。

特征提取是解决上述问题的有效途径，即通过减小数据冗余度来提取有效的鉴别信息，进而有效地提升地物分类性能［8-9］。主成分分析（PCA）［10］和线性判别分析（LDA）［11］均为基于统计学原理的特征提取方法，但它们不能有效揭示高光谱数据内在高维非线性结构。为此，学者们提出了局部保持投影（LPP）［12］、邻域保持嵌入（NPE）［13］等非监督流形学习方法，以揭示高维数据中的低维本征结构。而后，学者们在图嵌入框架下提出了许多监督学习方法，包括边界Fish‐er分 析（MFA）［14］和 局 部 几 何 结 构Fisher分 析（LGSFA）［15］。尽管这些方法在HSI分类中取得了较好的分类结果，但它们依赖浅层特征描述子，无法提取数据的深层抽象信息，导致特征表征能力受限。

自2006年Hinton［16］提出深度置信网络以来，深度学习技术飞速发展，为高光谱图像分类带来了新的机遇［17］。深度学习能够有效提取高光谱数据中的深层抽象特征，进而提高分类精度［18］，代表方法有人工神经网络（ANN）［19］、栈式自编码网络（SAE）［20］和深度置信网络（DBN）［16］。

然而上述深度学习方法通常使用均方误差（MSE）或交叉熵（Cross Entropy）作为网络损失函数，二者均侧重于预测值和实际值之间的差值度量，而忽略了利用高光谱数据之间的局部几何结构［15］。针对此问题，最大流形边界判别网络（M3DNet）［21］、局部保持卷积网络（LPCN）［22］和深度局部保持神经网络（DLPNet）［17］在揭示数据流形结构的同时提取了深层特征。然而它们只考虑了相邻点之间的结构关系，忽略了利用高光谱遥感图像中存在的大量同质区域的局部几何结构来提高分类性能。

针对上述问题，本文提出了一种深度流形重构置信网络（DMRBN）以提取高光谱影像的深度鉴别特征。首先通过深度置信网络提取高层抽象特征，为进一步增强抽象特征鉴别能力，在图嵌入框架下通过数据的邻域点和各邻域的同类近邻重构点来构建类内图和类间图，之后将流形重构和差值度量一同引入到联合损失函数的设计中，并使用随机梯度下降法更新网络参数，实现提取高层抽象特征的同时将类间近邻点与其重构点分离、类内近邻点和相应的重构点聚集。在KSC和MUUFL Gulfport高光谱数据集上实验结果表明，该网络可有效提升地物分类精度。

2 相关算法

深度置信网络（Deep Belief Network，DBN）是由多个受限玻尔兹曼机（Restricted Boltzmann Machine，RBM）堆叠生成的概率模型［23］。每个RBM均由可见层（Visible Layer）、隐藏层（Hid‐den Layer）组成。RBM各节点之间的激活概率是相互独立的。因此，第l层中第i个隐藏层的特征yi、第j个可见层输出的特征yj可分别为：

训练过程分为预训练和微调两个阶段。

在预训练阶段，从输入层开始以无监督的对比散度算法（Contrast Divergence Algorithm）逐层学习输入数据。首先，可见层v1接收输入数据，根据式（1）得到隐含层输出特征P(h1|v1)，并将其二值化为h1。之后根据式（2）计算h1经反向传播后得到可见层输出特征P(v2|h1)，同样将其二值化为v2。将v2代入式（1）再次得到隐含层输出特征P(h2|v2)，最后按公式（3）更新权重。

其中，ε表示预训练阶段的学习率。

在微调阶段直接采用预训练得到的参数，在网络最后一层增加神经网络（Neural Network，NN）分类器，利用反向传播算法（Backpropaga‐tion，BP）算法以监督的方式计算误差，并让误差自上而下传输，利用梯度下降算法反向微调网络权重和偏差等参数，使网络更接近于全局最优。深度置信网络训练过程如图1所示。

图1 DBN训练过程Fig.1 Training process of DBN

图1中，灰色、无色节点分别表示当前状态值为1，0。

深度置信网络采用均方误差损失函数计算网络预测值和实际值的差值得到损失值，然后采用随机梯度下降法迭代更新每层权重。然而其未能揭示高光谱数据中内在的流形结构信息，并且忽略了利用高光谱遥感影像中的大量同质区域。

3 本文算法

为了解决上述问题，本文提出了一种新的特征提取方法——深度流形重构置信网络（Deep Manifold Reconstruction Belief Network，DMRBN）。网络总体框图如图2所示。

图2 DMRBN总体框图Fig.2 Overall block diagram of DMRBN

假设高光谱数据为X=[x1，x2，…，xN]∈RD×N，其中D为波段数，N为样本个数，xi对应的类别标签为L(xi)={1，2，…，c}，c为类别数。

DMRBN主要思路是将均方误差和流形重构误差一同引入到联合损失函数的设计中。因此它可以同时将差值度量和局部几何结构的探索考虑在内，并通过一个图模型增强不同类型样本之间的差异。

3.1 深度特征提取

深度特征提取的目的是从原始高光谱数据X中学习得到深层次、鉴别性强的特征，以便于后续分类。

DMRBN经深度置信网络逐层训练，选择均方误差损失函数度量估计量与被估计量之间的差异程度，并通过迭代策略最小化损失值以提取深度特征。

假设网络共有L层，对于第l(1≤l≤L)层的第i个训练标记样本，输出对输入的响应可以表示为：

其中，sig是一个非线性激活函数，Al和bl是第l层的网络参数。均方误差损失函数的具体计算公式为：

3.2 深度流形重构

在通过深度置信网络提取深度抽象特征的基础上，DMRBN构建了一个图模型来增强提取到的深层特征的可分性。

对于每个样本点xi，从其同类的样本点中选取kw个近邻点进行重构，通过重构样本的邻域点，可以更好地保持同类数据的局部结构关系。

重构权重可经由最小化重构误差获得，所以目标函数定义如下：

其中，xj是xi的类内近邻点。sij是xj和xi之 间 的重构 权值，且。xi的重构点可以被表示为xsi，其中si=[si1，si2，si3，…，siN]T。

利用图模型构建类内图Gw={X，Ww}，其中表示相似度权重矩阵，X表示图的顶点，若图中两顶点xj和xi属于同类数据的Kw近邻（Kw近邻表示光谱类内近邻），则在xj和xi之间构建一条连接边，边的权值为的计算公式见式（7），其揭示了xj与xi之间的相似关系。若xj和xi来自不同类数据的近邻点，则xj和xi之间无边。类内图使得同类数据尽可能的聚集。

其中，NKb(xj)表示xi的类间Kb近邻。

DMRBN算法分离从类间近邻和其重构点提取的深层特征，并压缩从类内近邻与其相应的重构点学习到的特征。

其中，在低维空间中不改变类内图的相似关系，使同类数据尽可能聚集在一起。因此目标函数及其代数简化如式（9）所示：

本文方法在低维空间中尽可能分离非同类数据，即尽可能增大非同类数据间的差异，则目标函数及其化简如下：

其中：

DMRBN将流形学习和深度学习相结合，构造了一个基于深度流形重构的联合损失函数，其不仅可以度量预测值和实际值之间的差异，而且可以通过设计一个图模型增强提取的深层特征的可分性。因此联合损失函数J(yL)可以按下式表示：

其中，α为平衡参数。

为了通过迭代过程优化网络性能，DMRBN在式（12）的基础上设计了迭代策略，该策略结合了反向传播方法和随机梯度下降方法，首先通过式（13）计算联合损失函数J(yL)相对于第l层网络参数矩阵的梯度：

迭代策略根据计算得到的导数更新各层的网络参数。假设λ代表学习率，则第l层的参数可以经由下式得到

DMRBN算法步骤如表1所示。

表1 DMRBN算法步骤Tab.1 The Steps of DMRBN algorithm

4 实验结果与分析

4.1 实验数据

为验证本文提出算法的有效性，采用公开的高光谱数据集MUUFL Gulfport和KSC进行测试。

MUUFL Gulfport数据集（简写为MGP）由ITRES CASI-1500传感器于2010年11月在位于密西西比州长滩的南密西西比大学海湾公园校区上空收集［24］，图像大小为325×220 pixel，空间分辨率为1m，包含64个波段，包括诸如树木、道路、水等11类地物类型。对MUUFL Gulfport数据的11种地物分别标记不同的彩色，所得的彩色地物分类标记图如图3所示。

图3 MUUFL Gulfport数据集假彩色图与11种彩色标记所对应的地物Fig.3 The false color map of MUUFL Gulfport data set and the corresponding features of 11 color markers

KSC数据集由AVIRIS传感器于1996年3月23日在肯尼迪航天中心上空获得［25］，图像的大小为512×614 pixel，共包含176个波段。该数据集中共有314 368个空间位置点，标注样本点仅有5 521个，其中包含诸如灌木丛、柳、沼泽、水等13种地物。对KSC数据的13种地物分别标记不同的彩色，所得的彩色地物分类标记图如图4所示。

图4 KSC数据集假彩色图和13种彩色标记所对应的地物Fig.4 The false color map of KSC data set and the corre‐sponding features of 13 color markers

4.2 实验设置

每次实验从高光谱数据集中随机抽取一定数量样本作为训练集，其余样本作为测试集。利用训练样本构建特征提取模型，然后将测试集映射到这个模型中，之后用最近邻分类器（1-NN）进行分类。每个实验重复10次，并采用标准差均值（STD）的形式来表示分类结果，最后引入总体精度（OA）、Kappa系数、平均精度（AA）作为评价指标。

为了证明DMRBN分类性能的优越性，选取了RAW、PCA［10］、LDA［11］、NPE［13］、MFA［14］、LGSFA［15］、DBN［16］、ANN［19］、SAE［20］、M3DNet［21］和DLPNet［17］特 征 提 取 方 法 进 行 比 较，其 中，RAW表示不进行特征提取，直接通过1-NN分类。实验中采用交叉验证方法获取各个算法的最优参数。设置LDA的嵌入维数为c-1，c为类别数。MFA和LGSFA类内和类间近邻分别设置为5，100。NPE的近邻数为5，对于所有深度学习方法，学习率均设置为1，网络层数均为3，迭代次数为20 000。

所有实验都在64位Windows操作系统，i7-7800X中央处理器，32G内存进行仿真。

4.2.1 平衡参数实验

为了研究平衡参数α对网络性能的影响，本文在KSC数据集上进行了实验。图5显示了10次试验OA和Kappa系数的平均值和标准差。

图5 KSC数据集上不同平衡参数α的分类性能对比Fig.5 Classification performance comparison of different balance parameters on KSC dataset

由图5可得知，当α很小乃至接近于0时，网络仅提取了高光谱图像的深度抽象特征，而忽略了内部流形结构的探索，因此精度不高；随着α值的增大，网络在度量实际值和预测值之间差异的同时，揭示了HSI的内在流形结构，学习到了更有价值的信息，因此精度逐渐升高；但当α大到一定程度后，比如接近于0.1时，网络会更侧重于利用样本的流形结构信息，而忽略了度量实际值和预测值之间差异的重要性，因此精度会下降。所以，在随后的实验中将α设定为0.01。

4.2.2 收敛性分析实验

迭代次数需要通过收敛性分析实验得到。当迭代次数太多时，网络训练已经足够充足，性能已经达到瓶颈，继续训练只会耽误时间，甚至会因为过度训练导致过拟合；而当迭代次数太少时，网络不能充分根据迭代策略学习到数据本征特征，网络训练不充足导致分类精度低。

因此，为了研究DMRBN在不同迭代次数下的收敛性，本文在KSC数据集上进行了10次实验。每次实验中，计算损失值的均值和标准差以及DMRBN的分类精度。图6显示了相应的实验结果。

图6 KSC数据集上不同迭代次数的收敛曲线和分类精度Fig.6 Convergence curve and classification accuracy of different iterations on KSC dataset

由图6可知，随着迭代次数的增加，分类精度在前10 000次迭代过程中提升极快，在15 000次后逐渐趋于稳定。损失值在前10 000次下降迅速，在15 000次后逐渐收敛。

4.3 MGP数据集实验

为分析各个算法在数量不同训练样本下的分类性能，从每类地物中随机选取ni（ni=20，40，60，80，100）个样本进行训练，剩余作为测试样本，在不同情况下各算法进行10次随机实验的结果如表2所示。

由表2可知，各个算法的分类精度都随着训练样本数的增加而增加，这是因为训练样本数越多，训练过程中可以利用的鉴别信息更为丰富。RAW表示未经过任何特征提取算法处理后的分类结果，由于高光谱图像的高维特性导致其分类效果很不理想。PCA［10］，LDA［11］以 及NPE［13］等子空间特征提取方法不能有效揭示高光谱数据内在高维非线性结构，因此分类性能受限。DMRBN与MFA［14］，LGSFA［15］等传统流 形学习相比，其在揭示高维数据中的低维本征结构的同时，提取了高层抽象特征；与ANN［19］，SAE［20］以及DBN［16］等传统深度学习方法相比，其不仅提取到了高光谱图像中的深度抽象信息，同时探索了内部流形结构；与M3DNet［21］，DLPNet［17］算 法相比，其充分利用了重构样本的邻域点信息，更有利于提取鉴别特征，从而提高分类精度，因此DMRBN在大多数情况下分类性能均优于其它算法。

表2 不同算法在MGP数据集上的分类结果（总体分类精度±标准差）Tab.2 Classification results with different methods on MGP data set（Overall Accuracy±Std） （%）

为进一步分析各算法对图像中每类地物的分类效果，从MGP数据集中每类随机选取2%的样本进行训练，其余用作测试。表3为各个算法对MGP数据集中每类地物的总体分类精度OA，平均分类精度AA及Kappa系数的实验结果，图7为对应分类结果图。

表3 不同算法在MGP数据集上各类地物的分类结果Tab.3 Classification results of each class samples via different methods on MGP data set（%）

续表3 不同算法在MGP数据集上各类地物的分类结果Tab.3 Classification results of each class samples via different methods on MGP data set （%）

由表3可知，DMRBN在MGP数据集大多数地物类别上都取得了较好的分类效果，尤其是在“Water”，“Buildings”，“Yellow Curb”类别中优势更为明显。在图7的分类图中，其它方法出现严重的“椒盐”现象，而DMRBN错分点较少，更好地保持了同质区域的局部结构关系，分类图更为平滑。

图7 各算法在MGP数据集上分类结果图Fig.7 Classification results of each algorithm on MGP dataset

4.4 KSC数据集实验

采用KSC数据集进一步验证本文算法的有效性，同样从KSC数据集每类地物中随机选取ni个样本进行训练，剩余作为测试样本。不同算法进行10次随机试验的结果如表4所示。

表4 不同算法在KSC数据集上的分类结果（总体分类精度±标准差）Tab.4 Classification results with different methods on KSC data set（Overall Accuracy±Std）（%）

分析表4可知，各算法的分类精度均随训练样本数增多呈上升趋势，因为训练样本越充足，更多的先验知识就可以被利用。因为RAW未经过任何特征提取算法处理，因此其分类效果很不理想。由于PCA［10］，NPE［13］为非监督方法，未充分利用样本的标记信息，导致其分类性能不理想。LDA［11］尽管为监督方法，但不能有效揭示HSI数据中的鉴别流形结构，分类性能仍然有限。所有算法中DMRBN分类精度是最高的，这是因为与传统流形学习方法（MFA［14］，LGS‐FA［15］）相比，其提取了深层次抽象特征；与传统深度学习方法（ANN［19］，SAE［20］，DBN［16］）相比，其揭示了内在流形结构；与M3DNet［21］，DLPNet［17］算法相比，其充分利用了HSI中 同 质区域的局部几何结构信息。

为对比不同算法下每类地物的分类效果，从KSC数据集中每类随机选取2%样本作为训练集，其余样本作为测试集。实验结果如表5所示，图8为各算法相应的分类图。

由表5可知，DMRBN在KSC数 据集上绝 大多数地物类别都取得了较好的分类效果，尤其在“Cattail Marsh”，“Water”等提升较为明显。在图8分类图中，DMRBN分类结果更为平滑，产生了大量同质区域，更利于实际应用。

表5 不同算法在KSC数据集上各类地物的分类结果Tab.5 Classification results of each class samples via different methods on MGP data set （%）

图8 各算法在KSC数据集上分类结果图Fig.8 Classification results of each algorithm on KSC data set

续表5 不同算法在KSC数据集上各类地物的分类结果Tab.5 Classification results of each class samples via different methods on MGP data set （%）

5 结 论

以DBN为代表的传统深度学习方法只提取了高光谱图像中的深层次抽象特征，但未能将图像中内部流形结构考虑在内。因此本文提出了一种深度流形重构置信网络（DMRBN），其将深度学习与流形学习相结合，实现提取深度抽象特征的同时，探索高光谱图像的内部流形结构，并且通过重构样本的邻域点，更好地保持同质区域的局部结构关系。在KSC和MUUFL Gulfport数据集上的实验结果表明，本文算法的总体分类精度分别可达到94.71%和86.38%，较其它算法都有明显提高。在下一步研究工作中，将融合空间信息提取空-谱联合深度特征，进一步提升分类精度。