结合MCLU准则和DE算法的高光谱数据分类方法

2021-12-26王立国池辛格

哈尔滨工程大学学报 2021年11期

王立国，池辛格

(1.大连民族大学信息与通信工程学院，辽宁大连 116600； 2.哈尔滨工程大学信息与通信工程学院，黑龙江哈尔滨 150001)

遥感(remote sensing, RS)技术从20世纪60年代左右开始发展，是一种综合对地观测技术。该技术要求以非接触的方式借助设备获取相关数据并分析得到有效信息。随后诞生的高光谱遥感(hyperspectral remote sensing, HRS)技术融合了目标探测和光谱成像技术，因其能够表征地物的多维特征信息，实现更详细的地物分类而受到青睐，并逐渐成为遥感领域研究的热点问题。如今高光谱遥感的各种技术被广泛研究[1-4]，并被应用到军事、农业、工业等诸多领域，让我们的生活工作更加便利。高光谱遥感可以获取地物数百个连续的谱段信息，提供丰富的光谱信息，但存在着数据量大，波段互相重叠，有标签样本数量少且获取代价高等缺点，对于高光谱图像的分类有较大影响。

传统的高光谱分类方法可分为无监督分类和有监督分类2种，通常情况下，无监督分类方法，如K-均值(k-means)聚类算法、ISODATA等，利用样本间的相似性或差异性进行分类，因为缺少有效的监督信息导致分类精度不高；监督分类方法，如K-邻近算法、支持向量机(support vector machine, SVM)、最大似然算法等，需要获取先验知识，因此需要大量有标记样本，导致成本过高效率降低。因此能够利用有标签和无标签样本的半监督分类方法受到了更多的欢迎并逐渐成为主流方向。目前，常用的半监督分类方法有协同训练(co-training)、生成式模型算法(generative model)、半监督支持向量机、基于图的半监督算法等几种。

对于小样本高维度的训练集，SVM算法是很好的选择，该算法由Vapnik等提出[5]，以VC维准则和结构风险最小化准则作为理论依据来改进分类器的泛化能力，改进后的算法增强了推广性，并在高光谱图像分类中被广泛应用。针对SVM算法在精度、运行速度和鲁棒性等方面的不足，一些学者对其在泛化能力、运算速度和精度方面进行了改进，如Joachims[6]提出的直推式支持向量机(transductive support vector machine, TSVM) ；Javadava等[7]提出的孪生支持向量机(twin SVM，TWSVM)；Kumar等[8]在TWSVM的基础提出的最小二乘孪生支持向量机(least squares twin SVM，LSTSVM)等。

半监督分类在挖掘无标签样本的信息时，需要区分哪些样本有更高的信息量，对于提高分类性能有帮助。主动学习[9]和差分进化算法[10]均为能够胜任这个工作的重要算法。主动学习的概念最早由Simon等提出，如今已经广泛应用于语音识别，图像分类等技术领域。常见的主动学习算法一般有如下4种：第1种是边缘采样策略(margin sampling, MS)，第2种是多层次不确定性采样策略(multi-class-level uncertainty，MCLU)，第3种是基于后验概率估计的主动学习方法；第4种是基于委员会[11]的主动学习方法(query-by-committee，QBC)。差分进化(differential evolution，DE)算法是一种模拟生物进化的算法(evolutionary algorithms，EAs)，由Storn等提出。DE算法因其原理简单、控制参数少、鲁棒性强等优点，已成为进化计算领域的研究热点之一。该算法采用基于种群的全局搜索策略，保留适应环境的优秀个体，达到优化种群的目的，在求解高维非线性的复杂优化问题方面有很好的表现。

经典的半监督算法已经取得了很好的效果，但是与主动学习方法和差分进化算法结合后还有进一步提升的空间，因此本文提出了一种将MCLU准则和改进后的自适应差分进化算法结合，寻找、标记并扩充高价值样本，并应用于半监督分类的算法。实验表明，该算法能够充分利用有限的有标签样本，有效地对高光谱图像的地物进行分类。

1 多层次不确定性采样准则

多层次不确定性采样(MCLU)准则是一种基于SVM算法的几何特点的，处理多分类问题的采样策略。根据SVM理论，距离分类超平面越近的点越有可能成为支持向量，富含的信息量也就越多，这些样本筛选后加入到训练样本集对分类的最终结果有很强的改进能力。MCLU准则以每个点到每个分类超平面的距离为依据，通过计算每个点的置信度来筛选信息量高的点。该算法处理在多分类问题时效果十分显著。

设全部样本的集合为:U={x1,x2…,xu}。MCLU的原理图如图1所示。

图1 MCLU策略原理Fig.1 Schematic diagram of MCLU strategy

在多分类问题中首先使用一对余(one-against-rest)思想将只能进行二分类的SVM构建为多分类算法，得到每个样本点到每个分类超平面的几何距离fn(xu)，然后通过每个点的距离集合衡量该点的置信价值c(x)。c(x)的值使用距离差值[12]策略求得，具体公式为：

c(x)值越小，表明该样本点被划分为r1 max和r2 max所属类别的概率越相近，该样本点的不确定性也就越高。这类点富含更多的信息量，对分类结果帮助更大。

2 差分进化算法及其自适应改进方法

2.1 经典差分进化算法

差分进化是一种基于群体进化的全局搜索优化算法，该算法随机选取2个不同个体矢量作为父代，然后通过差分变异操作，交叉操作和选择操作等步骤得到最优解。DE算法的具体步骤如下：

1) 初始化种群，设置参数。

假设种群规模为NP，问题维数为D，在高光谱分类问题中即为波段数，设置进化代数G，种群经过随机初始化后服从均匀分布。则种群中第G代的第i个个体可以表示为：

xi,G(i=1,2,…,NP)

第G代的第i个种群矢量可以表示为：

Xi,G=[x1,i,Gx2,i,G…xD,i,G]

(1)

式中randi,j(0,1)为(0,1)的均匀随机数。

2) 变异操作。

传统差分进化算法的矢量变异方程为：

(2)

3) 交叉操作。

交叉操作是将目标个体向量Xi,G与变异个体向量Vi,G的信息成分互换得到试验向量Ui,G。Ui,G=[u1,i,Gu2,i,G…uj,i,G]。具体操作可表示为：

(3)

式中：jrand∈[1,2,…,D]表示随机波段；Cr为交叉因子，用于控制个体参数的每个维度对交叉过程的参与程度，可以影响过程中的随机性。

4) 选择操作

差分进化泛使用一对一的“贪婪”选择策略，根据设定的适应函数的大小选择可以进入下一代的个体：

(4)

2.2 差分进化算法的改进

差分进化算法中的种群在不断变化，在算法初期种群多样性强，随着迭代次数增加，种群多样性会降低。传统的差分进化算法的变异因子F和交叉因子Cr为固定值，对算法的性能产生了限制。针对传统算法的缺点，文献[1]提出了一种针对变异因子F的自适应改进方法，使其后期随种群数目的减少而增加，为后续的三重训练引入较强的差异性因素。但是改进后算法后期扰动过大导致局部探索能力不佳，很难得到最优解。因此本文将自适应变化因子定义为：

(5)

式中：F0为常数；λ为经验参数；Gm为最大迭代次数；G为当前迭代次数。可以看出F随G的增大而减小，最初G=1时，变异因子F=2F0，变异因子较大，变异率较高，可以保证初期种群个体的多样性，避免早熟；随着迭代次数G的增加，经验参数λ减小，变异因数减小，可以加强算法的搜索能力，在避免结果陷入局部最优解的同时，保持一定的收敛速度。同时为了进一步增加变异的多样性，将式(1)改进为：

(6)

本文对交叉因子Cr也进行了进行自适应改进，传统的Cr设置，如果取值较小会减小种群多样性导致过早收敛，如果取值较大会导致更新速度过快，破坏适应度好的个体。因此将Cr改进为自适应参数：

(7)

3 本文算法

本文提出了一种使用自适应差分进化算法改进主动学习，然后结合支持向量机进行的高光谱图像分类的算法MCLU_SADE_SVM。首先使用MCLU策略从无标签样本中选取富含信息量的样本点和标签确定的点，用后者对前者进行标记，然后使用自适应差分进化算法进行寻优操作，扩充有标签样本点，将其加入有标签样本，最后使用SVM训练分类器，对无标签样本进行分类。具体实现步骤如下：

1)使用多层次不确定性采样策略从SU中选取一定量富含信息量的样本UMCLU和可以确定标签类别的样本UL。

4) 将SDE加入已标记训练样本集SL，新的训练集记作SLDE；

5) 以新样本集SLDE作为训练样本训练SVM分类器h。

6) 使用分类器h对测试样本进行分类，测评分类精度。

4 实验结果与分析

4.1 实验数据

仿真实验在2个常用的高光谱数据集进行：第1张监督图像AVIRIS data展示了美国印第安纳州农林实验场的一部分，第2张监督图像Pavia data展示了帕维亚大学上空获得的部分地物。2张图像均为144×144像素，前者的光谱值区间约为0.41～2.45 μm，空间分辨率20 m，光谱分辨率10 nm，图像的原始波段为220个，去除低信噪比和不能被水反射的波段后实际参与仿真的波段共200个。后者光谱值区间约在0.43～0.86 μm，空间分辨率1.3 m，原始波段115个，去除噪声波段后实际参与仿真的波段共103个。

图2 实验数据集示意Fig.2 Image of experimental data set

4.2 实验环境

仿真条件：电脑CPU为Intel(R) Core(TM) i7-2630QM，6 G RAM，64位Windows10系统，Matlab版本为Matlab2019b。

4.3 评价准则

混淆矩阵多用于表示高光谱图像分类精度，其形式为：

式中：mij(i=1,2,…,N,j=1,2,…,N)表示第i类样本被错分为第j类的总像元个数，N为总类别数；mii(i=1,2,…,N)为被准确划分的像元数，可知mii越大分类精度越高。通过混淆矩阵可得到3个评价指标：总体分类精度OA(overall accuracy)、平均分类精度AA(average accuracy)和Kappa系数。

设n为样本总数，mi+表示第i行的所有m值求和，根据混淆矩阵可知OA计算方法为：

AA计算方法为：

Kappa系数的计算方法为：

OA、AA和Kappa系数越大，说明分类效果越好。

4.4 实验结果和分析

为了验证本文所提方法的有效性，在上述2个高光谱数据集上进行仿真，共对4种算法进行了对比，包括经典的SVM算法，结合边缘采样策略和传统差分进化的算法MSDE_SVM，结合多层次不确定性采样策略和传统差分进化的算法MCLUDE_SVM算法和本文算法。2个数据集均选取8类地物。标准SVM采用径向基核函数，采用“one-againest-rest”多分类算法，惩罚因子C及核参数σ通过网格搜索法在 [10，103] 和 [10-2，102]中选最优值。自适应差分进化中的参数为：种群初始规模NP=20，F0=0.8，交叉参数Cr的上限取1，下限取0，综合实验精度和实验效率将迭代次数设定为10次，所有实验重复10次取平均值。

表1为4种算法在AVIRIS数据集分类中的性能对比，评价标准为OA、AA、Kappa系数和运行时间。实验取总样本的10%作为训练样本，其余为测试样本，每类训练样本中取10个作为有标签训练样本用于模拟小样本条件。图3显示了4种方法的分类结果。

表1 AVIRIS高光谱图像分类结果

可以看出，本文算法相对于传统SVM算法有明显的性能优势，OA提高了约13.2%，AA提高了约1.25%，Kappa系数提高了约0.036 7。通过对比MSDE_SVM算法和MCLUDE_SVM算法可以看出，MCLU采样策略相对于MS采样策略在多类别问题中表现更为优秀，OA提高了约0.44%，AA提高了约0.38%，Kappa系数提高了约0.005，时间减少了约125 s。通过对比MCLUDE_SVM算法和本文算法可以看出，对DE算法的改进使得算法性能有所提升，OA提高了约1.19%，AA提高了约0.49%，Kappa系数提高了约0.013 8，而运行时间仅增加了约9 s。

表2为上述4种算法在Pavia数据集分类中的性能对比，评价标准和取样方式与表1相同。图4显示了4种方法的分类结果。

表2 Pavia高光谱图像分类结果Table 2 Classification results of hyperspectral image Pavia

可以看出，在该数据集上，本文算法与传统SVM算法相比，效果提升明显，OA提高了约8.44%，AA提高了约8.53%，Kappa系数提高了约0.112 8。与MCLUDE_SVM算法对比，OA提高了约2.54%，AA提高了约0.44%，Kappa系数提高了约0.029 8，证明了对DE自适应改进的有效性。MSDE_SVM算法相比于MCLUDE_SVM算法性能有所提升，OA提高了约0.97%，AA提高了约0.13%，Kappa系数提高了约0.018 7，运行时间减少了约106 s，证明了在该数据集上MCLU采样策略相比MS策略表现更优秀。