基于3D Gabor多视图主动学习的高光谱图像分类

姚 琼，徐 翔，2，邹 昆

1.电子科技大学中山学院 计算机学院，广东 中山 528400

2.中山大学 地理科学与规划学院，广州 510275

1 引言

高光谱遥感图像（Hyperspectral Image，HSI）具有高分辨率的光谱信息，这使得利用高光谱数据对地物进行精细分类识别成为可能，为遥感技术从定性分析到定量分析奠定了技术基础。HSI地物分类是遥感图像处理的核心问题，是后续应用的基础。为了得到一幅准确的HSI地物分类图，监督学习的分类方法需要用户提供大量标记训练样本，分类的结果受标记训练样本的数量和质量的影响。而在实际应用中，大量样本的标记往往难以获得，相反未标记的样本更容易获得。因此，如何利用大量未标记样本中的信息进行分类器的学习，提高分类器的泛化能力，成为当前研究热点。主动学习（Active Learning，AL）作为一种样本查询算法，得到了越来越多的关注[1-3]。主动学习的工作原理是根据预先设计的查询策略从未标记样本集中挑选信息含量最大的候选样本，进行人工标记，再通过标记样本训练分类器。主动学习的关键是样本查询策略的设计，从而用尽可能少的最具价值的标记样本来训练出泛化能力更强的分类器。

在遥感图像处理领域，主动学习已经应用于HSI地物分类[1]。Tuia等对基于SVM分类器的多视图边缘采样策略（Margin Sampling，MS）进行改进，提出了一种基于最近支持向量的MS策略（MS-cSV），使得每次只为每个支持向量选取最近的候选样本，增加了样本之间的多样性。此外，Tuia等还从委员会查询策略（Query by Committee）的基础上，扩展了一种基于熵的委员会查询策略（Entropy-based QB，EQB），之后又扩展出正则化的EQB（Normalization-based EQB，nEQB）。EQB的查询策略基于多分类器预测结果，这些分类器利用Bagging算法生成，Bagging算法是利用数据集的小的变动来使得分类结果显著变动的分类方法，本质上还是单一特征空间的表达，存在一定的局限性。而高光谱遥感图像具有“图谱合一”的特点，各种不同的特征空间反映了不同方面的特性，形成了不同的视图。因此，研究者提出了多视图学习的概念[4-5]，并将多视图结合到各种机器学习框架下，形成了诸如多视图半监督学习、多视图主动学习、多视图装配学习以及多视图迁移学习等算法框架。

基于多视图的主动学习（Multi-View Active Learning，MVAL）通过多视图之间相互学习训练多个分类器，通过分类器的预测，选择一致性最低、信息含量最大的候选样本。由于多视图能提供具有多样性和互补性的信息，基于多视图的主动学习可以取得比单视图更好的分类结果。

Muslea在文献[6]中将多视图引入到主动学习框架中，提出了经典的“Co-Testing”算法。该算法从互补的视图中互相学习，检测、标记具有最大信息量的候选样本，提高分类器的学习能力。文献[4]进一步讨论了如何在HSI地物分类问题中建立多视图，提出了利用光谱相关矩阵将全波段分组来生成多视图。这种方法的缺点是没有考虑不同的波段对不同类别地物的区分能力，如高光谱各个波段中，远红外和近红外波段的电磁辐射波段对于植被的判别能力较弱。文献[5]基于三维冗余离散小波变换（3D Redundant Discrete Wavelet Transform，3D-RDWT），联合空间域和光谱域信息，在不同尺度使用空间低频子波段的小波变换系数构建多视图，取得了较高的分类精度。

文献[4]只是采用了原始影像光谱特征，未做任何特征变换。文献[5]提取了多分辨率下的小波低频特征，具有一定的空间特征表征能力。但是，一般小波是从一维信号扩展来的，方向的表达能力较弱。基于此，本文提出了一种新的基于三维Gabor特征的多视图主动学习算法。主要工作如下：（1）提出了一种基于三维Gabor变换[7-8]的多视图生成策略，通过三维Gabor滤波器，联合空谱特征，得到多个尺度和方向的特征，并从中挑选地物类别判别能力强的特征来构建多视图。（2）提出了一种新的基于多视图后验概率差异最小的（Minimum Posteriori Probability Difference，MPPD）主动学习查询策略，利用全概率公式计算多视图下每个候选样本的后验概率，选择后验概率差异最小的样本作为信息量最大的候选样本，经人工标记后加入训练集，对分类器重新训练。实验结果表明，本文提出的多视图设计方法和查询策略可以充分利用视图之间的多样性和互补性，在每次迭代学习时选择信息含量最大的候选样本，取得更好的分类精度。

2 基于三维Gabor的多视图生成策略

二维Gabor滤波作为一种空间滤波技术，与人的视觉系统接近，能得到最优空间和频率的联合。通过获取图像中特定尺度和方向的物理结构，二维Gabor滤波已经广泛应用于人脸识别[9]、指纹识别[10]、步态识别[11]、语音识别[12]等领域，并在遥感领域也有应用[13]。然而HSI最大特点是将成像技术与光谱探测技术结合，在对目标的空间特征成像的同时，对每个空间像元经过色散形成几十个乃至几百个窄波段以进行连续的光谱覆盖。因此HSI数据可以看作一个三维数据块。为了保持HSI图像中先天的物理属性，同时能够提取联合空谱信息的多尺度、多方向特征，本文拟采用三维Gabor滤波技术。

2.1 三维Gabor滤波

三维Gabor滤波早期被用于医学图像分析[14]，后被引入遥感图像处理。本文使用了Bau等设计的三维Gabor滤波器[8]，其数学模型定义为：

其中，a(x,y,λ)为高斯成分；c(x,y,λ)为正弦成分，分别定义为：

其中，x、y代表空间变量；λ代表光谱波长；标准方差σ定义高斯函数的形状和滤波尺度。代表径向中心频率，(Fx,Fy,Fλ)代表各正弦分量频率，可表示为：

图1 用θ和φ表示三维Gabor滤波器方向

表1 26个三维Gabor滤波器的参数设置

2.2 多视图生成策略

为了构建具有多样性和互补性的多个视图，将26个三维Gabor滤波核与HSI原始影像做卷积滤波，得到26个特征视图。这26个特征视图对地物区分能力的强弱差别较大，并且从计算效率的角度，不适合全部用来作为视图。因此，分别对这26个特征视图进行单视图主动学习，计算每个视图对应每类地物的分类精度。如图2所示，横坐标表示26个三维Gabor特征视图，纵坐标表示总体分类精度（Overall Average，OA），不同颜色、线型的曲线代表不同地物类别。可见，在两个数据集上，第4、9、13、17、22、26个Gabor特征上能取得局部极大值，说明这6个三维Gabor特征视图对地物类别的区分能力较强。对照表1，这6个三维Gabor特征分别对应两个尺度，(θ,φ)各取(-π/4,π/2),(π/4,π/2),(π/2,π/2)。因此，最终选择这6个Gabor滤波卷积后的特征视图作为多视图。

3 多视图查询策略的设计

3.1 传统的AMD查询策略

MVAL查询策略的好坏直接影响到AL迭代的收敛速度。传统的查询策略往往基于多个视图预测结果的不一致性来对候选样本进行评价，例如文献[4-5]中都采用了一种基于类别标签不一致的多视图查询策略，称为自适应最大不一致策略（Adaptive Maximum Disagreement，AMD），其定义如式（5）：

其中，x代表候选样本；Li代表视图Vi学习到的分类器。该公式表明，当两个视图的预测类别不一致时，l取1，否则，取0。经过两两视图之间的循环累加，得到候选样本最终的不一致性评价指标，用d(x,L1,L2,…,Ln)表示。而AMD策略将选取具有最大d(x,L1,L2,…,Ln)的候选样本加入训练集，进行下一轮迭代。

然而，这种查询策略仍然存在一定的局限性。首先，在早期的迭代中，由于学习器的泛化能力有限，对每个样本的预测结果可靠性较低，无法单纯地从预测结果的不一致就判断出是否为信息量大的样本。其次，随着迭代深入，学习器的性能越来越强，多个学习器逐渐收敛为一致，使得它们之间的预测差异越来越小，进一步影响了样本的精确查询。

3.2 本文的查询策略

通过对AMD等查询策略的分析，发现这类查询策略仅仅考虑了视图之间的预测不一致，而没有充分利用每个视图内在的判别能力。为了解决这个问题，本文提出了一种新的样本查询策略，不是单纯地通过多视图预测结果的不一致性进行查询，而是首先根据每个视图的多元逻辑回归分类器预测样本的类别条件概率P(x∈，然后根据全概率公式计算多视图下每个样本的后验概率P(x∈Ck)，最后挑选出后验概率差异最小的样本xMPPD。

当特征空间划分为n个视图，视图Vi预测样本x属于第k类的概率(k=1,2,…,K)可以根据多元逻辑回归（Multinomial Logistic Regression，MLR）[15]计算，其公式如下：

图2 26个Gabor特征视图对地物区分能力的比较

当每个视图Vi通过MLR预测样本x属于第k类的条件概率后，利用全概率公式计算样本x属于第k类的概率，如下所示：

最后，根据式（9）选择前两类最大后验概率之间差最小的样本。

其中，Cm1和Cm2分别代表最大和第二大的类别概率，两个最大概率差值越小，表示样本的信息含量越大，用该样本训练分类器可以获取更有价值的信息。P(Vi)代表了每个视图的先验概率，可以作为每个视图的强弱判别。通过选取不同形式的先验概率，达到对不同特征视图的加权，本文默认P(Vi)=1/n，n为总视图数。

4 基于三维Gabor的MVAL算法框架

基于三维Gabor的MVAL算法的基本思想是：首先，使用多尺度、多方向的三维Gabor滤波器对原始影像进行卷积滤波，从中挑选具有最强地物判别能力的特征视图来构建多视图；然后，借助本文的查询策略MPPD，在每次迭代学习中挑选最具信息含量的候选样本，进行人工标注后加入训练集，重新训练分类器，从而提高分类器的学习能力。其基本流程如下：

（1）用26组不同参数的三维Gabor滤波器对原始影像进行卷积滤波，得到26个滤波后的特征视图。选择其中n个地物区分能力强的特征视图，记为V1,V2,…,Vn。

（2）使用训练集DL在V1,V2,…,Vn上进行分类器的学习，得到对应的n个分类器L1,L2,…,Ln。

（3）利用查询策略MPPD，从候选集DC中挑选信息含量最大的候选样本xMPPD，进行人工标记。

（4）将xMPPD从候选集DC中移走。

（5）将xMPPD加入训练集DL。

（6）判断是否满足结束条件，满足则退出，否则转步骤3。

（7）组合分类器Li(i=1,2,…,n)的预测，输出最后的分类结果。

5 实验与结果

5.1 数据描述

实验数据选取了两幅常用于检验图像分类方法性能的高光谱图像。第一个数据集Pavia基于ROSIS传感器，采集自1995年意大利帕维亚大学的高光谱图像，该幅图像代表了典型的城市场景，包含了各种主要的城市地物类型以及土壤和植被等。图像大小为610×340像元，单个像元的空间分辨率达到1.3 m，包含103个光谱波段（波段范围从0.43～0.86 μm），总共标定了9个类，42 776个标记样本。第二个数据集Indiana基于AVIRIS传感器，采集自美国印第安纳州西北部的一块印度松树林地。与城市场景不同，该幅图像代表了典型的农林场景，由于获取于生长季的早期，使得数据包含了大量具有相似光谱信息的地物类别，这为地物的准确分类识别提出了挑战。图像大小为145×145像元，单个像元的空间分辨率达到20 m，包含220个光谱波段（波段范围0.4～2.5 μm）。移除噪声和水吸收波段后，最终保留了200个波段，总共标定了16个类，10 249个标记样本。两幅图像的假色图及相应的地物参考分布如图3、图4所示。

实验将标记样本集划分为初始训练集、候选集和测试集。其中，初始训练集随机选取30个标记样本，不能保证每一类均有相应的样本数据，候选集有4 000个样本点，测试集为所有标记样本点。学习迭代次数为100次，每次迭代从候选集中根据查询策略挑选一个样本，即总共使用了130个训练样本，占Pavia数据集的0.3%，占Indiana数据集的1.27%，这是非常小的训练集。每个实验重复10次，分类精度的评价标准为总体精度（OA），计算结果为10次实验的平均结果。实验选择多元逻辑回归分类器[15]。

图3 Pavia数据的原始影像及地物分布

5.2 实验设计与结果讨论

实验1分析视图强弱和个数对分类结果的影响。首先讨论视图强弱对MVAL分类结果的影响。根据图2，选择第4、9、13、17、22、26个三维Gabor特征视图，建立包含6个视图的MVAL，查询策略采用AMD。实验结果如图5所示。可见，第26个Gabor特征视图View6的学习曲线不收敛。去掉View6后，建立包含5个视图的MVAL，实验结果如图6所示。可以看出，去掉学习曲线不收敛的View6后，经过100次迭代，Pavia数据集的分类精度从92.59%提高到94.06%，Indiana数据集的分类精度从89.05%提高到91.30%。表明了在建立多视图时，除了要保证视图之间的多样性外，还要保证每个视图自身学习能力的收敛。然后比较视图个数对MVAL分类结果的影响。从图6可以看出，第4、9、13、17、22个三维Gabor特征视图的学习曲线都是收敛的。每次实验去掉上次实验中收敛速度最慢的特征视图，得到的分类结果如表2所示。可以看出，在每个特征视图的学习曲线收敛的条件下，随着视图个数的减少，分类精度有所降低。表明过少的视图对于样本的不一致预测结果表现得不够。然而，也可以看到，并非视图的个数越多，分类精度越高，还需要保证这些视图之间具有多样性和充分性，才能得到样本的可靠预测。

图4 Indiana数据的原始影像及地物分布

图5 包含6个视图的MVAL迭代学习曲线

图6 包含5个视图的MVAL迭代学习曲线

表2 视图个数对分类精度OA的影响

图7 结合MPPD和AMD的MVAL迭代学习曲线

实验2比较本文提出的MPPD查询策略和AMD查询策略。分别在5个视图和6个视图的条件下，结合MPPD和AMD进行实验。迭代学习曲线如图7所示，对应的地物分类结果如图8、图9所示。实验结果表明，在相同的多视图条件下，本文提出的MPPD优于AMD。这是因为AMD仅仅考虑了视图之间预测结果的不一致性，而忽略了每个视图对样本的预测能力，从而容易导致一定的查询偏差。而MPPD联合考虑了每个视图对样本的预测结果，能更加准确地表征样本的不确定性。然而，在迭代早期，MPPD的优势不明显，表明在早期迭代时，由于样本较少，分类器的预测能力较弱（尤其是6个视图的情况，存在不收敛的低效的分类器），难以发挥MPPD的作用。而随着迭代增加，分类器自身的判别能力增强，使得样本的预测变得更准确。

图8 Pavia地物分类结果图

图9 Indiana地物分类结果图

实验3为了进一步分析算法对每类地物的分类效果，选取了4、9、13、17、22个三维Gabor特征视图，结合本文的MPPD查询策略，计算每类地物的迭代分类精度和混淆矩阵。实验结果如图10、图11，以及表3、表4所示。结果表明，由于采用了随机选取初始训练样本的方式，使得在初始迭代时，存在部分地物类别的分类精度接近0，即缺少了对应地物类别的训练样本。然而，随着主动学习的迭代过程，通过不断加入新的标记样本，最终能保证包含每类地物的训练样本。

6 结束语

图10 Pavia每类地物的迭代分类精度

图11 Indiana每类地物的迭代分类精度

表3 Pavia混淆矩阵（MPPD+5V）

表4 Indiana混淆矩阵（MPPD+5V）

针对高光谱遥感图像分类中存在的光谱维数高和标记样本少的问题，提出一种基于三维Gabor特征的多视图主动学习方法。首先利用三维Gabor滤波器组提取不同尺度和方向的空谱联合特征，然后挑选地物判别能力强的特征子集构建多视图。在此基础上，提出一种基于后验概率差异最小的样本查询选择策略MPPD。两个典型高光谱数据集上的实验结果表明，通过MPPD策略挑选不超过130个训练样本，可以达到较高的分类精度，有效解决了标记样本少的问题，证明了本文提出的多视图主动学习方法的有效性。值得注意的是，为了有效结合MPPD查询策略，除了需要视图之间具有一定的多样性，还需要单个视图具有较强的地物判别能力，才能保证好的分类效果。此外，在使用三维Gabor滤波器时，本文采用了经验方法选择尺度和方向参数，考虑到不同遥感图像具有不同的空间和光谱分辨率，如何自适应地选择最优参数集，需要进一步研究。同时，高光谱图像中包含各种光谱指数特征，如何开展联合光谱指数特征的空谱特征提取，有待进一步研究。