基于异质多视图主动学习的高光谱地物分类

姚　琼　徐　翔,2　邹　昆

1(电子科技大学中山学院计算机学院　广东 中山 528400) 2(中山大学地理科学与规划学院　广东 广州 510275)

0　引　言

高光谱遥感图像HSI能够获取上百个窄波段的电磁波谱信号，具有高分辨率的光谱信息，从而大大提升了遥感在地物分类和检测方面的能力。基于HSI的地物分类旨在为每个图像像元分配一个唯一的地物类别标签。然而由于HSI标记样本少，样本获取代价大，从而为地物分类提出了巨大的挑战。由于不同的样本所包含的信息含量不同，利用信息含量高的样本进行分类器的学习，能够有效地提高分类器的泛化能力。因此，在HSI地物分类中，如何查询到这些训练样本，以尽可能少的样本学习出泛化能力更高的分类器，是当前高光谱分类领域的研究热点。

主动学习AL(Active Learning)是一种典型的基于样本查询选择的机器学习方法，已在自然语言处理[1]、文本分类等机器学习领域得到了广泛的研究和应用[2]。AL的核心目标是通过少量精心挑选的样本进行学习得到的分类器，来达到通过大量随机样本学习得到的分类器同样好的分类效果，而相应的计算代价却小很多。AL的这种能力非常适合解决遥感图像标记样本少，样本获取代价大的困难，因此在遥感领域也得到了广泛的关注[3,21]。例如，各种以AL为框架的算法已被成功用于遥感图像的分类，并展示出非常好的分类效果[4-5]。同时，通过将遥感图像中的空谱特征进行联合，进一步提高了AL的性能，能够挑选出具有空间多样性的样本[6-8]。AL的成功主要依赖于所采用的查询策略，目前查询策略主要是基于样本的不确定性采样，例如基于委员会的查询QBC(Query-by-Committee)、边缘采样MS(Margin Sampling)、基于最大后验概率的采样(Posterior Probability-based Sampling)等[3]，以及在这些基本查询策略上提出的各种扩展形式。此外，也有文献将聚类的思想引入到样本查询策略中[9-10]，通过聚类方法来挑选出相关性更低的不确定性样本，从而能同时保证样本的不确定性和多样性。

然而，上述这些AL算法都是基于单一数据集进行分类器的学习，称为基于单视图的主动学习(Single-View Active Learning)，而与之相对的，是基于多视图的主动学习MVAL(Multi-View Active Learning)。当前，MVAL已在机器学习领域受到广泛关注和研究[11-12]。Muslea在文献[13]中首次将多视图的概念引入到AL中，提出了著名的“Co-Testing”算法。该算法采用两个具有互补关系的视图进行交互学习，利用不确定性查询策略来挑选信息含量最大的候选样本，从而提高学习器的泛化能力。然而MVAL在HSI地物分类中的研究非常有限[14-16]。文献[15]针对HSI中光谱域特征的冗余性进行了研究，提出了多种基于光谱域分割的视图生成方式。文献[16]在文献[15]的基础上，将光谱特征与空间纹理特征进行了结合，提出了一种基于三维冗余离散小波变换的多视图生成策略。文献[15-16]都是基于单一同质属性特征建立的多视图。然而，HSI具有图谱合一的特点，包含了大量的异质属性特征，例如光谱特征[15]、空间结构[16]、形态学属性[18,20]，纹理特征[19,22-23]等。因此，利用各种特征提取方法，构建基于异质互补属性特征的多视图，比用基于单一视图或基于同质属性建立的多视图进行学习更加具有优越性。

针对上述问题，本文首先针对MVAL模式下的样本查询，提出了一种新的查询策略；其次探讨了基于异质属性特征进行多视图构建的可行性，提出了一种基于光谱、形态结构属性、纹理等异质多特征的多视图构建方法。实验选择了Pavia University和Indiana Pines两个数据集进行算法检验。结果表明，本文提出的算法能够加快学习器的收敛速度，准确地找到信息含量最大的未标记样本。

1　MVAL算法框架

给定一个高光谱图像数据集X，其中包含有标记样本集DL={(x1,l1),(x2,l2)…,(xm,lm)}和未标记样本集DU={xm+1,xm+2,…,xm+u}，li代表样本xi的类别标签。在多视图框架下，假设需要建立n个视图Vi(i=1,2,…,n)。对于任意像元x∈X，可以表示为x=(x(V1),x(V2),…,x(Vn))，其中x(Vi)表示像元x在视图Vi中的特征表达。

MVAL的基本思想是根据多个视图对未标记样本生成多个预测结果。通过某种样本查询策略，挑选出信息含量最大的未标记样本，然后交由人工专家进行标记(如图1所示)。

图1　本文MVAL算法框架

其具体步骤描述如下：

1) 根据不同的异质特征，使用相应的特征提取方法，生成n个视图，记为V1,V2,…,Vn。

2) 用训练样本集DL在每个视图上分别训练出n个分类器，记为L1,L2,…,Ln。

3) 用这n个分类器对未标记数据集DU进行预测，然后根据查询策略选出信息含量最大的候选样本。

4) 人工专家标记第3步选出的候选样本，从DU中移除，并加入DL。

5) 循环执行2-4步，判断是否达到迭代次数或者发生收敛。

6) 对n个分类器Li(i=1,2,…,n)的预测结果进行投票，输出最后分类结果。

2　查询策略

2.1　传统MVAL的查询策略

MVAL查询策略的好坏直接影响到AL迭代的收敛速度。传统的查询策略往往基于多个视图预测结果的不一致性来对候选样本进行评价，例如文献[15-16]中都采用了一种基于类别标签不一致的多视图查询策略，称为自适应最大不一致策略AMD(Adaptive Maximum Disagreement)，其定义如式(1)：

(1)

其中:

式中：x代表候选样本，Li代表视图Vi学习到的分类器。式(1)表明，当两个视图的预测类别不一致时，l取1，否则，取0。经过两两视图之间的循环累加，得到候选样本最终的不一致性评价指标，用d(x,L1,L2,…,Ln)表示。而AMD策略将选取具有最大d(x,L1,L2,…,Ln)的候选样本加入训练集，进行下一轮迭代。

然而，这种查询策略仍然存在一定的改进空间。首先，在早期的迭代中，由于学习器的泛化能力有限，对每个样本的预测结果可靠性较低，无法单纯地从预测结果的不一致就判断出是否为信息量大的样本。其次，随着迭代深入，学习器的性能越来越强，多个学习器逐渐收敛为一致，使得他们之间的预测差异越来越小，进一步影响了样本的精确查询。

2.2　本文的查询策略

通过对AMD等查询策略的分析，发现这类查询策略仅仅考虑了视图之间的预测不一致，而没有充分利用每个视图内在的判别能力。为了解决这个问题，本文提出了一种新的样本查询策略，不是单纯地通过多视图预测结果的不一致性进行查询。而是首先根据每个视图的多元逻辑回归分类器预测样本的类别条件概率P(x∈Cj|Vi)，然后根据全概率公式计算多视图下每个样本的后验概率P(x∈Cj)，最后挑选出后验概率差异最小MPPD(Minimum Posteriori Probability Difference)的样本xMPPD。

首先定义特征空间Ω的异质特征视图如下：

定义1设V1,V2,…,Vn⊂Ω，且满足：

(2) 对∀i,j,Vi∩Vj=Φ

则称V1,V2,…,Vn是特征空间Ω中的一组异质特征视图(如图2所示)。

图2　特征空间Ω一组异质特征视图

当特征空间划分为n个视图，视图Vi预测样本x属于第j类的概率(j=1,2,…,K)可以根据多元逻辑回归MLR(Multinomial Logistic Regression)[17]计算，其公式如下：

(2)

当每个视图Vi通过MLR预测样本x属于第j类的条件概率后，利用全概率公式计算样本x属于第j类的概率，如式(3)所示：

(3)

再根据式(4)选择前两类最大后验概率之间差最小的样本。

(4)

式中：Cm和Cn分别代表最大和第二大的类别概率，当两个最大概率差值越小时，表示样本的信息含量越大，用该样本训练分类器可以获取更有价值的信息。P(Vi)代表了每个视图的先验概率，可以作为每个视图的强弱判别。通过选取不同形式的先验概率，达到对不同强弱特征的加权，本文默认P(Vi)=1/n，n为视图总数。

3　异质多视图生成策略

为了构建基于高光谱图像的异质多视图，本文选取了有代表性的两种属性特征。一种基于形态学属性剖面APs(Morphological Attribute Profiles)[18]的视图生成，该视图可以表征空间形状、结构特征。另一种是基于Gabor小波[19]的视图生成，该视图可以表征空间纹理特征，从而得到异质互补的多个视图。

3.1　基于形态学属性剖面的视图生成

(5)

在形态学属性剖面中，对于具体采用的属性没有明确的限制，需要根据实际情况选择组合不同的属性特征。其中常用的属性特征有区域的面积APa、边界框对角线长度APd、惯性矩APi和区域灰度标准差APs[18]。

高光谱影像数据光谱维数高，波段之间冗余大。如果直接在原始影像上进行形态学属性滤波，计算工作量太大。因此，对高光谱影像进行形态学属性滤波前，可以先对原始影像进行降维处理。本文采用主成分分析PCA进行降维，保留包含主要能量的前4个最大的主成分，仅在每个主成分PCi(i=1,2,3,4)上进行形态学属性剖面操作。根据文献[20]，图3给出了在前4个主成分上分别提取面积属性的形态学属性剖面。

图3　基于面积的APs属性滤波

3.2　基于Gabor的视图生成

在高光谱地物分类中，纹理特征也是一类重要的空间特征。Gabor小波[7]可以获得图像纹理在方向、尺寸、频率等内部结构信息，通过二维Gabor小波，在空间尺度和方向的一系列参数变化，构造出能够获得时域和频域最佳描述的二维Gabor滤波器。这类滤波器以人类的视觉感知模型为基础进行构造，在医学研究、人脸识别等领域已经取得了广泛的应用。

为了对一幅图像的整个频率域进行采样，可以采用具有多个中心频率和方向的Gabor滤波器组来描述图像。本文使用的二维Gabor滤波器形式如下：

(6)

kj=(kvcosφu,kvsinφu)

(7)

式中：x为给定位置的图像坐标，参数σ为高斯函数沿两个坐标轴的标准方差，‖·‖定义了向量范数。kv为滤波器的中心频率，决定Gabor滤波器带通区域在频域上的位置，φu体现了滤波器的方向选择性。参数v，u取值如下:

(8)

(9)

v∈{1,2,…,s},μ∈{1,2,…，d}。s和d分别表示滤波器组的尺度和方向总数，本文取s=5，d=8。v的取值控制了Gabor滤波器的频域尺度，决定Gabor滤波器在频域的中心位置。v越大，对应的Gabor带通滤波器的中心频率越小，所提取特征属于低频特征。v越小，对应的Gabor带通滤波器的中心频率越大，所提取特征属于高频特征。

将图像I与Gabor滤波ψμ,v的卷积可以提取幅值特征，如式(10)。图4给出了5尺度8方向的Gabor小波滤波器实部图像化显示。

Ou,v(x)=I(x)⊕ψu,v(x)

(10)

图4　5尺度8方向的Gabor小波滤波器实部图像化显示

4　实　验

实验数据选取了两幅常用于检验高光谱图像分类方法性能的数据集。第一个数据集是基于ROSIS传感器的Pavia(University of Pavia)数据。该数据采集自1995年意大利帕维亚大学，该幅图像代表了典型的城市场景，包含了各种主要的城市地物类型，以及土壤和植被等。图像大小为610×340像素，单位像素的空间分辨率达到1.3 m，包含103个光谱波段(波段范围从0.43 μm到0.86 μm)，总共标定了9个类，42 776个标记样本。第二个数据集是基于AVIRIS传感器的Indiana(Indiana Pines)数据。该数据采集自美国印第安纳州西北部的一块印度松树林地。与城市场景不同，该幅图像代表了典型的农林场景，由于获取于生长季的早期，使得数据包含了大量具有相似光谱信息的地物类别，这为地物的准确分类识别提出了挑战。图像大小为145×145像素，单位像素的空间分辨率达到20 m，包含220个光谱波段(波段范围从0.4 μm到2.5 μm)。移除噪声和水吸收波段后，最终保留了200个波段，总共标定了16个类，12 776个标记样本。

实验将标记样本集划分为初始训练集，候选集和测试集。其中，初始训练集随机选取30个样本，不保证每一类均有相应的样本数据。学习迭代次数为100次，每次迭代从候选集中根据查询策略添加一个样本，每个实验重复10次。分类精度评价标准为总体精度OA(Overall Accuracy)，计算运行10次后的平均结果，实验选择MLR分类器[17]。根据文献[18]，本文采用PCA降维，保留前4个主成分，在前4个主成分中进行异质属性特征的提取，从而生成相应的多视图。在提取形态剖面属性特征时，选取了APa、APd、APi和APs四种属性特征，每种特征对应的属性尺度阈值参数如下：

(1)APa：λa=[100,500,1 000,5 000]；

(2)APd：λd=[10,25,50,100]；

(3)APi：λi=[0.2,0.3,0.4,0.5]；

(4)APs：λs=[2,30,40,50]。

实验一单一视图分类结果比较

Pavia图像的空间结构信息突出，Indiana图像的纹理信息突出。为了说明不同特征的单视图在不同的图像上的判别表征能力的不同。首先在Pavia和Indiana上各自建立了5个异质单视图,分别是形态学属性剖面的四个属性APa、APd、APi、APs和级联5尺度8方向的Gabor纹理属性视图，基于单一视图主动学习，查询策略为BT(Breaking Ties)[3]，所得分类精度OA如图5所示。可以看出，不同属性特征的单视图在不同图像上的分类能力存在一定的差异，其中基于单一属性特征APa的AL在Pavia图像上OA最高为88.34%，而基于单一Gabor纹理特征的AL在Indiana上OA精度最高为91.06%。从实验结果可以看出，没有适合所有图像通用的单视图属性特征，应结合多种异质互补的属性特征建立多视图。

实验二单视图与多视图比较

为了比较单视图和基于异质特征多视图的分类结果，分别基于同质的形态学属性剖面的四个属性构建4个多视图(APs+AMD)，基于异质的APs属性和Gabor滤波器组构建5个多视图(APs+Gabor+AMD)与单视图主动学习进行分类结果的比较，结果如图6所示。多视图采用了AMD查询策略。可以看出，虽然形态学属性剖面的四个属性的单视图的分类精度相差甚远，但APs+AMD的多视图的分类精度远远高于单视图的分类精度。从图6(b)可进一步发现，针对Indiana图像数据，加入了纹理特征的Gabor视图后，APs+Gabor+AMD的OA显著地从89.11%提升到93.83%。而Pavia由于空间结构信息突出，原有的APs+AMD的OA分类精度已经可以达到96.84%，增加Gabor视图，APs+Gabor+AMD的OA小幅提升至98.23%。这些实验结果表明，综合空间结构和纹理等异质属性特征的多视图主动学习可以取得比单视图更好的分类精度。

图6　多视图与单视图分类结果比较

实验三查询策略的比较

为了比较经典的多视图查询策略AMD和本文提出的多视图加权查询策略(MPPD)，实验比较了APs+AMD、APs+MPPD、APs+Gabor+AMD和APs+Gabor+MPPD四组不同方法的分类结果。由于不同的属性特征在不同图像上的强弱不同，实验根据式(8)计算xMPPD时，选择每个视图的P(Vi)=1/n，n为视图总数。实验结果如图7所示，显然本文提出的加权多视图查询策略相比于AMD，可以获得更高的分类精度。

图7　不同查询策略分类结果比较

5　结　语

本文讨论了基于多源异质属性特征的多视图生成方法，并在此基础上，提出了一种新的适用于多视图主动学习的样本查询策略。实验结果表明，利用异质多属性构建的视图具有良好的多样性和互补性，有效提高了学习器的泛化能力。同时，本文提出的多视图主动学习查询策略能够更加准确地判别出信息含量高的样本，进一步提高了学习器的收敛速度。

[1] Olsson F. A literature survey of active machine learning in the context of natural language processing[J]. Swedish Institute of Computer Science, 2009.

[2] Settles B. Active Learning Literature Survey[J]. University of Wisconsinmadison, 2009, 39(2):127-131.

[3] Tuia D, Volpi M, Copa L, et al. A Survey of Active Learning Algorithms for Supervised Remote Sensing Image Classification[J]. IEEE Journal of Selected Topics in Signal Processing, 2011, 5(3):606-617.

[4] Tuia D, Ratle F, Pacifici F, et al. Active Learning Methods for Remote Sensing Image Classification[J]. IEEE Transactions on Geoscience & Remote Sensing, 2009, 47(7):2218-2232.

[5] Tuia D, Pasolli E, Emery W J. Using active learning to adapt remote sensing image classifiers[J]. Remote Sensing of Environment, 2011, 115(9):2232-2242.

[6] Pasolli E, Melgani F, Tuia D, et al. SVM Active Learning Approach for Image Classification Using Spatial Information[J]. IEEE Transactions on Geoscience & Remote Sensing, 2013, 52(4):2217-2233.

[7] Stumpf A, Lachiche N, Malet J P, et al. Active Learning in the Spatial Domain for Remote Sensing Image Classification[J]. IEEE Transactions on Geoscience & Remote Sensing, 2014, 52(5):2492-2507.

[8] Li J, Bioucas-Dias J M, Plaza A. Spectral-Spatial Classification of Hyperspectral Data Using Loopy Belief Propagation and Active Learning[J]. IEEE Transactions on Geoscience & Remote Sensing, 2013, 51(2):844-856.

[9] Patra S, Bruzzone L. A Fast Cluster-Assumption Based Active-Learning Technique for Classification of Remote Sensing Images[J]. IEEE Transactions on Geoscience & Remote Sensing, 2011, 49(5):1617-1626.

[10] Patra S, Bruzzone L. A cluster-assumption based batch mode active learning technique[J]. Pattern Recognition Letters, 2012, 33(9):1042-1048.

[11] Wang Q, Lü H, Yue J, et al. Supervised multiview learning based on simultaneous learning of multiview intact and single view classifier[J]. Neural Computing & Applications, 2017, 28(8):2293-2301.

[12] Sun S. A survey of multi-view machine learning[J]. Neural Computing and Applications, 2013, 23(7):2031-2038.

[13] Muslea I A. Active Learning with Multiple Views[J]. Journal of Artificial Intelligence Research, 2011, 27(1):203-233.

[14] Crawford M M, Tuia D, Yang H L. Active Learning: Any Value for Classification of Remotely Sensed Data?[J]. Proceedings of the IEEE, 2013, 101(3):593-608.

[15] Di W, Crawford M M. View Generation for Multiview Maximum Disagreement Based Active Learning for Hyperspectral Image Classification[J]. Geoscience & Remote Sensing IEEE Transactions on, 2012, 50(5):1942-1954.

[16] Zhou X, Prasad S, Crawford M M. Wavelet-Domain Multiview Active Learning for Spatial-Spectral Hyperspectral Image Classification[J]. IEEE Journal of Selected Topics in Applied Earth Observations & Remote Sensing, 2016, 9(9):4047-4059.

[17] Bioucasdias B J, Figueiredo M. Logistic regression via variable splitting and augmented lagrangian tools[D]. Instituto Superior Técnico, TULisbon, 2009.

[18] Mura M D, Benediktsson J A, Waske B, et al. Morphological Attribute Profiles for the Analysis of Very High Resolution Images[J]. IEEE Transactions on Geoscience & Remote Sensing, 2010, 48(10):3747-3762.

[19] Liu C, Wechsler H. Gabor feature based classification using the enhanced fisher linear discriminant model for face recognition[J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society, 2002, 11(4):467-476.

[20] Benediktsson J A, Palmason J A, Sveinsson J R. Classification of hyperspectral data from urban areas based on extended morphological profiles[J]. IEEE Transactions on Geoscience & Remote Sensing, 2005, 43(3):480-491.

[21] 李政. 主动学习在基于内容的遥感影像检索中的应用[J]. 计算机应用与软件, 2010, 27(10):110-113.

[22] 冯逍, 肖鹏峰, 李琦,等. 三维Gabor滤波器与支持向量机的高光谱遥感图像分类[J]. 光谱学与光谱分析, 2014, 34(8):2218-2224.

[23] 任国贞, 江涛. 基于灰度共生矩阵的纹理提取方法研究[J]. 计算机应用与软件, 2014,31(11):190-192,325.