遥感图像场景分类综述

钱园园 刘进锋

摘要：随着科技的进步，遥感图像场景的应用需求逐渐增大，广泛应用于城市监管、资源的勘探以及自然灾害检测等领域中。作为一种备受关注的基础图像处理手段，近年来众多学者提出各种方法对遥感图像的场景进行分类。根据遥感场景分类时有无标签参与，本文从监督分类、无监督分类以及半监督分类这三个方面对近年来的研究方法进行介绍。然后结合遥感图像的特征，分析这三种方法的优缺点，对比它们之间的差异及其在数据集上的性能表现。最后，对遥感图像场景分类方法面临的问题和挑战进行总结和展望。

关键词：遥感图像场景分类;监督分类;无监督分类;半监督分类

中图分类号：TP391      文献标识码：A

文章编号：1009-3044（2021）15-0187-00

Abstract： With the progress of science and technology， the application demand of remote sensing image scene increases gradually， which is widely used in urban supervision， resource exploration， natural disaster detection and other fields.As a basic image processing method， many scholars have proposed various methods to classify the scene of remote sensing image in recent years.This paper introduces the research methods in recent years from the three aspects of supervised classification， unsupervised classification and semi-supervised classification.Then， combined with the features of remote sensing images， the advantages and disadvantages of these three methods are analyzed， and the differences between them and their performance performance in the data set are compared.Finally， the problems and challenges of remote sensing image scene classification are summarized and prospected.

Key words： remote sensing image scene classification; Unsupervised classification; Supervise classification; Semi-supervised classification

遥感图像场景分类，就是通过某种算法对输入的遥感场景图像进行分类，并且判断某幅图像属于哪种类别。早期主要是依靠人工提取特征，这些方法一般情况下需要依靠有大量专业领域知识和实践经验的专家利用颜色、形状、纹理或者光谱信息来设计各种图像特征，进而进行分类。但是，随着技术尤其遥感技术的发展，遥感图像不仅从数量上急剧增加，而且从质量上来说遥感图像的复杂度以及图像的分辨率也都越来越高，这些因素限制了早期人工方法的继续使用。因此，基于机器学习以及深度学习的自动学习方法应运而生，并在图像处理领域大放异彩。

在过去的几十年里，各方面学者对遥感图像提出了许多自分类方法。其中按照训练模型时样本的标签信息有没有参与，可将分类分为监督分类、半监督分类和无监督分类。本文将从这三个方面论述其研究进展。

1 遥感图像场景监督分类研究现状

自2006年深度特征學习取得了突破性进展后[1]，机器学习与深度学习便从此登上历史舞台，自此，支持向量机、决策树等机器学习方法，CNN、AlexNet、VGGNet等深度学习方法都被广泛应用在遥感场景的监督分类研究中。

支持向量机（ Support Vector Machine，SVM）是机器学习算法中一种最基本的监督学习算法，在处理维度较高的图像数据时，它通常引入核函数来寻找最优分类超平面，进而解决复杂数据分类问题。QU等人在文献[2]中通过支持向量机对机场的纹理进行学习，然后得到分类函数实现了机场跑道的识别。张浩等人在文献[3]中通过SVM分类方法对建筑物进行分类，作者首先通过交叉验证法对模型的参数进行分析，再用GridSearch算法设置可以获得模型参数的最好方法。随机森林模型[4]和CART决策树[5]是对原始决策树改进的模型，近年来也被应用于遥感图像分类领域。

深度学习（deep learning）最常用的是深度神经网络。在深度学习算法中有很多隐藏层，通常使用大量的数据集对模型进行训练，使模型学习数据的特征，从而提高图像分类的精度。近年来深度学习算法的典型代表“卷积神经网络（CNN）”在图像分类领域的成绩举世瞩目。在文献[6]中，作者使用三种不同的卷积神经网络模型对遥感图像进行场景分类。在论文中作者首先利用预训练好的CNN作为特征提取器。然后用遥感场景数据集对模型进行调优。最后利用soft-max层特征进行分类。文献[7]作者通过对卷积神经网络使用调优的方法对遥感图像进行场景分类。文献[8]作者别具匠心，为了提高分类精度，基于不同的卷积神经网络模型使用了四种不同的策略对遥感场景进行分类。最终得出结论：通过微调的方式得到的效果最佳。Zhou等人[9]提出了ResNet-TP方法，该方法主要通过使输入的图像经过特定的ResNet网络层后再分为两路再进行特征提取并分类。Kejie等人在文献[10]中，应用一种新的体系架构即两个深度神经网络对遥感图像进行分类，并得到了令人满意的分类精度。Shawky等人在文献[11]中提出基于CNN-MLP的方法对遥感图像进行场景分类。在文中，作者先使用无全连接层的卷积神经网络对图像进行特征提取，然后用依赖于Adagrad优化器的增强型多层深度感知机进行图像的分类，并且取得了较好的分类效果。

上述研究表明，與人工提取特征的方式方法相比，基于机器学习的图像的分类任务取得的效果更好，尤其是基于深度学习的监督分类方法性能更加优越，但它的缺点是训练要基于大量有标签的样本。

2 遥感图像场景无监督分类研究现状

由于遥感图像获取容易，但是进行标注并非易事，因此近年来衍生出大量基于无监督的分类方法，这类方法也在遥感图像分类领域大放异彩。在遥感图像分类领域中用到的典型的无监督特征学习方法包括主成分分析法（PCA）[12]、K均值聚类（K-means）[13]、稀疏编码[14]、自编码器[15]、生成对抗网络（GAN）等[16]。

主成分分析法的实质是一种统计方法，是一种相对较为简单的无监督训练模型。可以通过训练学习到用于图像分类的主要显著特征[12]。一般情况下，通过该方法可以只保留低阶的主成分，即保留数据中特征较明显的成分而忽略掉对分类作用不太大的数据，从而起到降低维数的作用。

K-means算法也是无监督算法之一，它也被广泛应用于遥感图像场景分类中[13]。K-means算法的优点是相对较简单，易于理解。但是该算法在进行训练前需要明确固定的K值，如果没有明确的K值指导或者所设置的K值与真实K值有偏差可能得不到较好的分类结果。

最近，很多基于稀疏编码的分类方法被应用于遥感图像场景分类中[14]，该算法中通常应用稀疏表达的方式对图像的特征进行提取，进而进行分类。稀疏表示的优点是计算量小，因此计算速度较快，可以高性能地表示出结果。

自动编码器有一个编码器和一个解码器组成，是一种非常典型的无监督分类算法，已被广泛应用于遥感图像场景分类[15]。文献[17]主要通过非监督的方法对无标签遥感图像中具有视觉显著性的图像特征进行学习，进而进行分类。在文献[18]中，作者提出了一种具有知识编码粒度空间的深层自动编码器神经网络体系结构，用于遥感图像分类。该方法利用了深层网络，小波粗糙粒度空间和知识编码，并且通过对比实验证明模型的优越性。

GAN作为近年来最具潜力的非监督学习算法，其目的是学习一个生成的数据分布。文献[16]首次将GAN应用到非监督特征提取的遥感图像分类中，在该方法中，作者将两种损失函数相结合进行图像的特征学习，利用此方法获得了良好的分类效果，分类精度达到94%左右。在文献[19]中，为了提高GAN 网络模型的泛化能力，生成大尺寸图像，将缩放的指数线性单位（SELU）应用到GAN中以生成高质量的遥感图像。

3 遥感图像场景半监督分类研究现状

由于现实中无标签的图像数量要远多于有标签的图像数量，所以为了提高大量的无标签样本的利用率，同时结合有标签和无标签样本的半监督学习算法就受到越来越多研究者的关注。在文献[20]中，Bruzzone等研究者提出使用基于时间依赖关系的SVM来获得未标注样本的权重，并且获得了较好的分类效果。在文献[21]中作者使用多层感知机进行遥感图像分类，在训练时使用未标签样本对分类器进行修正。在文献[22]中作者首先对无标签样本进行特征提取，通过图模型的方式对有标签样本进行排序从而提高分类精度。文献[23]中作者使用 SVM算法构造了一个半监督分类器进行遥感图像的分类。Wei Han 等人在论文[24]中将具有深度学习功能的半监督生成框架用在遥感图像场景分类中。在该文中，作者提出半监督的生成框架，结合深度学习的功能，用自标签技术和判别式评估方法，完成的遥感图像和场景分类，并取得了较好的效果。在文献[25]中，作者提出了一种2型模糊c均值算法（SS-AIT2FCM）。作为一种新的半监督分类模型，有效地提高了遥感图像场景的分类精度。

4 三种学习算法的比较与展望

纵向来看，随着遥感技术的发展，遥感图像的复杂性增强，样本的数量呈现海量的增长趋势，机器学习方法相比于人工方法在遥感图像分类任务中取得了相对较好的效果;相对于深层的卷积神经网络而言，层数较浅的机器学习分类方法不容易建立一个可以表示复杂图像数据的函数，因此不适合于复杂的遥感图像场景分类。

横向来看，基于深度特征的监督分类方法分类的效果都相对较好，但是对有标签图像的依赖性强是该方法的劣势。无监督特征学习方法在遥感图像分类中有很好的效果，相较于监督学习的方法不需要大量的标签信息就可以提取特征。但是，正是因为该方法没有充分的利用图像的类别信息，使得该方法对图像类间的区分能力相对较差，因此也导致分类的效果往往不能令人满意。半监督学习技术应用于遥感分类领域具有可行性，可以很好地解决遥感图像分类的不确定性问题。由前面的论述可知目前对于遥感图像场景的半监督分类研究还比较少，并且大都应用浅层的机器学习方法。

总的来说，一方面现存的遥感场景图像有标签的数据集相对较小不利于监督分类方法的进行;另一方面遥感图像存在高类内差与低类间差的特性导致其使用无监督分类时不能很好地区分类间差异。因此将更加简便有效的半监督学习算法应用于遥感图像场景分类大有可为。

参考文献：

[1] Hinton G E，Salakhutdinov R R.Reducing the dimensionality of data with neural networks[J].Science，2006，313（5786）：504-507.

[2] QU Y， LI C， ZHENG N. Airport Detection Base on Support Vector Machine from A Single Image[C]//Fifth International Conference on Information， Communications and Signal Processing.IEEE， 2006：546-549.

[3] 張浩，赵云胜，陈冠宇，等.基于支持向量机的遥感图像建筑物识别与分类方法研究[J].地质科技情报，2016，35（6）：194-199.

[4] Belgiu M，Dr?gu? L.Random forest in remote sensing：a review of applications and future directions[J].ISPRS Journal of Photogrammetry and Remote Sensing，2016，114：24-31.

[5] 马鑫，汪西原，胡博.基于ENVI的CART自动决策树多源遥感影像分类——以北京市为例[J].宁夏工程技术，2017，16（1）：63-66.

[6] Cheng G，Ma C C，Zhou P C，et al.Scene classification of high resolution remote sensing images using convolutional neural networks[C]//2016 IEEE International Geoscience and Remote Sensing Symposium （IGARSS）.July 10-15，2016，Beijing，China.IEEE，2016：767-770.

[7] Scott G J，England M R，Starms W A，et al.Training deep convolutional neural networks for land–cover classification of high-resolution imagery[J].IEEE Geoscience and Remote Sensing Letters，2017，14（4）：549-553.

[8] Nogueira K，Penatti O A B，dos Santos J A.Towards better exploiting convolutional neural networks for remote sensing scene classification[J].Pattern Recognition，2017，61：539-556.

[9] Zhou Z，Zheng Y B，Ye H，et al.Satellite image scene classification via ConvNet with context aggregation[EB/OL].2018：arXiv：1802.00631[eess.IV].https：//arxiv.org/abs/1802.00631

[10] Xu K J，Huang H，Deng P F，et al.Two-stream feature aggregation deep neural network for scene classification of remote sensing images[J].Information Sciences，2020，539：250-268.

[11] Shawky O A，Hagag A，El-Dahshan E S A，et al.Remote sensing image scene classification using CNN-MLP with data augmentation[J].Optik，2020，221：165356.

[12] Réjichi S，Chaabane F.Feature extraction using PCA for VHR satellite image time series spatio-temporal classification[C]//2015 IEEE International Geoscience and Remote Sensing Symposium （IGARSS）.July 26-31，2015，Milan，Italy.IEEE，2015：485-488.

[13] Zhu Q Q，Zhong Y F，Zhao B，et al.The bag-of-visual-words scene classifier combining local and global features for high spatial resolution imagery[C]//2015 12th International Conference on Fuzzy Systems and Knowledge Discovery （FSKD）.August 15-17，2015，Zhangjiajie，China.IEEE，2015：717-721.

[14] Wu S L，Chen H D，Bai Y，et al.A remote sensing image classification method based on sparse representation[J].Multimedia Tools and Applications，2016，75（19）：12137-12154.

[15] 曲建岭，杜辰飞，邸亚洲，等.深度自动编码器的研究与展望[J].计算机与现代化，2014（8）：128-134.

[16] Lin D Y，Fu K，Wang Y，et al.MARTA GANs：unsupervised representation learning for remote sensing image classification[J].IEEE Geoscience and Remote Sensing Letters，2017，14（11）：2092-2096.

[17] Zhang F，Du B，Zhang L P.Saliency-guided unsupervised feature learning for scene classification[J].IEEE Transactions on Geoscience and Remote Sensing，2015，53（4）：2175-2184.

[18] Meher S K.Granular space，knowledge-encoded deep learning architecture and remote sensing image classification[J].Engineering Applications of Artificial Intelligence，2020，92：103647.

[19] Xu S H，Mu X D，Chai D，et al.Remote sensing image scene classification based on generative adversarial networks[J].Remote Sensing Letters，2018，9（7）：617-626.

[20] Bruzzone L，Chi M，Marconcini M.A novel transductive SVM for semisupervised classification of remote-sensing images[J].IEEE Transactions on Geoscience and Remote Sensing，2006，44（11）：3363-3373.

[21] PATRA S，GHOSH S，GHOSH A.Change detection of remote sensing images with semi-supervised multilayer perceptron[J].Fundamenta Informaticae， 2008， 84（3，4）：429-442.

[22] Camps-Valls G，Bandos Marsheva T V，Zhou D Y.Semi-supervised graph-based hyperspectral image classification[J].IEEE Transactions on Geoscience and Remote Sensing，2007，45（10）：3044-3054.

[23] Maulik U，Chakraborty D.A self-trained ensemble with semisupervised SVM：an application to pixel classification of remote sensing imagery[J].Pattern Recognition，2011，44（3）：615-623.

[24] Han W，Feng R Y，Wang L Z，et al.A semi-supervised generative framework with deep learning features for high-resolution remote sensing image scene classification[J].ISPRS Journal of Photogrammetry and Remote Sensing，2018，145：23-43.

[25] Xu J D，Feng G Z，Zhao T，et al.Remote sensing image classification based on semi-supervised adaptive interval type-2 fuzzy c-means algorithm[J].Computers & Geosciences，2019，131：132-143.

【通聯编辑：唐一东】