融合半监督学习的无监督遥感影像场景分类

白 坤，慕晓冬，陈雪冰，朱永清，尤轩昂

1. 火箭军工程大学作战保障学院，陕西 西安 710025； 2. 61068部队，陕西 西安 710100

遥感可以远距离测量目标反射或从目标本身发射的电磁波能量，实现对目标的感知，在无法接近目标的情况下，遥感是快速获取目标信息最直接的手段[1]。遥感影像场景分类是遥感影像处理领域的一个基础问题，其主要目的是对遥感影像进行特征分析，挖掘遥感影像中包含的语义信息，将其映射到类别标签上。

深度学习具有强大的特征拟合能力，因此被广泛应用于遥感影像场景分类中，该方法以端到端的方式逐层提取图像特征，融合形成高层特征，最后生成图像的语义描述，即类别标签[2-4]。由于使用了真实的语义标签，深度学习能提取出与图像类别高度相关的特征表示，达到很高的分类精度。然而，类别标签只能提供一些间接的、可量化的信息，真实图像中还存在大量类别标签无法表达的信息，如类内差异性、类间相似性、子类和父类的继承关系等。深度学习只利用图像中非常有限的类别信息，对于其他更复杂的信息并未充分利用，使得训练神经网络需要使用大量的标注样本。为了减少对标注样本的依赖，出现了一种自监督学习方法，利用图像中天然存在的监督信息对神经网络进行训练。

自监督学习是一种无监督特征表示方法，它利用图像内在特征构造辅助任务，从无标注样本中挖掘语义信息。根据辅助任务使用特征维度的不同，自监督学习可以分为基于颜色特征[5-6]、基于空间几何特征[7-8]、基于图像上下文[9-11]和基于对比学习的方法[12-13]。在遥感领域，基于自监督方法的研究仍然较少，文献[14]率先将自监督学习应用到遥感影像场景分类中，证明了自监督学习获得的预训练模型优于ImageNet预训练模型。此后，随着自然图像领域自监督方法的不断创新[15-17]，遥感领域的自监督方法也逐渐得到重视。这些方法主要研究如何根据遥感影像特征构造合适的自监督辅助任务，如旋转角度预测任务[18]、图像上色任务[19]、多模态特征对比任务[20]、空间临近样本对比任务[21]等。

为了对特征进行分类，以上研究采用了线性评价准则，有监督训练一个线性分类器，以分类准确率评价自监督算法的优劣。从整体上看，这些方法在特征分类阶段仍然需要使用标签，所以没有实现完全的无监督分类。不使用标签的情况下，特征分类可以使用传统的聚类(如K-means)，可是直接应用聚类[22]被证明容易产生模型退化问题，不能保证分类结果和真实的语义类别完全一致，无法获得很高的分类精度。

不使用标注样本对自监督特征分类，目前主要存在两类方法。第1类方法[23-24]将该问题转换为噪声样本分类问题，利用自监督方法提取样本特征，然后基于特征相似度生成样本在特征空间的相似邻接矩阵[23]，或者使用并行网络[24]，筛选出高相似度的样本作为低噪声样本，构造伪标签训练线性分类器，不断执行训练、筛选的过程迭代提高分类准确率。第2类方法[25-26]将该问题转换为半监督分类问题，结合在线聚类的思想，根据聚类置信度将高置信度样本看作标注样本，其他样本看作无标注样本，训练一个半监督分类模型。第1类方法基于特征相似度筛选低噪声样本，初始训练可靠性较高，但是它始终只能利用数据集中的少数样本，对数据的利用率较低。第2类方法结合了半监督学习的优势，能充分利用数据集中所有的样本，但是对模型的初始化十分敏感，在线聚类产生的误差积累可能导致模型生成的伪标签偏移数据真实的类别分布，所以以上两种方法都不是最优的。

本文提出一种融合半监督学习的语义聚类方法(semantic clustering with semi-supervised learning，SCSSL)对遥感影像进行场景分类。首先，用对比学习训练一个特征提取网络，得到训练集样本的特征表示；然后，基于特征相似度，训练一个线性分类器，将最相似的样本聚为一类；最后，根据分类置信度，提取高置信度样本分配伪标签，构造标注样本集，使用半监督方法对模型微调。与基于噪声样本分类的方法相比，SCSSL方法不仅使用了数据集中的低噪声样本，而且使用半监督方法将剩余样本纳入模型训练，提高了样本利用率。与基于半监督学习的方法相比，SCSSL方法在噪声样本分类模型的基础上微调模型，减少了直接使用在线聚类产生的误差积累。由此，SCSSL方法提供了一种在完全不依赖标注样本的情况下，对自监督学习提取的图像特征进行分类的有效方法。

1 融合半监督学习的无监督遥感影像场景分类方法

给定一个不含标签的数据集，自监督方法通过构造辅助任务最小化对比损失，在特征空间中缩小相似样本的距离，增大不相似样本的距离，得到样本的特征表示。通过对自监督特征分布规律进行分析，本文设计了一种基于语义相似度的特征聚类方法，分为3步：①提取样本特征，用余弦距离计算样本间特征相似度；②筛选每个样本最相似的近邻；③将每个样本及其近邻分为一类，非近邻分为不同类，训练分类模型。为解决模型训练时样本利用率低的问题，提出了一种基于半监督学习的模型优化方法。首先，使用均衡采样方法，筛选高置信度样本分配伪标签；其次，用包含伪标签的样本构造一个标注样本集；最后，将标注样本集和原数据集同时输入网络，使用半监督方法对模型微调，进一步提高模型分类的准确率。以上方法的整体流程如图1所示。

图1 SCSSL方法流程Fig.1 Flowchart of SCSSL method

1.1 基于对比学习的遥感影像特征提取(SCSSL-self)

(1) 给定任意图像xk，输入一个随机数据增强模块τ=RandAug(xk)，得到两个相关视图(τ1(xk),τ2(xk))。为了方便计算，在应用其他数据增强之前，先使用尺度变换和随机裁剪，使输入图像保持相同尺寸。为了防止模型对单一特征产生依赖，同时增强学习难度，采用SimCLR[12]的数据增强方法，依次对图像应用水平翻转、颜色抖动和灰度化3种随机变换。

(2) 使用特征提取网络fθ(·)提取图像特征。残差网络[27]具有参数量少，易于扩展，并能有效避免过拟合等诸多优点，使用18层残差网络ResNet18，得到输入图像的特征表示yk=fθ(τ(xk))=ResNet18(τ(xk))。

(1)

式中，分子表示输入样本和正样本间的距离；分母表示输入样本和所有负样本间的距离之和；t表示超参数。训练完成之后，保存fθ(·)的参数用于下一步的图像特征提取。算法1完整描述如下。

算法1: SCSSL-Self

for minibatchBin DatasetD

draw two augmentation functionsτ1,τ2

y1k=fθ(τ1(xk))，y2k=fθ(τ2(xk))

z1k=gφ(y1k)，z2k=gφ(y2k)

end for

z+=FindPositiveEmbedding (zk)

z-=FindNegativeEmbedding (zk)

updatefθandgφto minimize Lossself

end for

returnfθ

1.2 基于语义相似度的遥感影像特征聚类(SCSSL-clustering)

自监督学习提取出样本特征之后，只需训练一个线性分类器，就可以获得非常好的分类效果[12-13]。使用PCA方法对自监督学习获得的特征降维，并用t-SNE对其可视化，会发现同类样本的特征在二维嵌入空间本身就有更近的距离，说明自监督学习提取的特征具有良好的线性可分性。所以，如果能找到足够多的类别辅助信息，构造适当的优化目标就可以完成分类器的训练。基于这种猜想，本文设计了一种基于语义相似度的遥感影像特征聚类方法(SCSSL-clustering)，对SCSSL-self输出的特征分类。SCSSL-clustering包括如下两个步骤。

(1) 为每个样本寻找近邻。对于输入样本xk，使用SCSSL-self训练的特征提取网络获取样本特征，得到其特征表示yk=fθ(τ(xk))。然后构造一个记忆单元(memory bank)存储所有样本的特征，计算样本间的余弦相似度，选取相似度最高的k个样本ktop依次作为每个样本的近邻，生成近邻矩阵N。

(2) 利用近邻矩阵N训练线性分类器。用一个输出维度为C的多层感知机hη(·)，将输入样本和其近邻映射为同一类，然后用softmax(·)将输出转化为概率分布。使用如下的损失函数对fθ(·)和hη(·)同时进行优化

(2)

(3)

(4)

3）元数据专家小组通过制定通用元数据标准，促进NATO成员国之间、成员国内部以及NATO与非NATO国家之间的地理空间信息与服务的开发、评估、使用和管理，其主要工作：协调并指导民用元数据标准化工作，确保民用标准满足军方需求；协调并支持DGIWG的元数据项目，支持军事工作，解决军方的元数据需求问题；提供元数据、使用指南及相关的最优方法发展愿景，提倡采用标准方式开发和定义元数据框架，进一步分析军方对标准和规范的具体要求。

算法2完整描述如下。

算法2: SCSSL-clustering

yk=fθ(τ(xk))

MemoryBank.append (yk)

end for

for index in MemoryBank

ktop_indices=mine_nearest_neighbors(ktop,index)

N.append(ktop_indices)

end for

for minibatchBin DatasetD

yk=fθ(τ(xk))

updatefθandhηto minimize Losscls

end for

end for

returnfθandhη

1.3 基于半监督学习的遥感影像场景分类模型优化(SCSSL-semi)

在特征空间中，相似度高的近邻样本紧密分布于类中心区域，拥有显著的共性特征，分类时被误分的概率较低，是试验中的低噪声样本。位于类边缘区域的样本特征复杂，在模型训练过程中易被误分，成为噪声样本。SCSSL-clustering主要拟合了类中心区域的低噪声样本，对剩余样本并未充分利用。为了提高模型对类边缘样本的拟合能力，本文基于半监督学习的思路，提出一种基于半监督学习的模型优化方法(SCSSL-semi)，步骤如下。

(1) 提取低噪声样本构造标注样本集。SCSSL-clustering使用softmax(·)分类器输出的概率值描述样本在不同类别上的置信度。通常，低噪声样本在所属类别上会产生较高的置信度，而噪声样本由于缺少标志性特征，在各个类别上的置信度整体较低，所以直接根据分类置信度提取低噪声样本，会使不同类别的样本在数量上分布不均。一般的半监督学习方法无法直接处理类不均衡样本，容易使数量多的类别产生过拟合，数量少的类别产生欠拟合，为了解决该问题，本文采用一种均衡采样算法提取低噪声样本。训练集中的样本xk依次经过SCSSL-Self提取特征和SCSSL-clustering分类，生成关于类别C的概率分布，用概率值最大的分类器索引序号作为该样本的伪标签，如果该样本在所属类别上的置信度大于规定阈值，就将其作为低噪声样本添加到标注样本集Lall。然后对Lall中各类别包含的样本数量进行统计，选择数量最少的类别所包含的样本数min_cluster作为最终采样数。从Lall中对每个类别随机抽取min_cluster个样本组成均衡标注样本集Lselect。为了提高样本使用效率，使用去除标签的所有训练集样本作为无标注样本集Uall。

(2) 半监督微调。得到均衡标注样本集Lselect和无标注样本集Uall之后，理论上可以使用任何半监督方法对其训练。MixMatch[28]将一致性正则化和最小化熵两种半监督方法结合，仅使用极少量的标注数据就使得半监督学习的准确率接近有监督学习。本文在训练好的SCSSL-clustering模型基础上使用MixMatch对SCSSL-clustering模型进行微调，使用如下损失函数优化模型

L′,U′=MixMatch(Lselect,Uall,T,K,α)

(5)

(6)

(7)

Losssemi=LossL+μLossU

(8)

式中，T为MixMatch中Sharpen操作使用的温度；K表示MixMatch应用了K次数据增强；α表示MixMatch的融合系数服从参数为α的Beta分布；θ和η为SCSSL-clustering模型的参数；H(·)表示交叉熵；μ为LossU的权重系数。

2 试验及结果分析

本文试验基于PyTorch深度学习框架，试验平台搭载Ubuntu16.04操作系统，配置2颗Xeon2.6处理器和4块NVIDIA Tesla T4显卡。

2.1 数据集

使用EuroSAT、GID、AID和NWPU-RESISC45 4种公开遥感影像场景分类数据集对SCSSL方法进行验证，表1为这4种数据集的情况对比，图2从上到下依次展示了4种数据集部分样本的示例。EuroSAT数据集由哥白尼地球观测计划提供的Sentinel-2卫星拍摄，覆盖13个光谱波段，共包含10类场景共计27 000张图像，图像像素为64×64像素，空间分辨率达到10～30 m，本文试验只使用该数据集的可见光影像数据。GID数据集由武汉大学于2018年发布，它由高分二号卫星从中国60多个不同城市拍摄，覆盖了超过50 000 km2的地理区域，包含15类场景总共30 000个样本，图像像素为56×56像素，空间分辨率为10 m。AID数据集由武汉大学和华中科技大学共同发布，包含30类场景共计10 000幅遥感影像，空间分辨率为600×600像素。NWPU-RESISC45是西北工业大学发布的高分辨率遥感影像数据集，每张图像的分辨率为256×256像素，涵盖45个场景，每个场景包含700张图像。

表1 试验数据集对比

试验过程中对数据集进行随机划分，默认使用80%的样本用于模型训练，剩余20%的样本用于模型测试。

2.2 试验参数设置

在SCSSL-Self阶段，epoch设置为500，gφ(·)的输出特征维度设置为512，Lossself中t设置为0.1。使用随机梯度下降算法对模型进行优化，基础学习率设置为0.4，权重衰减因子为0.000 1，动量值为0.9。EuroSAT和GID数据集上，随机裁剪尺度分别设置为64和56，Batchsize设置为256。AID和NWPU-RESISC45数据集上，随机裁剪尺度设置为128，Batchsize设置为64。随机裁剪区间设置为(0.2，1.0)，颜色抖动概率为0.8，强度设置为(0.4，0.4，0.4，0.1)，随机灰度化概率为0.2，正则化的均值和方差分别设置为[0.491 4，0.482 2，0.446 5]和[0.202 3，0.199 4，0.201 0]。在SCSSL-clustering阶段，epoch设置为100，ktop默认为20，Losscls中λ设置为5，优化算法使用Adam，基础学习率设置为0.000 1。在SCSSL-semi阶段，分类置信度阈值threshold设置为0.99，epoch设置为100，T为0.5，α设置为0.75，μ选择75，其他参数和MixMatch保持一致。试验最终结果取5次随机试验的平均值。

图2 试验数据集示例Fig.2 Examples from experimental datasets

2.3 试验结果和分析

2.3.1 方法消融试验

为了研究SCSSL方法各个步骤对试验结果的影响，本节在EuroSAT和NWPU-RESISC45两个数据集上开展了消融试验。

表2展示了SCSSL方法各步骤的分类准确率，其中SCSSL-self+Supervised表示以线性评价准则训练一个分类器对SCSSL-self阶段提取的特征分类，得到自监督分类的结果，SCSSL-self+K-means表示使用K-means对SCSSL-self的特征进行聚类。对比分类准确率，在两个不同的数据集上，SCSSL-clustering分别达到了92.03%和84.67%，明显高于SCSSL-self+K-means。图3和图4使用柱状图和散点图分别展示了EuroSAT和NWPU-RESISC45数据集上SCSSL-self+K-means和SCSSL-clustering分类后每个类别包含的样本数和标签结果，对比各类别样本数分布的差异可以发现，SCSSL-self+K-means分类结果的类间不均衡性明显高于后者，说明SCSSL-clustering熵正则项的存在，有助于减少类不均衡性并提高分类准确率。对比标签结果，发现两种方法在不同类别上的准确率变化趋势基本同步，这是因为两种方法都使用了同一种自监督特征，说明特征质量对分类准确率至关重要。

表2 消融试验分类准确率

图3 EuroSAT数据集SCSSL-self+K-means和SCSSL-clustering分类结果统计Fig.3 Classification results statistics of SCSSL-self+K-mean and SCSSL-clustering on EuroSAT dataset

图4 NWPU-RESISC45数据集SCSSL-self+K-means和SCSSL-clustering分类结果统计Fig.4 Classification results statistics of SCSSL-self+K-mean and SCSSL-clustering on NWPU-RESISC45 dataset

对比SCSSL-clustering和SCSSL-semi的分类结果，可以看出SCSSL-semi在SCSSL-clustering的基础上提高了无监督聚类的准确率。为了对该结果进行进一步分析，图5和图6分别绘制了两种数据集上SCSSL-clustering和SCSSL-semi分类结果的混淆矩阵，其中图6的类别标签使用数字编号表示(NWPU-RESISC45数据集类名按升序排列)。从结果可以看出，SCSSL-semi减少了SCSSL-clustering结果的混淆比例。在EuroSAT数据集上，相似的几类场景(annualcrop、permanentcrop和herbaceousvegeta-tion)，在NWPU-RESISC45数据集上，高类间相似性的场景(church〈7〉和palace〈27〉，industrial_area〈18〉和railway_station〈30〉)，以及具有相同父类的场景(sparse_residential〈38〉、medium_residential〈23〉和dense_residential〈11〉)，经过SCSSL-clustering训练之后，混淆率均出现下降，说明SCSSL-semi使用更多的样本加入模型训练，为模型提供更多的类别监督信息，提高了模型对相似场景的辨别能力。

图5 EuroSAT数据集SCSSL-clustering和SCSSL-semi方法混淆矩阵Fig.5 Confusion matrix by SCSSL-clustering and SCSSL-semi on EuroSAT dataset

图6 NWPU-RESISC45数据集SCSSL-clustering和SCSSL-semi方法混淆矩阵Fig.6 Confusion matrix by SCSSL-clustering and SCSSL-semi on NWPU-RESISC45 dataset

2.3.2 不同近邻数对比试验

表3展示了SCSSL-clustering在EuroSAT和NWPU-RESISC45数据集上使用不同数量的近邻样本训练得到的结果，其中近邻准确率表示和参照样本同属一类的近邻样本占所有近邻样本的比例。

表3 SCSSL-clustering不同近邻数分类准确度

由表3可知，训练过程中随着近邻样本数的增加，近邻准确率降低，然而分类准确率并未跟随近邻准确率的降低而同步降低。当近邻样本数为1时，近邻准确率最高，但是由于此时近邻样本数量过少，提供给模型的监督信息有限，所以分类准确率并未达到最高。随着近邻样本数量的增加，提供给模型的监督信息变多，使得模型泛化能力增强，同时减少了过拟合，分类准确率不断上升。当近邻样本数上升到100时，近邻准确率过低，给模型引入了过多噪声，增加了训练中的误差积累，所以分类准确率发生下降。综合两种数据集下的试验结果，当近邻样本数在10～20之间，近邻样本能够发挥最佳效果，使模型达到最高分类准确率。

2.3.3 均衡采样对比试验

试验使用99%的分类置信度抽取样本，表4展示了在EuroSAT和NWPU-RESISC45数据集上均衡采样方法对SCSSL-semi产生的影响。

表4 SCSSL-semi均衡采样结果

对比抽取样本数，在两种不同的数据集上，不采用均衡采样算法时，抽取的样本总数明显更多，但从分类准确率来看，采用均衡采样算法的准确率更高。这是因为直接采样获得的不均衡样本其特征分布与原数据集不同，影响了训练过程的稳定性。同时基于批量的训练方法容易产生模型遗忘问题，如果抽取样本中数量很少的类别只出现在训练初期的批量中，之后的训练过程就会覆盖掉初期学到的特征，导致模型中有价值的特征被遗忘。使用类别均衡采样算法后，虽然减少了可使用的样本数，但是数据集的整体分布始终保持一致，这对于保持模型训练的稳定性，提高最终分类准确率有积极意义。

2.3.4 不同方法对比试验

本节在EuroSAT、GID、AID和NWPU-RESISC45 4个数据集上设计了对比试验，每个数据集分别按8∶2和6∶4的比例划分训练集和测试集。使用SCSSL与5种代表性方法做对比：①有监督训练的ResNet模型，epoch设置为100；②基于迁移学习的方法MSCN[29]和基于生成对抗网络的方法MF-WGANs[30]，两种方法训练时均使用模型默认参数；③半监督方法MixMatch[28]，使用10%的标签，epoch设置为100，其他参数使用MixMatch默认参数；④自监督方法SimCLR[12]，特征提取阶段epoch设为500，训练线性分类器时epoch设为100；⑤同类型无监督语义聚类方法SCAN[23]，特征提取阶段epoch设置为500，后两个阶段epoch均设为100。MF-WGANs使用原有网络结构，其他方法的BackBone都采用ResNet18，为了与半监督方法做对比，添加使用10%标签训练的ResNet对照组。

表5展示了对比试验的结果，其中“*”表示该方法只使用10%的标签。由表5可知，相较于同类型方法SCAN，SCSSL在EuroSAT和GID数据集上的分类效果优于SCAN，在AID和NWPU-RESISC45数据集上的分类效果与SCAN基本持平。与Supervised Baseline对比看出，SCSSL在分类精度上与有监督方法存在一定差距，但是已经比较接近有监督方法。对比SimCLR分类的最终结果，可以看出SCSSL无监督训练的分类器性能已经十分接近线性评价准则有监督训练的分类器。与半监督方法MixMatch相比，仅使用10%的标签，Supervised Baseline分类精度下降明显，低于MixMatch，SCSSL虽然只在EuroSAT数据集上的准确率高于MixMatch，可是在其他3种数据集上已经比较接近，并且其训练完全不需要任何标签，所以仍然具有一定的优势。与目前在遥感领域应用较多的两类无监督方法相比，SCSSL方法相较于MF WGANs在训练过程中更容易收敛，在EuroSAT和NWPU-RESISC45数据集上的分类准确率更高，同时SCSSL的训练不需要使用源域，对于难以设计可迁移源域的数据集NWPU-RESISC45，SCSSL也明显优于MSCN。

表5 不同方法对比试验

在两种数据划分方式下，SCSSL均能保证较高的分类准确率，从结果可以发现SCSSL准确率的方差略高于其他方法，这是因为SCSSL是一种分段式训练方法，相对于端到端方法更加复杂，更多的外部人工参与影响了算法稳定性。试验使用的4种数据集尺寸差别较大，对比SCSSL在不同尺寸数据集下的结果，SCSSL在小尺寸数据集上效果更好，主要原因是SCSSL在SCSSL-self训练阶段需要在每个小批量中保存大量的负样本，在有限的显存资源下，当使用小尺寸数据集时，可以支持更多的负样本参与训练。

表6展示了80%样本参与训练时不同方法的用时和模型参数对比。可以发现，基于半监督和自监督的方法用时普遍长于有监督方法，在所有方法中SCSSL用时最长，这是由于SCSSL训练的过程涵盖了自监督、无监督、半监督3个阶段，其中自监督和半监督阶段都需要模型反复计算。耗时过长是SCSSL最明显的缺点，但是对于一些时间敏感性不强的任务，牺牲一定的时间换来精确度的提升是值得的。特别是对于遥感影像，SCSSL不使用任何标签就可以完成场景分类并达到接近有监督学习的精度，有效减少了对标注样本的依赖。

表6 不同方法模型参数与训练时间对比

3 结 论

自监督可以不使用标注样本提取遥感影像特征，但是对特征的分类仍主要依赖于有监督方法。为了解决该问题，实现完全的无监督分类，本文将在线聚类与半监督学习相结合，提出一种融合半监督学习的语义聚类方法。首先，利用自监督方法提取遥感影像特征。其次，基于特征相似度，使用在线聚类方法训练一个线性分类器对图像特征分类。然后，根据分类置信度的高低为高置信度样本构造伪标签，使用半监督的方法对模型微调。对该方法各个步骤进行了充分研究，讨论了不同近邻数和均衡采样算法对分类结果的影响。最后，在4种公开的遥感影像场景分类数据集上对方法的有效性进行了验证，试验结果表明：本文提出的SCSSL方法能够在完全不依赖标注样本的情况下完成对遥感影像的场景分类，在保证近邻准确率的情况下增加近邻数，使用均衡采样算法可以提高模型泛化能力，增加训练过程的稳定性。在EuroSAT、GID、AID和NWPU-RESISC45数据集上的分类精度分别达到了94.84%、63.55%、76.42%和86.24%，高于同类方法SCAN。相较于有监督方法、半监督方法以及经典的自监督方法，本文提出的方法不依赖任何标签，仅使用无标注样本就可以达到接近有监督学习的分类精度，具有一定的优势和创新性。