高不平衡遥感图像场景分类技术

孙建国，田 野，李思照

(哈尔滨工程大学 计算机科学与技术学院，黑龙江 哈尔滨 150001)

0 引言

随着传感器技术的迅猛发展，高分遥感图像的数据量显著增加。其复杂场景识别和分类在遥感图像的应用中起着重要的作用，被广泛应用于城市规划、土地资源分配及全球环境污染监测等方面，具有重要的理论意义和实践价值。遥感图像不仅具有丰富的空间和纹理特征，而且还包含大量的场景语义信息。因此为了理解和识别遥感图像中的场景信息，遥感图像场景分类技术获得了航空和卫星图像分析领域研究者的广泛关注[1]。

场景分类的核心是遥感图像特征提取，传统的遥感图像场景分类研究工作大致可以分为具有底层场景特征的方法和具有中层场景特征的方法[2]。常用的低层方法包括尺度不变特征变换、局部二进制模式以及颜色直方图等。中层方法通过对低层本地特征描述符进行编码来表示场景，中层编码方法包括视觉词袋、空间金字塔匹配以及潜在迪利克雷分配等。然而这些方法在对信息更加丰富、结构更加复杂的高分遥感图像进行分类时，由于受到遥感图像中包含的复杂的非线性特征、光谱信息之间在互补的同时又存在极大冗余性特点的影响，很难得到理想的分类结果[3]。

近年来，深度卷积神经网络(CNN)[4-5]在遥感场景分类领域取得了显著成就。与基于人工设计的低层和中层特征不同，CNN通过学习大量的样本来生成图像的特征表示。同时，CNN具有多层结构，获得的深层特征相对于手工设计的特征而言是对遥感图像内容的高层抽象，在对复杂场景识别时有着更好的效果。然而在应用CNN进行遥感图像场景分类时，通常情况下需要大量均衡的标记数据进行训练，当样本数量不均衡时很难，CNN很难在样本较少的种类上实现较好的分类性能。

为了解决遥感图像场景分类中的数据不平衡问题，许多数据不平衡处理方法被提出[6-8]。文献[7]针对数据进行重新采样，对多数类进行下采样并对少数类进行过采样以确保每个类别的均等分布。文献[8]基于重新加权的方法，在损失函数中对于不同的类别加入与类别数量成反比的权重系数。文献[9]采用元度量学习的方式，对多数类进行随机训练以学习跨数据分布的广义知识，然后在所有类别数据上进行微调，以进一步提高模型的分类性能。然而，这些方法在处理高度不平衡数据时仍然受到一定的限制。重采样方法可能会丢失多数类的信息并对少数类数据过拟合，重加权的方式只能在一定程度上缓解不平衡数据的分类问题，而元度量学习需要经过多次训练，并不是一种端到端的学习方式。

本文提出一种新的基于混合采样与插值训练的端到端的训练模型算法，来解决遥感图像场景分类中的数据不平衡问题。具体来说，将遥感图像的训练数据分为样本均衡的训练子集和样本高不均衡的训练子集两部分。在训练模型过程中，使用MixUp[10]方法，对两部分的数据信息充分混合，以提高CNN对遥感图像的分类性能。实验结果表明，基于混合采样与插值训练的端到端的训练模型算法能够在不影响对多数类别的分类性能的情况下提高CNN对少数类别的分类精度。

1 基于混合采样与插值运算的场景分类方法

本文提出的基于混合采样与插值训练的场景分类方法主要分为3个步骤：首先通过混合采样将数据分为样本均衡训练子集和高不平衡训练子集两部分；然后使用MixUp方法对两个子集中的数据进行融合产生新的样本，并送入CNN中训练模型；最后通过多次重复迭代上述步骤得到泛化能力好的分类模型。

1.1 混合采样技术

1.2 MixUp插值运算

在训练神经网络的过程中，网络的规模受到样本数量的限制，训练样本的多样性对于模型的泛化性能有着直接的影响。因此，数据增广技术已经成为了在训练模型是的一种常用手段，通常情况下，依据是否生成新的虚拟样本，对于遥感图像来说，数据增广可以分为两类：一类是通过随机剪裁、水平翻转、垂直翻转等简单运算得到增广后的样本；另一类则是通过生成对抗网络、线性插值等手段，以原样本为基础生成新的虚拟样本。

λ～Beta(α,α),

(1)

λ′=max(λ,1-λ),

(2)

(3)

(4)

这种半监督学习方法是利用了插值训练方法所产生的样本对原样本的线性叠加而生成的，可以使不同类别样本间的分布更为平滑，进一步提高模型的识别能力。

(5)

2 实验与结果分析

本节首先介绍了实验环境和数据，然后介绍了实验过程，最后将本文方法和其他相关算法进行对比。通过准确率、混淆矩阵和不同类别分类效果对比的方式证明本文算法在处理高不平衡遥感数据时的优势。

2.1 实验数据

本文采用了航空影像数据集(Aerial Image Dataset,AID)[12]进行实验验证。AID数据集中共有30类场景，每个场景类别的图像数量在220～420之间，共计10 000张场景图像。图像大小为600×600 px，部分场景图像如图1所示。在AID数据集的每个类别中随机选取50%的样本作为训练数据，并在余下的数据中，每个类别选取100个样本作为测试数据集,余下的样本作为验证集。

图1 部分遥感图像示例Fig.1 Some samples of remote sensing images

2.2 实验过程

使用在Imagenet数据集上预训练的Resnet50[13]作为模型的框架，并且将Resnet50最后一个1 000维度的全链接层改为30个维度的全链接层以实现对遥感图像的场景分类。

对于本文实验，在混合采样后得到的两个数据子集中，每个子集选取16个样本作为一个批次，200批次为一个epoch，共计迭代40个epoch，并使用Adam优化器以3×10-5的学习率优化模型。对于其他对比方法，使用Adam作为优化器以3×10-5的学习率优化模型训练500个epoch，使用验证集上表现最佳的模型在测试集上的准确率作为最终结果。

2.3 实验结果

为了评价本文提出的高不平衡遥感图像场景分类算法性能，将其与现有的重采样、重加权以及元度量学习方法进行对比。同时，在不使用任何策略的情况下训练Resnet50模型作为基准对比方法。

实验一结果如表1所示。由表1可见，在少数类别样本中，在每个类别仅有5个样本的情况下，无论是对多数类的分类情况，还是对少数类样本的分类情况，本文算法的分类准确率都是最高的，充分证明了本文算法在处理高不平衡遥感场景分类时的优势。

表1 实验一：不同算法分类精度的比较

图2和图3为实验一中元度量学习与本文算法在30类遥感图像测试集上的混淆矩阵，清晰显示了算法对不同类别的识别精度。通过图2与图3的对比可以看出，本文方法既能充分提高少样本类别分类准确率，又能在多样本类中保持较好的识别效果。

图2 实验一：元度量学习的混淆矩阵Fig.2 Experiment 1:Confusion matrices of meta metric learning

图3 实验一：本文算法的混淆矩阵Fig.3 Experiment 1:confusion matrices of our algorithms

实验二结果如表2所示。同实验一的结果相似，当少数类的样本数量略有提升时，本文算法在所有类别的分类精度上仍具有较大优势。

表2 实验二：不同算法分类精度的比较

图4为实验二中本文算法在30类遥感图像测试集上的混淆矩阵。

图4 实验二：本文算法的混淆矩阵Fig.4 Experiment 2:confusion matrices of our algorithms

图5通过对比的方式，详细显示了本文算法和元度量学习算法在少数类别中，每个类别有10个样本情况下的精度对比。由图5可知，在每个少数类别仅有10个训练样本的情况下虽然本文算法对个别类别的分类精度略有降低，但对于大多数类别的分类精度均有明显提高。

图5 实验二：本文算法与元度量学习方法精度对比Fig.5 Experiment 2:accuracy comparison between the algorithm in this paper and the meta-metric learning method

3 结论

对高不平衡分布的遥感图像数据，本文首先采用混合采样的方式对数据集进行处理，将数据集分为两个子集，然后基于插值运算对两个数据集中的样本进行处理，将得到的新样本用于训练遥感图像场景分类模型。由实验结果可以看出，所提出的混合采样与值运算方法在处理类不平衡的遥感数据时，既能很好地改善少数类别的识别精度，又能对多数类别的识别精度有所提升，最终提升整体分类性能。