基于元学习的小样本遥感图像分类

甘正胜，孔 燕，刘 琦

(南京信息工程大学 计算机与软件学院，江苏 南京 210000)

0 引 言

随着传感器技术的发展和社会经济价值的需求，研究人员越来越重视对遥感数据的分析。然而，对遥感图像分类存在两个困难：一方面，遥感图像具有高分辨率、空间和语义信息丰富的特点，传统的机器学习方法如svm、knn、决策树难以有效地捕捉到遥感图像的特征。另一方面，由于遥感影像复杂的裁剪、标注工序，研究人员很难获得大规模的遥感数据影像集。

为了针对遥感图像数据集的两个特点，解决小样本遥感图像分类问题，本文基于元学习提出了对meta-lstm[1-3]的改进迁移元学习算法(transfer-meta)，使用卷积神经网络作为分类器捕捉遥感图像丰富的场景语义信息[4]。在预训练阶段，通过变分自编码器的无监督训练学习不同任务之间的通用表征分布，把握跨多任务的知识转移，以完成对元学习器门结构的参数迁移。通过改进元学习器门结构和使用部分更新分类器的训练策略，大幅度减少了meta-lstm的元学习器的训练时间。我们以西北工业大学提供的NWPU-RESISC45数据集作为迁移学习阶段的源数据集，以美国地质调查局提供的UCMerced LandUse数据集和由华中科技大学、武汉大学联合发布的AID数据集在元学习阶段进行模型训练与评估。进行5way-5 shot和5way-1 shot实验。本文选择的主要基准对照实验为meta-lstm，此外本文还进行一系列的补充对照实验。综上所述，本文的主要贡献如下：

(1)提出了基于迁移学习的元学习器门结构初始化方法，使得分类器具有跨多任务的泛化性能；

(2)优化meta-lstm的门结构计算方式，对分类器的FC层进行meta-learning，有效提高了网络结构的整体效率；

(3)提出了基于元学习的transfer-meta算法，为罕见遥感图像数据集的分类问题提供解决思路。

1 相关工作

遥感图像以一定的比例为基础，客观、真实地记录和反映各种地物电磁辐射强弱的胶片或照片。遥感图像蕴含的空间语义信息和场景语义信息具有重要的研究价值和应用意义。

早期的遥感图像分类大部分是人工特征提取方法，例如颜色直方图提取颜色特征、LBP提取纹理特征[5]等等。但是这些方法提取的是单一的低层次的图像特征，难以用来描述遥感图像丰富的语义信息。一些学者使用无监督学习从大量无标签数据中学习遥感图像的特征，然后使用svm等方法进行分类。Li等通过使用大量数据结合群体优化算法对svm的参数进行寻优以提升svm的分类性能[6]。一些机器学习模型如BoVW[7]融合了多种低级特征进行分类，但对遥感图像分类的精度提升有限。因为传统机器学习方法始终很难描述遥感图像的高维特征。

2006年以来，深度学习浪潮开始流行。众多深度学习算法被应用到遥感图像分类。He等使用深度置信网络对遥感图像进行分类，其结果明显优于svm等机器学习算法[8]。Bera等使用基于平均池化和加权池化技术的深度卷积网络在大规模数据集上提取遥感图像的特征进行分类[9]。然而，在一些稀有的小样本遥感数据集上，传统深度学习算法极易导致模型过拟合。针对小样本数据集的分类问题，近年来涌现了一系列方法。Mehrotra等通过使用生成对抗网络学习数据分布更大的不变性空间来进行数据扩充[10]。Koch等使用孪生神经网络处理小样本分类问题，模型通过输入的不同类别的样本对来学习余弦度量空间，然后输出样本对的得分以此判断类别[11]。Vinyal等将度量学习与记忆增强网络相结合提出了深度匹配网络，该网络可以通过端到端的学习完成对小样本的分类[12]。基于度量学习的算法严重依赖于度量方式的选取和度量空间学习的好坏。元学习的算法也被广泛应用于小样本图像分类。Finn等提出了模型不可知元学习方法(MAML)，该模型在训练集上针对不同的训练任务分别更新模型的参数，在测试集上统计所有任务的损失，使用梯度下降算法更新当前轮次的初始模型参数[13]。有研究结果表明，MAML的元素级微调操作极易导致模型过拟合[14]。

2 基于元学习的小样本图像分类算法

本节我们提出了一种基于元学习的小样本图像分类算法。首先，在预训练阶段，通过变分自编码器的无监督训练，提取多任务的低维通用特征。然后，移除VAE的解码器，将编码器输出的隐特征与FC分类层相连构建分类器模型。最后使用改进元学习器和局部更新策略对分类器进行元训练。

2.1 算法框架

深度学习模型是根据梯度下降的优化算法来更新模型的参数，如式(1)所示

(1)

基于梯度下降的优化算法如SGD,ADAM使用固定的超参数或者更新公式来计算步长[15]，人工设计的超参数或更新规则难以有效搜索算法优化空间，而在小样本数据集上使用枚举法进行ADAM等进行调参不仅费时费力还容易导致过拟合。因此，本文采用分类器-元学习器的框架，通过元学习器度量分类器在分类任务上的表现来自动学习模型参数。框架如图1所示。

图1 分类器-元学习器框架原理

在t时刻遥感图像输入分类器f训练，产生遥感图像的预测结果，使用预测结果和对应的样本标签计算交叉熵损失losst， 并与t时刻分类器f的梯度gradt组合成误差信号即元损失lt， 元学习器g接收元损失通过神经网络计算输出t+1时刻的分类器模型参数θt+1， 如式(2)、式(3)所示

gradt,losst←f(Dmeta;θt)

(2)

lt←∅(gradt,losst)

(3)

θt+1←g(lt;Θt)

(4)

相较于传统的人为设定的梯度更新算法，本文采用的框架的优势在于作为神经网络的元学习器具有高度的表达性，可以建模出任何复杂的参数更新公式；并且通过反向传播算法可以对损失函数的优化空间进行高效搜索，为分类器f处理小样本遥感图像分类问题时提供良好的模型初始化参数，有效缓解小样本数据集带来的过拟合问题。

2.2 网络结构设计

2.2.1 元学习器

Li等使用全连接神经网络作为元学习器，通过全连接神经网络预测分类器的梯度，通过分类器损失的最小化下界来更新元学习器。其优点在于元学习网络结构简单，元学习阶段训练时间较短，显然这并未考虑元学习器在优化空间上的搜索行为的前后关联性，大大限制了分类器的泛化性能。Ravi等提出meta-lstm算法，meta-lstm是一种基于LSTM的分类器-元学习器模型框架。元学习器通过LSTM的输入门、遗忘门和输出门3种门结构协同交互运算来有选择性地控制序列输入数据在细胞状态上的流动，将细胞状态拟合参数更新机制完成模型参数的自动学习。meta-lstm相比于全连接神经网络在分类器性能上有了一定提升，但是其元学习器复杂的网络结构会导致模型效率低下，而其随机初始化元学习器门结构的操作使分类器难以学习小样本多任务之间的知识转移。

本文提出基于GRU(gate recurrent unit)的元学习器模型，仅通过重置门和更新门两个门控结构自适应调节元损失信息的流动，同时考虑到元损失的前后关联性和优化模型效率。首先，由于元损失在神经网络的不同层级结构如卷积层、分类层上数值差异较大，所以为了使不同层级的元损失特征处在同一数量级上，加强GRU对分类器的度量性能，需要对元损失进行处理

(5)

其中，元损失l为n×2维，由n×1维的grad和n×1维的loss拼接而成。α为调节元损失的参数设置为10。

然后，将元损失张量传入GRU，通过GRU门控单元将t时刻的元损失lt映射成为分类器更新机制。重置门rt将输入lt与前一时刻的状态ht-1有选择地结合。更新门zt控制前一时刻状态ht-1在当前时刻状态ht的程度

rt=σ(wr*[ht-1,lt])

(6)

zt=σ(wz*[ht-1,lt])

(7)

其中，wr由rt与lt的权重矩阵wrl和ht-1与rt的权重矩阵wrht-1拼接而成，wz由zt与lt的权重矩阵wzl和ht-1与zt的权重矩阵wzht-1拼接而成。

再通过tanh函数将lt与GRU记忆单元的信息相关联

(8)

(9)

2.2.2 基于迁移学习的模型初始化

为进一步缓和小样本输入数据带来的过拟合问题，本文使用基于迁移学习的无监督模型初始化操作。算法分为两步：预训练阶段和元学习阶段。在预训练阶段，本文在NWPU-RESISC45数据集上预训练变分自编码器，通过VAE的无监督训练提取数据集丰富的语义隐特征，将编码层参数迁移至GRU的隐状态中以代替传统的随机初始化操作如meta-lstm，提升分类器在新任务上的泛化性能。

VAE是一种概率生成模型，通过编码解码操作实现真实分布到生成分布的转换。在预训练阶段将NWPU-RESISC45 数据集的影像传入VAE进行无监督训练，通过神经网络的反向传播算法最小化变分推理下界

L(φ′;θ′;x)=Eqφ′(y|x)[logpθ′(x|y)]-DKL(qφ′(y|x)‖pθ′(y))

(10)

其中，qφ′(y|x) 表示映射输入数据x到隐变量y的识别模型，pθ′(x|y) 表示重构隐变量y到x的解码模型，DKL(qφ′(y|x)‖pθ′(y)) 度量qφ′(y|x) 与先验分布pθ′(y) 的相似度。通过变分推理引入固定分布qφ′(y|x) 来求解后验分布pθ′(x|y)。

VAE的无监督预训练操作能够使得由编码器映射的隐变量y包含数据集的通用高级特征，为分类器提供良好初始化参数，降低分类器对标注样本的需求。算法伪代码见表1。

2.3 基于局部更新策略的模型效率优化

Meta-lstm将分类器整个网络参数传入元学习器进行训练，分类器参数多，元学习器输入数据量大，在LSTM复杂的内部结构计算时间效率低下。本文的预训练阶段使分类器把握到了多任务的共性知识转移。本文在元学习阶段使用分类器的FC层参数作为GRU的输入。相比于meta-lstm，FC层的部分更新策略有两个优势：第一，充分利用了预训练阶段的特征提取层参数，经过元学习阶段的finetune，使分类器注意跨任务的共性知识，有效解决小样本过拟合问题；第二，FC层参数较少，FC层的元学习训练大大加速了算法框架的训练时间。

表1 transfer-meta算法伪代码

3 实验与分析

3.1 实验环境配置

本文实验的硬件配置是Windows10操作系统下的Intel i7 8750H cpu，运行内存为8 GB，使用RTX2080Ti gpu来加速模型运算。实验使用的编程语言是python3.7，深度学习库为pytorch1.2。

3.2 实验数据集

实验使用nwpu-resisc45数据集作为预训练阶段的数据集。nwpu-resisc45数据集是西北工业大学发布的遥感影像场景分类数据集。该数据集像素大小为256*256，共有31 500 幅图像，包括45个类别，每个类别有700幅图片，类别包括港口、河流、铁路、飞机等等。本文将数据集按9∶1 的比例划分为训练集和测试集。实验使用UCMerced LandUse和AID作为元学习阶段的数据集。UCMerced LandUse是美国国家地质调查局为土地勘测而制作的遥感图像数据集。该数据集的图像规格为256*256像素，包括21个类别，每个类别有100幅图像。AID是由华中科技大学和武汉大学联合发布的遥感图像分类数据集，数据集包含30个类别，每个类别有220～420张影像不等，总计10 000张。上述数据集如图2～图4所示。

图2 nwpu-resisc45数据集

图3 UCMerced_LandUse数据集

图4 AID数据集

本文将数据集随机划分为元训练数据集，元验证数据集和元测试数据集。每个子集随机抽取5个类别，每个类别随机抽取5个样本进行5way5shot训练，随机抽取1个样本进行5way1shot训练，随机抽取15个样本进行测试。

3.3 实验结果与分析

本文使用GRU作为元学习器，GRU的input size为4，out size为20，使用Adam优化器更新GRU参数，使用卷积神经网络作为分类器，卷积核大小为3*3，输出通道为32，损失函数为预测值与标签的交叉熵。本文从元学习数据集Dmeta的训练集上采样20 000批次的样本训练，每1000批次训练结束后，从Dmeta的验证集上采样数据对分类器的泛化性能进行评估。

3.3.1 UCMerced LandUse上模型性能对比

图5和图6展示了本文算法transfer-meta使用UCMerced LandUse数据集与meta-lstm在20轮次验证集上的分类准确率对比曲线。

图5 5way5shot准确率对比

图5为transfer-meta和meta-lstm在5way5shot实验上准确率的对比图。从图5中可以观察到，本文算法在20轮次的验证集上分类精度均高于meta-lstm。transfer-meta在第8验证轮次分类器泛化能力达到最大，准确率为87.3%，对照方法meta-lstm在第8验证轮次分类器泛化能力达到最优，准确率为81.2%。transfer-meta的分类准确率比meta-lstm提高了7.1%。

图6 5way1shot准确率对比

图6为transfer-meta和meta-lstm在5way1shot实验上准确率的对比图。本文算法transfer-meta在第11验证轮次分类器性能达到最好，准确率为74.0%，meta-lstm在第7验证轮次分类器性能达到最优，准确率为67.0%，相比于meta-lstm，本文算法准确率提高了7.0%。实验结果表明，本文算法在5way5shot和5way1shot上相比于meta-lstm分类准确率有明显提升。

同时，本文分别选取tansfer-meta和meta-lstm分类器泛化性能最好的模型，在Dmeta的测试集上进行测试，并与其它算法进行对比。在测试集上的实验结果见表2和表3。

表2 UCML数据集上5way5shot准确率对比

对比算法transfer learning是基于峰值收敛策略微调在nwpu-resisc45数据集上预训练的卷积神经网络模型。对比算法MatchingNets来自文献[12]，通过学习特征度量空间对小样本数据进行分类。对比算法meta-lstm来自文献[3]。对比算法maml来自文献[14]，算法流程是在Dmeta的训练集上根据不同任务的损失之和更新分类器模型，在Dmeta的测试集上测试性能。对比算法reptile来自文献[16]，reptile是基于maml的first-order gradient算法。

表3 UCML数据集上5way1shot准确率对比

3.3.2 AID数据集上模型性能对比

本文算法transfer-meta使用AID数据集与meta-lstm在20轮次验证集上的分类准确率如图7、图8所示。

图7 5way5shot准确率对比

图8 5way1shot准确率对比

图7和图8分别为两种算法在AID数据集上进行5way5shot实验和5way1shot实验的准确率对比图。从图7 可以观察到，transfer-meta在第9验证轮次分类器泛化能力达到最大，准确率为81.5%，对照方法meta-lstm在第12验证轮次分类器的泛化能力达到最大峰值，准确率为77.1%。transfer-meta的分类准确率比meta-lstm提高了4.4%。从图8中可以观察到，本文算法transfer-meta在第9验证轮次分类器性能达到最好，准确率为65.6%，meta-lstm在第11验证轮次分类器性能达到最优，准确率为59.2%，相比于meta-lstm，本文算法准确率提高了6.4%。不同算法在AID测试集上的表现见表4和表5。

表4 AID数据集上5way5shot准确率对比

表5 AID数据集上5way1shot准确率对比

由表2～表5可以观察到，transfer-meta在5way5shot和5way1shot上都达到了最好的性能，这是因为本文算法结合了迁移学习和元学习的思想，一方面使模型通过VAE的无监督表征训练学习到了多任务之间的知识转移，在初始的验证轮次中就达到了良好的分类性能，另一方面通过元学习的参数更新机制使模型的优化空间得到扩展，能够达到更好的分类精度。

4 结束语

本文针对小样本遥感图像分类问题提出了transfer-meta算法。首先，该算法基于分类器-元学习器框架，通过元学习器的门结构来表示分类器的参数，不仅学习了分类器的参数，还学习了分类器参数更新机制。其次，通过迁移变分自编码器特征提取层参数使分类器学习到了任务之间的共性知识，有效缓解了过拟合的问题。最后，通过修改lstm为gru和分类器局部更新策略大大缩减了元学习阶段的训练时间，提升了模型的运行效率。实验结果验证了本文算法的性能，为罕见的小样本遥感图像分类问题提供可行解。