基于深度学习特征的遥感影像检索研究

周维勋

南京信息工程大学遥感与测绘工程学院，江苏 南京 210044

基于内容的遥感影像检索是解决遥感大数据“数据海量、信息淹没”问题的有效方法，但面对海量的遥感数据，存在两个方面的严峻挑战：第一，遥感影像具有数据海量、尺度依赖、地物种类繁多和场景复杂等特点，基于单一或组合低层视觉特征的检索很难取得满意的检索结果；第二，设计一种适用于不同传感器影像的特征描述方法是不切实际的，传统的人工设计特征的策略不再适用。深度学习通过构造多层网络结构对图像内容进行逐级特征表达，能够实现特征的自适应学习。论文研究基于深度学习对复杂的遥感影像进行场景分析，通过自适应特征学习实现海量遥感影像的精确、快速检索，主要工作和贡献如下。

(1) 传统的基于内容的影像检索通过提取影像的光谱、纹理、形状等低层视觉特征进行检索，这些特征属于人工设计特征的范畴。然而，设计一种稳健、有效的特征描述方法不仅耗时、费力，而且设计的特征难以适用于各种传感器类型的遥感影像。针对这一问题，论文提出了基于SIFT(scale-invariant feature transform)自编码的无监督遥感影像特征学习与检索方法。该方法以自编码器作为网络的基本结构，利用SIFT特征点训练自编码网络学习局部特征提取器，进而挖掘遥感影像的隐含特征模式，较基于像素的自编码方法具有更少的参数、更低的特征维度、更简单的特征提取过程以及更好的检索结果。该方法利用无标签遥感数据进行特征学习，有效解决了缺少标注数据情况下的影像特征学习问题，改善了传统手工特征以及像素自编码的检索效果。

(2) SIFT自编码改善了手工特征的检索效果，但受限于浅层模型本身的学习能力，导致提取的特征相比某些手工特征并没有表现出明显的优势。CNN(convolutional neural network)作为一种有监督的深层网络结构，往往包含几十甚至上百个网络层，能够学习更高层次的图像特征以进一步改善检索结果，但训练一个成功的CNN往往需要大量的标注数据，而标注数据在遥感领域是稀缺的。此外，CNN提取的图像特征通常是成千上万维的高维特征，高维特征不仅需要占用更多的存储空间而且会由于相似性匹配时间更长导致检索效率低下，不适用于大规模的遥感影像检索。针对这一问题，论文首先通过迁移学习，利用预训练的CNN提取遥感影像的全连接层特征和局部卷积层特征进行影像检索，在此基础上，提出了“卷积层+多层感知机”的低维卷积神经网络结构，较预训练的网络结构具有更少的待学习参数、更低的特征维度及更好的检索效果。该方法利用少量的标注数据进行网络训练，有效解决了拥有少量标注数据情况下的基于CNN网络的影像特征学习问题，进一步改善了传统手工特征和SIFT自编码的检索效果。

(3) 遥感影像通常是由多种地物构成的复杂场景，导致对于重合度较高的不同场景现有单标签检索方法难以有效、准确地描述影像内容。针对这一问题，论文提出了基于全卷积神经网络(fully convolutional network，FCN)的多标签遥感影像检索方法，首先利用密集标注的遥感图像库训练FCN，然后基于训练的网络对遥感影像进行多标签分析和区域卷积特征提取，最后基于图像的多标签向量和提取的单尺度、多尺度区域卷积特征实现了遥感影像的多标签检索。该方法通过多标签分析挖掘了影像包含的丰富语义信息，能够更准确地对影像内容进行描述，较单标签影像检索方法更适用于复杂的、重合度高的遥感影像。