深度学习在遥感图像处理中的应用

蒋 睿,杨靖欣,桂承熙

(西南科技大学城市学院,四川 绵阳 621000)

0 引言

现如今,遥感图像在高时间分辨率、高空间分辨率和高光谱分辨率等方面有着巨大突破和创新[1],对地观测网络提供着PB级遥感数据,具有高量级(volume)、多变性(velocity)、多样化(variety)和不确定性(veracity)的特点[2]。遥感技术相较于传统测量手段能更好地采集分析地球数据和地球变化,因此被广泛用于资源调查、城乡规划等多个领域。目标的分类识别是遥感技术重要的研究方向。对于分类任务而言,遥感技术存在以下两个问题:一是数据特征的可分性无法保证;二是被标记的实例数量是有限的。

遥感图像的类型不同,其分类要求和特点也有差异,如像元在不同光谱中具有不同的波谱特征、有不同光谱的异物和现象等,因此分类任务面临着巨大挑战,对于高分辨率遥感图像而言,其空间特征的连续性和有效性对分类结果的好坏起着关键性影响[3]。仅靠人工对遥感图像进行分类是非常困难的,而深度学习模型为遥感图像的分类与识别提供了新的解决思路和方法,目前主流深度学习模型有卷积神经网络CNN、循环神经网络RNN、全卷积神经网络FCN等,将深度学习技术用于遥感图像的处理能解决遥感识别与分类的问题,例如将卷积神经网络CNN应用于遥感图像识别,能够通过提取遥感图像的丰富特征进行检索,提高识别的精确度。

1 深度学习简介

深度学习是结合低层特征,形成更抽象的高层表示类别或特征的过程。而在这些过程中,通过获取大量的信息进行学习,例如图像、声音和文字等信息的学习,并将获取的大量训练数据加载进学习的模型中,然后模仿人的大脑进行分析和学习,最后进行测试[4]。

与传统的浅层学习不同,深度学习具有以下优点:第一,强调模型结构的深度,具有多隐层节点[5]。具备多隐层的人工神经网络具有优异的特征学习能力,其学习得到的特征对数据有着更本质的刻画,有利于可视化或分类[6]。第二,明确特征学习的重要性。信息化时代的到来和高性能计算的发展使其能够刻画出数据丰富的内在信息[7]。

遥感图像相较于自然影像有着较大的差异,比如光照、视角、几何畸变等。根据遥感图像的特殊性质,要使深度学习更加友好地服务于遥感数据处理,需要解决以下问题:

(1)在遥感图像处理领域,由于数据密度(空-光-时)和视场(恶劣天气区域或外星行星)的特殊性,标记样本的缺乏是一种常见现象,严重影响了深度学习模型的充分训练。

(2)由于高维遥感数据的特点,普通自然图像的深度学习模型并不是有效的,而如何设计一个高效的深度学习网络来符合遥感数据的特点是目前研究的一个重要方向。

(3)遥感图像记录了地物的能辐射、电磁波强度等,其固有的光传输模型具有较强的物理意义,但难点是如何将深度学习模型与遥感的物理意义有效结合起来。

(4)深度学习模型在遥感图像特征提取中的黑箱性质难以解释。

2 遥感技术与遥感图像

2.1 遥感技术简介

遥感技术就是通过相关手段进行遥远感知,借助遥感仪器、运载工具以及识别设备探测物体的能辐射、电磁波等信息,然后再对获得的数据进行相应的处理分析,就能达到对物体的感知认识。它是人们认识地球、探测地球乃至宇宙的重要手段。

遥感技术具有以下特点:(1)观测面积大、数据采集快。遥感技术可以在很短的时间内从天空乃至宇宙观测大范围区域;(2)可以动态地反映地区的变化。遥感具有周期性,对同一区域进行连续观测,发现其变化情况,研究其变化规律;(3)受条件限制小,对于地球上的沙漠、沼泽等人类难以到达的恶劣环境,可以通过遥感的手段进行数据的采集;(4)获取信息方式多,信息量大。根据相关要求,可以采用航空遥感、航天遥感,并且以不同波段来获取信息,遥感技术所获信息量极大,仅靠人力难以完成[8]。

2.2 遥感技术发展现状

遥感技术可以获得大范围和精确的数据反馈资料,而我国在数据精确度及处理能力方面有很大程度的提高[9]。遥感技术目前的发展分析:第一,高空间分辨率的遥感观测卫星的应用。目前,大多数卫星具有高分辨率,这对遥感影像图的获取起着重要作用。第二,小卫星的应用发展。小型卫星更新方式快捷方便,因此,小卫星编队已逐渐成为当今时代对大卫星更有效的一种补充形式。第三,在智能传感器上的应用[10]。

2.3 遥感图像处理技术现状

通过遥感记录地物电磁波的相片称为遥感图像。遥感图像的主要内容是由影像构成,然后通过注记和地图符号进行解释说明。影像地图相较于普通地图有着直观明了、信息量丰富、表现力强等优点,弥补了单纯用影像表现地物的不足,也体现了图像与地图的双重优势。

何睿祺解读了合作在“工业4.0”时代的意义，例如西门子与惠普企业（HPE）旗下安移通（Aruba）近日在通讯网络领域达成合作，就一体化通讯网络建立战略合作伙伴关系。双方将依托互补的产品组合优势，帮助客户构建从工厂车间到公司办公室的一体化通迅网络。何睿祺还提到了西门子与Bentley Systems的长期合作。双方近期宣布，将基于高度互补的软件产品组合，联合开发PlantSight云服务，以帮助用户通过简单的门户网络界面随时访问1D/2D/3D数据，从而为所有用户提供不断更新的“数字化双胞胎”工厂。由于过程工厂和持续投资项目的服务时间较长，这项云服务将为工厂运营商带来了巨大的利益。

随着计算机技术的发展,遥感图像处理从最初的人工处理图像目标检测,到现在人机交互的实现。遥感图像的检测效率有着极大的提高,目标检测错误的概率也大幅降低,遥感图像处理进入了自动化阶段[11-12]。随后出现基于机器学习理论的遥感图像目标检测方法,如轻量化网络的遥感图像目标检测方法、深度深念网络的遥感图像目标检测方法等,它们能获得较优的遥感图像目标检测结果,大大提高了工作效率[13-14]。

3 深度学习主要模型

3.1 CNN-卷积神经网

CNN-卷积神经网的特点主要是解决图像识别问题。CNN主要应用在土地利用和土地覆盖、植被、水体等。

(1)卷积核Kernel相当于传统BP神经网络的权值空间化;

(2)权值共享机制可以减少参数数量;

(3)池化可以减少特征参数的数量,减少计算量;

(4)Dropout可以有效避免过拟合[15]。

3.2 FCN-全卷积神经网络

FCN-全卷积神经网络主要特点是解决图像分割问题。FCN主要应用在道路、建筑、植被等[16]。

FCN支持任意尺寸的图像输入并输出相同尺寸的图像,能对输入图像进行像素级的分类,它采用反卷积层对最后一个卷积层的feature map进行上采样,使它能恢复到与输入图像相同的尺寸,从而达到对每个像素都产生一个预测,同时还保留了原始输入图像中的空间信息,最后在上采样的特征图上进行逐像素分类[17-18],解决了语义级别的图像分割问题[19]。

3.3 RNN-循环神经网络

循环神经网络已较为成熟并得到广泛应用。循环神经网络与卷积神经网络虽然都是数据的特征提取器,但两者有很大区别,循环神经网络隐藏层之间的结点是有连接的,而卷积神经网络是无连接的,特别是在隐藏层的输入不仅包括上一时刻隐藏层的输出[21],还包括输入层的输出,即循环神经网络具备时序性关注的是时间维度的特征[22],并且RNN能对任何长度的序列数据进行处理[23-24]。

4 深度学习在遥感图像处理中的应用

4.1 遥感图像检索

深度学习的多种模型对图像的处理来说,卷积神经网络较其他网络模型更具有优势。例如基于内容的图像检索(CBIR)系统主要是以图像低层视觉特征(颜色、纹理等)为线索进行检索,并没有获取图像高层语义特征的途径,造成了人对图像内容的判别依据与计算机的判别依据存在较大差异,进而使得查询图像与候选图像存在不匹配的情况[25]。例如春节图像,人们能感受到其表达出的热闹、喜庆,这是一种较为抽象的概念,但计算机不能判别出来。

CNN在图像检索过程中通过多级网络学提取到丰富的特征,并以此为依据进行检索,极大地提高了检索精度。

4.2 遥感图像融合

为满足用户的使用需求,需要对传感器的图像信息进行融合以弥补单一传感器所获信息的不足,从而得到信息量更丰富和有用的遥感图像[26]。判断遥感图像应用价值的指标主要有全色图像的空间分辨率和多光谱图像的光谱分辨率[27]。但就同一场景在不同的成像条件下用不同的传感器得到的二维图像会存在一定的差异[28]。因此既要保证物体的空间分辨率又要保证多光谱图像丰富的光谱信息是比较困难的。如果将两者的优点结合在一起则会大大有利于数据检测和分析工作。

传统的多光谱和全色图像融合方法主要有:(1)亮度、饱和度、色度变换(HIS)法;(2)主成分分析(PCA)法;(3)正交变换(GS)法[29]。上述3种方法虽能保持空间高分辨率和融合影像质量,但存在严重的频谱失真问题,这也是目前研究的难点之一[30]。近年来,一些学者提出了典型的基于小波变换的多分辨率分析方法,以获得更好的多光谱图像融合效果,但仍存在不能有效表示二维图像信号的缺陷。

4.3 遥感图像超分辨率重建

如何经济、方便地获取高分辨率图像一直是遥感领域的一大挑战,而超分辨率重建技术的出现则为解决这一问题指明了方向。

目前遥感图像超分辨率重建方法主要有3种:插值法、学习法和重构法[31]。其中插值法是最早的SR重建方法,其复杂度最低,实时性好,但结果中的边缘效应明显,对细节的恢复较差[32]。而重构法是一种用时间宽度提高空间分辨率的方法,它操作复杂,效率低,通用性差。目前,遥感图像的SR重建大多停留在这种方法上。学习法克服了传统重建方法分辨率难以确定的缺点,可以直接面对单一图像,这是SR改造的主要趋势。学习法一般依赖于高分辨率和低分辨率图像库的构建,它们之间的内部关系可以通过样本学习获得。目前常用的基于深度学习的SR重建方法有邻域定位法、稀疏表示法和卷积神经网络重建法。

4.4 高光谱遥感图像分类

高光谱遥感图像有着较高的分辨率和更多的波段维数,因此它包含着丰富的空间及光谱信息,但也增加了图像处理的难度,如果使用传统的图像分类算法则不能较好地完成分类与识别[33]。在解决高光谱图像的分类问题时,不仅要考虑分类模型的有效性,还要充分利用其丰富的空间和光谱信息[34]。

高光谱遥感图像因其遥感机理和图像特点包含了丰富的空间信息、光谱信息,但由于信号的高维特征、信息冗余以及成像过程中出现的“同物异谱”和“异物同谱”现象等因素,使得高光谱数据结构具有高度非线性[35]。与传统手工设计特征相比,基于深度学习的图像分类可以自动从底层到高层提取视觉特征和抽象语义特征,将图像转化为更容易识别的高级特征,并通过分类器实现图像像素到标签的映射[36]。3D-CNN(3D卷积神经网络)可以利用高光谱遥感图像数据立方体的特征实现光谱与空间信息的融合。

4.5 高分辨率遥感图像分类

目前,CNN模型已经应用于高分辨率卫星图像分类领域,但仍存在以下问题:

首先,CNN模型的训练需要大量的标注样本;其次,标签样本数量不足导致的限制;最后,上述方法一般采用CNN特征堆叠或CNN模型堆叠和传统分类器堆叠,增加了模型和计算的复杂性。因此如果使用卷积神经网络对高分辨率遥感图像进行分类与识别时,应考虑上述问题[37-38]。

4.6 SAR图像目标识别

合成孔径雷达图像自动目标识别广泛应用于国民经济和国防建设,如自然资源监测系统、军事侦察、灾害监测等。

SAR技术的发展虽然可以提供高分辨率的图像,但也相应地带来了大量数据的处理任务。目标自动识别技术可以让计算机通过样本训练来模拟人类的视觉、分析和分类过程,这就大大减轻了人工负担,提高了工作效率以及识别精准性[39]。目前,合成孔径雷达图像目标识别算法对于图像的分类有着较高的识别度和精准度,主要算法有基于模板的匹配、支持向量机、Boosting和稀疏表示等[40]。将基于卷积神经网络的深度模型应用在合成孔径雷达图像的目标识别中,通过对学习得到的特征来进行分类。

5 结语

深度学习技术的加入为遥感图像处理开辟了一个新的领域,为遥感图像的处理提供了许多神经网络模型,并基于这些神经网络模型产生了许多的处理方法。本文就目前较为成熟的深度学习网络模型进行了简要的介绍,对于深度学习在遥感图像处理的应用进行了举例分析,也提出了部分见解。云计算、大数据等高新技术的广泛应用以及计算机芯片、遥感设备等重要硬件的创新升级都将促进遥感及其图像处理技术的发展。而丰富的数据样本也会促进深度学习的发展,出现越来越好的神经网络模型,更加方便地处理遥感图像。