卷积神经网络在SAR 遥感海岛海岸带地物信息提取中的应用综述

刘鹏谢春华安文韬崔艳荣李良伟

(1.国家卫星海洋应用中心 北京 100081;2.自然资源部空间海洋遥感与应用研究重点实验室 北京 100081;3.国家海洋环境预报中心 北京 100081;4.上海海洋大学海洋科学学院 上海 201306)

0 引言

我国是海洋大国,海岛众多,海岸线漫长,海岛海岸带资源丰富。加快建设海洋强国对海岛海岸带的科学管理、合理保护和适度开发利用提出更高的要求,及时和准确地掌握海岛海岸带的自然环境、资源分布和开发利用状况对于实现海岛海岸带的精细化管理具有重要意义。

由于海岛海岸带的自然环境十分复杂,传统调查手段难以满足科学管理的需求。自20世纪60年代以来,随着遥感技术的不断发展,遥感图像的时空分辨率不断提高,遥感逐渐成为发达国家调查研究海岛海岸带的必要手段。与可见光遥感相比,微波遥感具有不受云雨影响,可以全天候和全天时工作的优点,但空间分辨率较低。合成孔径雷达(SAR)可以获得较高的空间分辨率,被广泛应用于环境监测、资源勘查、态势评估和区域规划等领域[1-2]。精准和高效地从SAR 图像中提取地物信息,已成为各国的研究热点。

1 研究进展

根据在海岸带土地利用分类系统具有较大影响力的美国海岸带变化分析计划(C-CAP),海岸带土地利用类型可分为建设用地、农业用地、草地、林地、灌丛地、荒地、沼泽湿地、河口湿地、水域和水淹地[3]。目前许多国家和机构拥有非常先进的海岛海岸带监测技术,如美国国家海洋与大气管理局(NOAA)、日本国立环境研究所(NIES)以及英国、荷兰、芬兰、瑞典、德国和法国的各种政府或商业研究中心。

国外学者对SAR 遥感海岛海岸带地物信息提取方法的研究起步较早,方法也相对成熟。在研究初期,海岸带地物信息的提取方法是最大似然法和ISODATA 等基于像元的方法,这些方法对于中低空间分辨率的SAR 图像来说效果尚可,而高分辨率SAR 图像单个像元的纹理特征不足以反映地物的形状特征,且各像元之间的拓扑关系有限,无法准确地反映真实的地物信息。Yamagata等[4]利用灰度共生矩阵,对ERS-1和JERS-1的单极化图像进行纹理分析,完成对海岸带湿地植被系统较高精度的地物分类;Lee等[5]提出基于Wishart分布的最大似然有监督分类算法,通过地物目标的电磁散射机制,极化SAR 数据可分解出很多能反映地物目标的特征;Cloude等[6]提出无监督分类算法,通过极化分解得到散射熵H和散射角α,从而对目标地物进行分类,已成为应用最广泛的分类算法之一;Ghedira等[7]首次采用神经网络方法,对Radarsat卫星SAR 图像的海岸带地物信息进行提取,取得不错的效果;Moghaddam 等[8]将基于规则的决策树算法用于单极化SAR 图像的海岸带地物分类;Arzandeh等[9]改进灰度共生矩阵纹理分析方法,对单时相Radarsat卫星图像的海岸带湿地进行分类,显著地提高分类精度;Taft等[10]利用SAR 图像的极化特征,实现坦桑尼亚候鸟冬季栖息地海岸带地物信息的提取;Yamaguchi等[11]在Freeman-Durden 分解的基础上,为表征螺旋体散射的分量增加第四个分量即螺旋散射分量,得到Yamaguchi散射模型,从而更准确地反映目标地物的散射特性。自2006年以来,深度学习理论的应用推动SAR 图像地物信息提取技术的发展。例如:Hänsch 等[12]利用复数神经网络进行极化SAR 的分类,取得不错的效果;Geng等[13]提出深度监督压缩神经网络,用于提取SAR 图像地物信息,网络的监督惩罚机制能充分挖掘特征与标签之间的相关信息,压缩约束可以增强网络的鲁棒性,与传统方法相比具有更好的分类性能。

国内应用SAR 图像进行海岛海岸带地物信息提取的研究起步较晚,但也取得较好的成果。曹永锋等[14]引入主动学习方法,通过对北卡罗来纳州华盛顿县海岸带的全极化SAR 数据进行实验,验证主动学习对地物信息提取的有效性和可行性;Xie等[15]将稀疏自编码器应用于极化SAR 的地物分类,该方法可以学习多层次特征,从而提高分类精度;Chen 等[16]利用改进的FCM 算法并结合Cloude-Pottier分解,探究SAR 图像在江苏沿海滩涂分类中的应用能力;Liu等[17]提出新型的受限玻尔兹曼机即WBRBM,结合SAR 图像局部的邻域信息,模型可以更快地收敛,从而提高训练速度和缩短训练时间;折小强等[18]提出基于极化熵结合混合广义极值分布模型的全极化SAR 数据的潮间带地物信息提取方法,并成功应用于上海崇明东滩潮间带地物信息的提取;徐梦竹等[19]利用Freeman分解和Cloude-Pottier 分解提取的极化特征,与Shannon熵结合构建特征集,并通过自编码器提取深层特征,使数据更具可分性,研究结果表明引入Shannon熵可显著提高海水、沙滩和泥滩等不同地物的区分度,从而实现对全极化SAR 图像中不同海岛地物的有效区分。

目前国内外学者对SAR 遥感海岛海岸带地物信息提取的研究大多基于图像的极化特征和纹理特征,虽已取得丰硕成果,但仍存在亟待解决的问题。例如:①不同类别湿地植被的后向散射系数重叠,大部分基于阈值分割的地物分类方法精度不高,尤其是对河口森林湿地和河口灌木湿地的区分;②表面粗糙度不同的沙滩与泥滩虽可用相同极化方式的SAR 图像进行区分,但对干湿条件的要求较高,难以区分潮间带的沙滩与泥滩;③采用交叉极化方式的图像能较好地识别海岸线,但难以判别表面粗糙度不同的沙滩与泥滩;④多时相和多源的SAR 数据体量巨大,面对海量和冗杂的海岛海岸带数据,须应用更快速和更智能的算法挖掘其潜藏特征,从而更精确地提取海岛海岸带地物信息。

2 SAR 的原理和特点

SAR 的成像原理如图1所示。

图1 SAR 成像原理

SAR 之所以能获得较高的空间分辨率,主要是因为其利用多普勒效应。雷达发射电磁波的频率和相对频率分别为f0和f',电磁波的波长为λ,卫星与被观测点之间的距离为r。卫星与被观测点之间存在相对运动,相对速度w'为卫星速度矢量w在波束方向(方位角为ψ)上的投影,即w'＝w ×cosψ。电磁波的传播速度为c,雷达回波的多普勒频率由相对运动引起的接收频率和发射频率之差即多普勒频移Ω,由上式可得由于卫星速度远小于电磁波传播速度,可进一步推出多普勒频移与方位角的关系,即,经微分可得频移分辨率在整个采样时间ts内,卫星移动距离XD ＝wts,可得SAR 的方位分辨率就相当于真实SAR的孔径尺度D,这样就通过合成孔径技术获得较大的天线孔径,并提高方位分辨率。脉冲持续时间为τ,入射角为θ,可得距离分辨率;由于雷达脉冲宽度越窄,脉冲持续时间越短且距离分辨率越高,通过减小脉冲宽度和缩短脉冲持续时间,就可获得较高的距离分辨率,从而提高雷达的空间分辨率。

采集到的SAR 数据属于原始的二维数据,还不能称之为图像。在经过初步处理后即可转化为单视复数据(SLC)和多视复数据(MLC)形式的图像,SLC和MLC 又可进一步处理并转化成极化SAR数据。

电磁波发射和接收的极化分为水平和垂直2种方式,根据电磁波发射和接收的组合方式,SAR 数据可分为单极化数据、多极化数据和全极化数据。如果SAR 传感器对电磁波的发射和接收均为水平极化方式,其产生的SAR 数据为HH 单极化数据;同理,如果SAR 传感器对电磁波的发射和接收均为垂直极化方式,其产生的SAR 数据为VV 单极化数据;如果发射和接收的组合方式为水平极化与垂直极化的两两完全组合,其产生的SAR 数据为全极化数据,其他组合方式产生的SAR 数据即多极化数据[20]。与单极化数据和多极化数据相比,全极化数据的信息量更加丰富,可展现更细致的地物信息,已成为重点研究对象。

由于SAR 图像具有数据量大、多时相性、多源性、模糊性和空间维数高等特点,从SAR 图像中准确获取地物信息以及对SAR 图像进行高效的特征提取仍存在一些问题。与此同时,随着计算机技术的发展,人工智能理论逐渐成熟并得到广泛应用,Hinton等[21]提出深度学习的概念。近年来,随着网络结构的改进和处理器性能的提高,计算机对大数据的高速处理技术日渐成熟,深度学习网络在图像处理、语音识别和自然语言处理领域取得突出成绩[22]。利用深度学习网络对海量SAR 数据进行处理,增强对不同数据来源和不同地物目标的适应性,可很好地表示SAR 图像的空间特征和极化特征,实现准确和快速的解译,有效对地物进行分类和识别。

卷积神经网络(CNN)是深度学习最常用的网络之一,是专门用来处理数据结构并与网格类似的神经网络。SAR 图像可被视为二维像素网格,在直接输入SAR 图像后,通过选择合适的卷积核对图像进行变换,可减少图像预处理的工作量,同时可更好地利用图像特征以及提高图像分类的精度和鲁棒性。此外,引入卷积神经网络理论和模型还能更好地应对地物目标的非线性混合[23],对解决海岛海岸带地物信息提取中存在的不同地物混合等问题具有重要意义。

3 卷积神经网络及其应用进展

3.1 卷积神经网络的结构和原理

卷积神经网络是由多个模块组成的全局可训练的人工神经网络模型,每个模块由卷积层、非线性激活层和池化层3个部分组成,最后由全连接层输出结果。基本结构如图2所示。

图2 卷积神经网络的基本结构

卷积层用于提取特征,通过对网络中的各子区域进行更深入的学习,得到更加本质和更加抽象的特征。由于卷积是线性运算,通过卷积提取的特征也是线性的。为实现目标的非线性可分,须采用激活函数增加非线性映射运算提取非线性特征。常用的激活函数包括Sigmoid 函数、Tanh 函数和Re LU 函数3种。

(1)Sigmoid激活函数为:

该函数的输出值为0～1,可以表示概率。该函数是传统神经网络最常用的激活函数之一,但也存在弊端。当输入值偏向曲线两侧时,神经元的梯度值约为0,使得每次迭代参数的更新值非常小,梯度消失,网络无法学习;当函数的输出均值不为0时,后层节点的输入均值必不为0,导致梯度值和参数更新的方向出现偏差,收敛速度缓慢。

(2)Tanh激活函数为:

该函数的输出均值为0,收敛速度较快。但与Sigmoid函数存在同样的问题,即当输入值偏向曲线两侧时,易导致梯度消失。

(3)ReLU 激活函数为:

当x为负值时,导数恒为0,硬饱和;当x为正值时,导数恒为1,不会导致梯度消失。因此,该函数可在不依赖无监督的情况下,直接有监督地同时训练多层网络。

上述3种函数的曲线如图3所示。

图3 常用的激活函数

卷积后图像的特征维度很大。例如:对于60×60(维)的图像,若定义60个5×5(维)的卷积核提取图像特征,每个卷积核得到的特征图维度为(60-5+1)×(60-5+1)＝3 136(维),60个卷积核将得到60×3 136＝188 160(维)的特征向量。分类器很难学习如此高维的特征,且易过拟合,池化层即针对此类问题而产生。池化层又称下采样层,通过对特征图进行稀疏处理,扩大感受野,保留最佳特征,降低特征图维度,减小计算量,避免网络过拟合,保持图像的旋转不变性。经过多次卷积池化操作后,须通过全连接层对网络提取的特征进行合并整合,并输出最终的结果。

3.2 卷积神经网络的发展

3.2.1 网络结构

早期的卷积神经网络结构比较简单,如经典的Le Net-5模型[24]主要应用于手写体识别等相对单一的视觉识别领域。Krizhevsky 等[25]提出Alex Net模型,对局部神经元的活动创建竞争机制,增强模型的泛化能力;使用CUDA 加速网络训练,缩短训练时间;首次将卷积神经网络应用于Image Net大规模视觉识别挑战赛,并一举摘得桂冠。

随后,卷积神经网络备受各方关注,学者们根据各自的研究目的和应用领域,改进和优化卷积神经网络的结构和参数。Simonyan等[26]探究卷积神经网络的深度并提出VGG 模型,通过对不同层数的网络在图像分类中的结果,证明提升网络深度可有效提高图像分类精度。也有学者通过增加网络宽度来提升卷积神经网络的性能,但参数的增加不仅会大大增加计算量,而且会使网络陷入过拟合。Google团队提出名为Inception的新型结构[27],不仅能保持网络稀疏性,而且能充分利用密集矩阵的计算性能。Inception结构在原模型的基础上对卷积层进行分块,使用3个不同大小的卷积核结合1个池化层构成新的卷积层,有效避免由于网络模型密集导致的过拟合,同时也能解决传统神经网络使用随机稀疏链接而产生的计算性能下降等问题,为卷积神经网络的发展提供很好的结构依据(图4)。

图4 Inception结构

Springenberg等[28]对卷积神经网络池化层的存在必要性提出质疑,并设计不含池化层的“完全卷积网络”。这种网络在结构上比其他卷积神经网络更简单,但性能可与其他卷积神经网络相匹敌。He等[29]提出按一定的规则用卷积层堆叠不同的残差模块构建深度残差网络,从而解决退化问题,训练误差随层数的增大而减小,误差率远低于VGG模型。

对于卷积神经网络结构的研究具有广阔的前景,目前主要形成两大趋势。①增加卷积神经网络的深度,重点解决深层网络存在的痼疾(如梯度消失),从而解决深层网络的训练问题;②优化卷积神经网络的结构,降低深层网络的复杂度,增强对神经网络结构的认识,开发更加简洁和高效的网络,提升网络性能。

3.2.2 训练方法

由于卷积神经网络属于多层的前馈神经网络,可用反向传播算法及其衍生算法进行训练[30]。然而越来越复杂的模型结构使得训练所需的样本集越来越大,反向传播算法已不能满足新模型的需求。近年来,学者们提出新方法来加速网络训练,根据加速机制可大致分为基于CPU 或GPU 的硬加速方法以及基于加速算法的软加速方法。

硬加速方法是采用CPU 或GPU 等处理器编程实现卷积神经网络快速训练的算法。Krizhevsky等[25]提出的著名的Alex Net模型即采用GPU 加速训练,从而减少训练时间;Rajeswar等[31]提出的CPU 和GPU 训练方法的训练速度可比传统训练方法提高10～12倍。近年来,学者们还提出基于云计算的加速方法,如基于Apache Spark云计算环境的训练方法[32]对卷积操作的加速效果明显,训练速度可比传统训练方法提高40～250倍。

软加速方法通过加速算法提高训练速度。Cong等[32]基于Strassen矩阵乘法的思想,通过降低卷积神经网络的计算量来减少训练时间,取得不错的效果。Kim 等[33]在池化层前加入1个附加层,采用基于极限学习机的改进反向传播算法对附加层中的参数进行优化,不仅极大地减少训练时间,而且对小规模的样本集训练也有较高的准确率。

3.3 卷积神经网络在SAR遥感海岛海岸带地物信息提取中的应用

SAR 与光学传感器的成像机制不同,SAR 图像的亮暗可反映地物后向散射回波的强弱,即图像越亮则回波越强,图像越暗则回波越弱。地物表面越粗糙,SAR 接收的后向散射越强,图像越亮,如海面和潮滩等表面相对光滑的地物在图像上偏暗,而建筑和基岩海岸等表面相对粗糙的地物在图像上偏亮。尽管某些地物的目视亮暗差异不明显,但通过对训练集的学习,卷积神经网络能够提取更本质和更抽象的特征,从而准确地分类地物。目前针对海岛海岸带地物信息提取的卷积神经网络研究较少,但已有较好的成果。Bentes等[34]构建可重叠去噪和自动编码的卷积神经网络,实现对海洋目标的分类;马丽媛[35]采用基于复数轮廓波的卷积神经网络提取旧金山海湾地区的地物信息,在不同方向和不同尺度上逼近待分类的图像,得到对SAR 图像更稀疏的表示,整体精度提升5.29%;李金鑫[36]对比样本集切片的大小对分类结果的影响,验证卷积神经网络应用于SAR 地物分类的高效性;Bentes等[37]利用卷积神经网络实现对Terra SAR-X 高分辨率图像提供的港口、油轮、货船、海上平台和风力发电机5个目标数据集的分类,并得到广泛的应用。可见,卷积神经网络用于SAR 遥感海岛海岸带地物信息提取具有较大发展潜力。与传统方法相比,基于卷积神经网络的地物信息提取方法精度更高,鲁棒性和泛化能力更强。

4 结语

现有的基于极化特征和纹理特征的海岛海岸带地物信息提取方法虽取得不错的进展,但仍有一些尚未解决的问题。近年来,随着深度学习浪潮席卷而来,卷积神经网络在图像处理领域的表现尤为亮眼。其通过提取图像中地物的深层特征,可检测出地物的细微差别以及应对地物目标的非线性混合。卷积神经网络的不断发展对提高海岛海岸带地物分类的准确率以及解决不同地物混合的问题具有重要价值。

卷积神经网络在地物信息提取中的优势大致可分为5个方面:①卷积层可以提取更本质和更抽象的特征,检测出SAR 图像中相似地物之间的细微差别;②应对非线性的优势有助于解决不同地物混合的问题;③池化层可以筛选出最有价值的特征和减少冗余的特征,从而减小计算量;④结构简单,网络权值共享的特性可以极大地减少参数数量;⑤可直接将SAR 图像的原始像素作为输入值,而无须预先提取图像特征,避免重复和烦琐的图像数据预处理工作。

基于目前卷积神经网络在SAR 遥感海岛海岸带地物信息提取中的应用现状,未来应在3个方面开展尝试和探究。①由于卷积神经网络在小规模样本集中的优势不明显,可选取一些已经在大规模样本集上训练好的泛化能力强的模型,再输入少量的研究样本微调参数,从而减小工作量,且在理论上并不影响精度;②根据我国不同地区海岛海岸带的环境特异性,确定合适的结构参数,包括卷积核大小、卷积层数和学习率等;③尝试构建较大规模的海岛海岸带SAR 图像样本集,更好地训练所用的卷积神经网络,为相关研究人员或业务部门提供样本数据支持,为我国海岛海岸带监管提供精细化服务。