基于多源遥感图像多级协同融合的舰船识别算法

张亚丽, 冯 伟,*, 全英汇, 邢孟道,2

(1. 西安电子科技大学电子工程学院, 陕西 西安 710071;2. 西安电子科技大学前沿交叉研究院, 陕西 西安 710071)

0 引 言

海上船舶目标监测对国防安全和经济与贸易发展有着重要的意义[1]。随着遥感领域的快速发展[2],光学图像广泛被应用于国防建设、海上救援[3]、船舶交通、渔业管理[4]等海洋应用中。但光学图像成像易受云、雨、雾等影响[5],因此获取高质量的遥感信息较为困难。而极化合成孔径雷达(polarized synthetic aperture radar, PolSAR)穿透能力强,可以弥补光学图像的不足。PolSAR是一种具有全天时、全天候优势[6]的高分辨率成像雷达,可以在复杂气象条件下得到类似光学照相的高分辨率雷达图像[7],能够有效地解决光学卫星在夜间和恶劣天气条件下无法监测海洋目标的问题,是目前海洋监测和海洋目标检测的重要手段[8]。但PolSAR图像一直存在斑点噪声严重[9]、可视性较差的问题,特别是对大范围中的小目标更加难以观测[10]。光学图像包含丰富的细节及纹理信息,可以弥补PolSAR图像可视性较差的问题。可通过将两者进行有机融合,弥补PolSAR图像可视性较差及光学图像质量低的问题[11]。

多源图像融合是指将来自多种不同传感器、同一目标区域的图像信息进行数据融合。相较于单一传感器获得的图像,融合后数据的信息更丰富、特征更清晰、可利用价值更高[12],更有利于提高地物的分类精度。近年来,多光谱与PolSAR图像的融合广受关注,且已有研究人员提出一系列有效的算法,并将算法逐步用于土地覆盖研究、海洋监测、陆地变化检测等领域[13]。目前,已有研究学者提出在像素级、特征级、决策级对PolSAR图像和光学图像进行融合。

针对像素级的融合方法较多,比如基于分量替换的方法[14-15]、基于多尺度分解的方法[16-17]、基于模型的方法[18]等,此类方法主要是直接对图像的像素值进行融合。像素级图像融合相较于其他两类,在计算复杂度与性能比方面更有优势[19],因此应用较为广泛。文献[20]提出将多光谱图像的纹理信息与PolSAR图像的偏振特征结合,通过融合极化信息和纹理信息,运用无监督分类,可明显提高建筑物的分类精度。由于全极化图像在预处理时,需要进行多视处理,使得图像中的地物丢失了大量的边缘与角点信息[21]。文献[22]提出基于主成分分析(principal component analysis,PCA)法,将HSV(hue,saturation,value)变换PolSAR与光学图像进行融合,该方法有效地丰富了PolSAR图像的色彩信息,使其细节与边缘信息更加突出。文献[23]提出基于空谱信息协同与Gram-Schmidt变换的方法将Sentinel-2A与Gaofen-3号图像进行融合,使分类精度整体提高了5%。与原来的图像相比,融合图像的纹理锐度和空间分辨率都得到了很大程度的提升[11],但图像特征量并未得到较多拓展。

特征级融合是指先提取原始图像的纹理特征、几何特征等特征,再将其堆叠融合成新的特征[24]。文献[25]提出对极化和空间特征进行特征融合,以提高PolSAR图像的分类精度。但由于特征维数的限制,其效率较低。针对特征利用不充分问题,文献[26]提出基于复合核的特征融合对PolSAR进行分类,实验证明该方法能够有效地利用PolSAR图像中包含的地极化和空间信息,提高分类精度。以上特征融合方法中的特征仅仅局限于极化和空间特征,没有使分类精度得到大幅度提升,因此图像的特征量也并未得到拓展,且该类方法对特征提取方法有效性的依赖很大[27]。

决策级图像融合是指分别对原始图像进行处理和分类,然后根据一定的决策规则对前述结果进行融合[28]。文献[29]通过对多个分类器的分类结果进行决策融合,进而提高了高光谱影像的分类精度[29],但此类方法依赖于单个分类器的分类精度,需要事先进行调研,因此该方法可靠性低,成本较高[30]。

综上所述,单一融合方式存在不能充分利用数据特征信息、可靠性较低的问题,因此需要研究多级的融合方式,进一步提高数据特征的利用率[31-32]。

近年来,有研究学者提出将特征级与决策级相结合,进行多源图像融合。文献[33]在森林分类任务中提出通过结合目标特征对光学及PolSAR图像进行决策融合,其整体分类精度提高了约4%。文献[34]提出基于高光谱和PolSAR数据的特征级及决策级的融合方式,该方法相比于单级融合方式在地物总体分类精度上提高了约4%。但该类方法信息损失严重,且依赖于特征提取方法及单个分类器的分类结果[35]。

同时,目前图像融合多针对两种数据源的单层级融合,或是针对多源数据进行特征级及决策级融合,信息量利用率低,计算复杂度高。另外,近年来,深度学习凭借分类识别精度高、泛化性强等优势,得到了广泛应用。多频段、多维度的数据,可以展现出目标的高差异性散射和极化特征,因此在目标分类与识别中,将多源信息进行有效的协同并结合深度学习的方向,将具有非常广阔的研究前景。

针对多源数据利用率低、特征量少、目标识别精度低等问题,本文提出一种基于多源遥感图像多级协同融合的舰船识别算法,该算法可应用于多频段PolSAR及多光谱遥感图像的舰船准确识别与定位。该算法的优势在于通过采用多级协同融合方式,充分结合多光谱图像的像素信息及多频段PolSAR图像的极化散射特性,提高了深度学习对舰船的识别精度。

1 基于多频段PolSAR与多光谱遥感图像的多级协同融合

PolSAR对地球表面散射体地分布和特征敏感[36]。波长越长,分辨率越低,穿透能力越强[6]。比如,C波段的Gaofen-3号的电磁波能够穿透到树冠的上部[37];L波段地球观测ALOS卫星相控阵形SAR(简称为ALOS-PALSAR)的电磁波能够更深地穿透树冠[38]。两种波段的电磁波因穿透深度不同而显示出不同的极化特性,但PolSAR数据均存在斑点噪声严重、可视性差的问题。而Sentinel-2B图像纹理、细节、色彩等信息丰富,可以弥补PolSAR的不足。因此,本文提出基于多源遥感图像多级协同融合的舰船识别算法,旨在运用多级协同融合的方法使多源遥感数据发挥其各自优势,达到提高目标识别精度的目的。本文实验流程如图1所示。

图1 所提算法流程图Fig.1 Flowchart of the proposed algorithm

(1) 预处理。因原始PolSAR图像噪声严重、不具有坐标信息等,对其进行多视处理、图像配准、图像滤波、地理编码及定标等预处理。对Sentinel-2B进行大气校正、几何校正处理。原图如图2所示,预处理后的图像如图3所示。

图2 原始数据(美国旧金山地区)Fig.2 Original data(San Francisco, USA)

图3 预处理后的图像Fig.3 Images after preprocessing

(2) 像素级融合。基于以上数据进行像素级融合,以获得具有多特征的融合图像。

(3) 特征融合。基于融合后图像,提取多频段的PolSAR与多光谱图像特征,再进行特征融合。

(4) 分类与识别。基于深度学习,先对特征融合后的图像进行海岸线提取,再进行舰船识别。

1.1 基于像素级的多频段PolSAR与多光谱图像融合

1998年,Laben和Brower提出,GS(Gram-Schmidt)光谱锐化的方法是目前使用最为广泛且效果较好的全色图像与多光谱图像融合的方法。选择全极化的L频段、C频段的SAR分别与Sentinel-2B中的R、G、B、NIR 4个波段进行融合。三者像素级融合步骤具体如下。

(1) 计算Sentinel-2B的R、G、B、NIR这4个波段的权重[38],从而将Sentinel-2B的4个波段数据合并到模拟的极化SAR(HH、HV、VH、VV)波段中。

(1)

(2)

(3)

(4)

式中:Rwt为R波段的权重;Gwt为G波段的权重;Bwt为B波段的权重;NIRwt为NIR波段的权重;OTR(λ)、OTG(λ)、OTB(λ)、OTNIR(λ)分别为对应波段的光学透射率;SRR(λ)、SRG(λ)、SRB(λ)、SRNIR(λ)分别为多光谱对应波段的光谱响应;SRP(λ)为对应通道的PolSAR的光谱响应;Iwt为对应波段的权重。

(2) 当确定了合适的权重,就通过式(5)～式(8)生成对应通道的模拟极化SAR波段:

PolSARHH=R·Rwt+G·Gwt+B·Bwt+NIR·NIRwt

(5)

PolSARHV=R·Rwt+G·Gwt+B·Bwt+NIR·NIRwt

(6)

PolSARVH=R·Rwt+G·Gwt+B·Bwt+NIR·NIRwt

(7)

PolSARVV=R·Rwt+G·Gwt+B·Bwt+NIR·NIRwt

(8)

(3) 将模拟的低分辨率的PolSAR波段用作多光谱数据的第一个波段,并将该波段与原始多光谱Sentinel-2B经过Gram-Schmidt变换或经过公式变换形成GS1。

GS1(i,j)=SimulatedSAR(i,j)

(9)

式中:i为行号;j为列号;GS1为Gram-Schmidt变换所形成的第一个波段。

(4) 经过去冗余及相关性计算,对结果进行修改,并通过下式[38]将第I个GS由前第I-1个GS波段构成:

(10)

式中:I为待转换的波段号;B为原始波段;μI为I波段的平均值。μI和φ(BI,GSl)[38]的计算公式分别如下:

(11)

式中:C是多光谱图像的总列数;R是多光谱图像的总行数。

(12)

(5) 计算第一个GS波段的平均值μ和标准偏差σ,并计算PolSAR对应通道的平均值和标准偏差。计算公式[38]如下:

(13)

(6) 将高分辨率的PolSAR图像拉伸,使其平均值μP和标准偏差σP与第一个GS波段的平均值μGS1和标准偏差σGS1匹配。然后,将该图像交换为第一个GS波段,并将该数据转换为原始多光谱Sentinel-2B的波段空间,并产生5个分辨率更高的多光谱波段[38]。删除第一个波段,即为融合后的结果:

(14)

1.2 基于极化散射及空-谱特性的特征级融合

将从L波段PolSAR与多光谱图像融合结果中提取的特征记为Fsi,作为向量fsi,将从C波段PolSAR与多光谱图像融合结果中提取的特征记为Fuj,作为向量fuj。然后,将两种特征向量经过串联特征融合方法融合[39]如下:

(15)

2 实验数据与参数设计

2.1 实验数据集

实验数据包含两个区域的3种数据,分别为L波段的全极化ALOS-PALSAR、C波段的全极化Gaofen-3号和Sentinel-2B多光谱图像。ALOS-PALSAR图像数据为2009年11月11日成像的L1.1产品,分辨率为12.5 m,原图如图2(a)所示;Gaofen-3号图像数据为2017年9月15日成像的L1级产品,分辨率为12.5 m,原图如图2(b)所示。Sentinel-2B多光谱图像数据为2017年12月21日成像的SLC 1.0产品,分辨率分别为10 m,20 m,60 m(实验选用10 m分辨率的波段),原图如图2(c)所示。其中,PolSAR图像为4种极化方式的HH、HV、VH、VV;Sentinel-2B多光谱图像有13个波段,其中波段2、3、4、8为10 m分辨率,波段5、6、7、8A、11、12为20 m分辨率,波段1、9、10为60 m分辨率。3种实验数据均为美国旧金山部分地区数据。

2.2 参数设置

在使用深度学习进行海岸线提取及舰船识别时,需设置以下4个参数:迭代次数、批大小、特征切片百分比和背景切片比率。根据实验数据大小、训练样本的数量及实际实验经验,设置迭代次数为100,批大小为60,特征切片百分比为1,背景切片比率为0.15。在提取海岸线时,训练样本像素量为2 000个,测试样本像素量为2 000个。在舰船识别与定位时,训练样本像素量为500个,测试样本像素量为500个。两种训练与测试样本均为随机选取。

3 实验结果与分析

本节通过对比分析不同融合方法及原始图像获得的结果,验证所提方法的有效性。

3.1 主观评价——视觉

由于人眼可以直接感知和记录图像中的视觉信息,视觉比较是主观对比图像融合结果最主要与最准确的方式。3种数据融合后,获得一张具有32个波段的融合图像。选择不同融合方式在同一极化方式下的R、G、B波段显示,如图4所示。显而易见,所提算法融合结果中的建筑与城市内部的道路易分辨,建筑体的边缘信息得到增强;海域的噪声较小,海域中的舰船突出;图像整体色彩信息较为协调而偏向于真实,色彩对比度明显。融合结果弥补了PolSAR图像不具有光谱信息的缺点,同时,融合结果也有极化图像的散射信息。综上所述,主观上,整体融合效果较为良好,对于识别定位海上舰船有很大的优势。相比于所提算法融合结果,PCA融合结果中的建筑体与道路不易分辨,且图中建筑体在不同程度上被模糊化,边缘信息被弱化,损失了许多细节信息;海面上的噪声现象较为严重,舰船相对不易区分,海面出现局部明亮且突出;整体的色彩信息相较于多光谱数据较差,色彩对比度较弱,亮度较低,图像出现部分失真。虽然融合结果图像弥补了PolSAR图像所不具有的光谱信息,但是图像失真现象较为严重,纹理信息表现不具有优势。综上所述,主观上,PCA融合效果较差,海域上的舰船失去自身的某些信息,对于识别海上舰船而言并不具有优势。因此,主观上所提融合算法相比PCA融合算法较为适用于多频段、多类型的数据融合。

图4 不同算法获得的融合结果图Fig.4 Fusion result images obtained by different algorithms

3.2 客观评价

本节采用7种常用的统计参数客观评价融合图像的融合质量。7种评价指标分别是:互信息[40]、标准差[41]、空间频率[42]、相关系数[43]、边缘信息保留[44]、差异相关和[45],以及视觉信息保真度[46]。其中,互信息反映的是融合图像从源图像中获取的信息量;标准差反映的是图像信息丰富程度;空间频率反映的是图像灰度的变化率;相关系数反映的是融合图像与源图像的相似度;边缘信息保留反映的是融合图像从源图像中获得的视觉信息的质量;差异相关和反映的是来自源图像的最大数量的互补信息。

表1和表2中的评价指标均为正向指标,指标值越大,表明融合质量越好。表1和表2中的互信息值表明所提融合算法相较于PCA融合算法更适合多频段图像融合,所提算法融合结果保留了较多源图像的信息,即多光谱图像的光谱信息和极化SAR图像的散射信息等。同时,在表1和表2中,所提算法融合算法视觉保真度值均高于PCA融合算法,说明多光谱与全PolSAR图像融合时,所提算法融合算法在视觉上呈现的效果更好。

表1 区域1融合图像质量评价

表2 区域2融合图像质量评价

3.3 舰船识别与定位比较

遥感图像融合的目的是为了所呈现的图像相较融合前更加清晰,图像对比度更加明显,不同地物区分度更强、更易区分。运用图像融合研究海域遥感影像不仅可使获取的海洋景观和海洋要素的图像或数据资料更加丰富,还能够更好地监测海面上来往运行的船只。因此,为证明所提方法的有效性,本文对海面上的船只进行识别与检测,并将结果显示在区域1和区域2的融合结果上。

采用深度学习Tensorflow框架对原始图像、Sentinel-2B和PolSAR图像、所有融合结果进行识别分类,验证结果如图5、图6和表3所示。

图5 源图像与不同算法融合图像的区域1识别结果Fig.5 Recognition results of source images and fused images with different algorithms in area 1

图6 源图像与不同算法融合图像的区域2识别结果Fig.6 Recognition results of source images and fused images with different algorithms in area 2

表3 测试区域识别精度

图5(a)为区域1 Sentinel-2B图像船只识别结果;图5(b)为区域1 ALOS-PALSAR图像船只识别结果;图5(c)为区域1 Gaofen-3号PolSAR图像船只识别结果;图5(d)为区域1所提算法融合图像识别结果;图5(e)为区域1 PCA融合图像识别结果。图5中,以黄色框标注识别出的船只,以红色框标注出识别错误的地方,以蓝色框标注出未识别的船只。基于Sentinel-2B的识别结果中未识别出部分船只,存在个别识别错误的问题。由于船只较小、区域较大,导致基于PolSAR图像的识别结果较差。相比于PCA算法融合结果,所提融合算法图中船只均被识别出,仅出现一个识别错误及船尾波浪被识别为部分船只的问题。

图6(a)为区域2 Sentinel-2B图像船只识别结果;图6(b)为区域2 ALOS-PALSAR PolSAR图像船只识别结果;图6(c)为区域2 Gaofen-3 PolSAR图像船只识别结果;图6(d)为区域2所提算法融合图像识别结果;图6(e)为区域2 PCA融合图像识别结果,标注形式同区域1。基于Sentinel-2B、PCA融合图像的识别结果未识别出部分船只,且存在一只船被识别成两部分的现象。从基于PolSAR图像的识别结果中,可以看出部分船只未识别出,且存在识别错误的问题。基于所提融合算法的识别结果中,船只均被识别出,仅有一个非船只被错误识别。

通过对比表3测试区域的识别精度,可知相比于原始图像,融合后图像的识别精度均有不同程度的提高。相比于Sentinel-2B原始图像的识别精度,所提算法融合后的区域1和区域2图像识别精度分别提高了39.13%和45.46%;PCA算法融合后的区域1和区域2图像识别精度分别提高了4.35%和24.55%。相比于ALOS-PALSAR PolSAR原始图像识别精度,所提算法融合后的区域1和区域2图像识别精度分别提高了51.90%和57.58%;PCA算法融合后的区域1和区域2图像识别精度分别提高了17.12%和36.67%。相比于Gaofen-3号PolSAR原始图像识别精度,所提算法融合后的区域1和区域2图像识别精度分别提高了64.40%和5.12%;PCA算法融合后的区域1识别精度提高了29.62%。因此,证明了基于多源遥感图像多级融合的舰船识别算法的有效性。同时,比较两种融合算法的总体识别精度,所提算法识别精度相较于PCA融合算法识别精度至少提高了20.91%,表明所提算法相较于PCA融合算法更适用于多源多频段的图像融合。因此,本文所提方法可以应用于监测海上往来舰船,具有较高的实用价值。

4 结束语

本文提出一种基于多源遥感图像多级融合的舰船识别算法。该方法在基于多源遥感数据的像素级融合基础之上,将目标特征进行特征级融合,得到新的目标特征。该目标特征有效结合了不同频段PolSAR与多光谱图像多源遥感数据的优势,不仅保留了不同频段PolSAR对不同地物的极化散射特征不同的特点,还尽可能地利用了多光谱数据的光谱与纹理信息。通过利用图像融合评价指标,可知所提算法更适用于多频段PolSAR与多光谱图像融合。最后,通过对原始图像和融合后的图像进行分类与识别,可知两种融合算法相比于原始图像总体识别精度都得到了提高,至少分别提高了34.76%(所提融合算法)和6.91%(PCA融合算法)。因此,证明了所提方法基于多源遥感图像多级协同融合的舰船识别算法可以有效提高海上舰船监测性能,为海上舰船监测提供参考依据。