APP下载

结合视觉显著性和EfficientNetV2的舰船目标检测方法

2024-03-12梁秀雅冯水春陈红珍

计算机工程与应用 2024年5期
关键词:舰船尺度显著性

梁秀雅,冯水春,陈红珍

1.中国科学院国家空间科学中心复杂航天系统综合电子与信息技术重点实验室,北京 100190

2.中国科学院大学计算机科学与技术学院,北京 100049

基于海量的数据源对海上舰船目标进行智能检测与识别是一项重要的任务,在民用上可以辅助港口船舶管理、海上秩序维护,在军用上可以辅助战场态势感知、目标智能分析。与合成孔径雷达[1]和红外图像相比,可见光遥感图像更加直观,为目标识别提供清晰丰富的图像细节,易于提取目标特性。光学遥感卫星获取速度快、分辨率高、重访周期短的特点导致短时间内获得超大数据量的信息,且遥感图像幅度大,面对不同的干扰场景,保证舰船目标检测算法的准确率以及快速性极具挑战。目前基于光学遥感图像的舰船检测主要面临以下挑战:

(1)背景干扰容易造成舰船目标的虚警和漏检。海面上存在海杂波、雾气、云层等复杂环境的干扰,增加了舰船检测的难度,海面环境干扰的时变性也给背景噪声的抑制带来困难。

(2)宽幅遥感图像稀疏舰船目标的检测效率低下。航空图像的拍摄距离较远,目标只占整幅图像的很小的一部分,检测和识别方法对于海面上稀疏的舰船目标,采用传统的滑动窗口技术检测效率低,无法满足实时性要求。

(3)检测和识别算法对尺度和旋转的适应性问题有待解决。不同拍摄视角、拍摄距离以及目标朝向使得航空图像中的海面目标存在尺度多变性和旋转多变性。

(4)算法复杂程度和运算效率制约了其在工程上的应用。模型大部分计算量和体积都很大,受限于设备的计算资源和电池容量,只能运行在高性能的服务器上。

现有的传统舰船目标检测方法大多分为感兴趣区域(region of interest,ROⅠ)提取与虚警判别两个阶段。在第一阶段主要分为两种方法,第一种基于灰度信息统计特征的方法通过寻找目标和背景之间的灰度差异,设定合理的阈值,有效提取出感兴趣区域。如Shuai等[2]通过二值分割算法选取阈值,Leng 等[3]采用OTSU 分割算法来区分潜在的目标像素和杂波像素。该类方法计算工作量小,当舰船目标和背景的灰度差异明显时效果较好,但是其适应能力和鲁棒性较差,难以适应复杂场景。第二种方法执行滑动窗口,对整幅图像遍历搜索,能够大大降低漏检率,如Zhou等[4]利用多尺度滑动窗口从测试图像中获取patch。采用滑动窗口暴力搜索的方式来进行区域提取,产生的候选区域较多。由于海面舰船目标分布稀疏,检测算法对每一区域同等对待,计算效率较低。现有目标检测方法很难在保证质量的同时,保持较快的速度。由此可见,选择适当的ROⅠ来消除或减轻不相关背景的影响是非常必要的步骤。为了解决这个问题,视觉显著性模型在ROⅠ检测领域引起了广泛关注[5]。

在第二阶段,大多数传统的算法利用船舶特征和候选分类器剔除虚假警报。该阶段的关键问题是找到有效的描述符来描述舰船目标。通常选择的主要特征包括局部二值模式(local binary patterns,LBP)、尺度不变特征转换(scale-invariant feature transform,SⅠFT)特征、方向梯度直方图特征(histogram of oriented,HOG)等。由于图像中的舰船目标方向是任意的,因此旋转不变目标检测具有重要的意义。Yang 等[6]利用Structure-LBP特征来表征舰船的固有拓扑结构从而判别真实舰船目标。Dong 等[7]提出一种结合方向梯度直方图(HOG)和傅里叶基的旋转不变描述子,以区分船舶和非船舶。分类器主要使用支持向量机(support vector machine,SVM)、自适应增强(adaptive boosting,AdaBoost)、贝叶斯等进行分类识别。该类方法通过手工设计提取特征,过程较为繁琐,且对目标的多样性变化鲁棒性不强。

深度神经网络具备强大的特征提取与处理能力,研究者们尝试用深度学习的方式进行舰船检测。深度学习方法检测主要分为基于候选区域的方法与基于回归的方法。基于候选区域的方法以区域卷积神经网络(region based convolutional neural network,R-CNN)、Faster R-CNN为代表,属于两阶段检测算法。R2-CNN[8]设计了轻量级主干Tiny-Net来进行特征提取,并采用先判断、后定位的方式,滤除掉没有目标的子图像块。回归方法以YOLO(you only look once)、SSD(single shot multibox detector)为代表,将检测看作回归任务。史文旭等[9]在SSD 基础上添加反卷积和池化特征模块融合深浅层信息,增强目标特征之间的关联以实现舰船目标检测。陈冬等[10]改进YOLOv3网络,引入对舰船目标比例和形状自适应的可形变卷积进行舰船目标检测。以上都属于Anchor-based算法,此类方法存在着正负样本不均衡以及超参数过多的问题。随着Anchor-Free方法的流行,CornerNet、CenterNet等对目标的关键点进行预测。Chen等[11]提出了一种端到端的全卷积Anchor-Free网络,预测船头、船尾以及舰船中心3类关键点及角度,利用关键点生成舰船包围框。深度学习舰船目标检测方法能够有效提取高层语义特征,然而训练需要丰富的数据集,数据集的样本数量严重影响网络检测能力[12],并且网络中大规模的权值参数会消耗大量的计算和内存资源。

基于上述分析,海面舰船目标检测算法应具有较强的抗干扰能力与适应性,具有较低的计算量,同时满足工程上的实时应用,以实现复杂海洋环境下舰船目标的高实时在线提取。视觉显著性检测是对人类视觉和认知系统的模拟,而深度学习则是对人类大脑计算方式的模拟[13],本文将二者结合,检测框架如图1所示。方案采用由粗到细的思想:快速筛选,精细鉴别。在感兴趣区域提取阶段,提出基于小波变换的多尺度四元傅里叶变换相位谱模型(wavelet transform multiscale PQFT,WT-MPQFT),利用多尺度小波分解得到方向增强且噪声抑制的多尺度图,改进原始四元数,引入对比度特征,通过四元数傅里叶变换及反变换生成显著图,引入Gini指数自适应调整显著图的相对权重。模型不仅能在复杂的海洋背景下快速获得较为完整的ROⅠ,大大减少虚警,并且也可以检测到较小的舰船目标,降低漏警率。得到显著性映射后,进行二值分割提取目标候选区域。在目标识别阶段,利用轻量化的识别模型EfficientNetV2进行目标判别,提高准确率。

图1 海面舰船目标检测框架Fig.1 Detection framework of ship targets on sea

1 视觉显著性检测

1.1 相关工作

视觉显著性检测主要分为基于任务驱动的自顶向下模型和基于数据驱动的自底向上模型两种。基于任务驱动的自顶向下模型利用一些高级语义知识来指导检测过程,属于一种根据任务自觉计算特征的高级认知过程,没有通用的模型,计算成本较高。如Song[14]提出一种区域显著性检测(AⅠRSD)方法来快速搜索大尺度低分辨率图像中的ROⅠ。基于数据驱动的自底向上模型通常基于图像进行显著性分析,根据是否进行频域变换,分为空间域模型或变换域模型。空间域模型包括ⅠTTⅠ、基于注意力的信息最大化模型(AⅠM)、局部对比模型(LC)、上下文感知模型(CA)等。变换域模型在频域空间利用频域特性完成视觉显著性的检测。典型的变换域模型包括谱残差模型(SR)、基于四元傅里叶变换相位谱模型(PQFT)、超复数傅里叶变换模型(HFT)等。相比于空间域模型,变换域显著性模型计算量小,在目标检测领域应用较广。如丁荣莉等[15]基于谱残差法对图像进行增强以提取目标候选区域,Nie 等[16]构建了一种新的基于四元数超复傅里叶变换的视觉显著性检测方法来定位ROⅠ。也有研究者将空频域相结合进行显著性检测,如黎经元等[17]利用元胞自动机算法融合空域显著特征和频域显著特征构建显著图。大多数的显著性算法都在特定的环境下效果较好,针对复杂海面地貌、干扰背景下的光学遥感图像舰船目标检测问题一直是研究的热点。

1.2 PQFT算法

PQFT 算法构建由强度、颜色和运动特征组成的四元数表示图像中每一个像素点,将傅里叶变换的维度从二维扩展为四维,并取四元数四维傅里叶变换结果的相位谱进行反变换得到最终的显著性结果。PQFT算法流程分为三步:

(1)构建四元数特征

其中,t表示时刻信息,M(t)表示运动特征,RG(t)、BY(t)为人脑正常接受的颜色特征,I(t)为亮度特征,ψ1,ψ2,ψ3相互正交且ψ3=ψ1ψ2。r(t),g(t),b(t)是彩色图像的三个通道,利用下式将其扩展至广义调谐红、绿、蓝、黄颜色通道:

由此可得运动特征M,颜色特征RG、BY以及亮度特征I的表达式:

由于本文研究的光学遥感图像为静态图像,没有时刻信息,故公式(1)表示为:

化简表达式:

(2)四元数特征傅里叶变换

对q(x,y)、f1(x,y)、f2(x,y)进行傅里叶变换,得到如下公式,其中i=1,2:

公式(16)为Q[u,v] 的指数表示形式,其中ϕ表示相位:

(3)保留相位谱进行四元数反傅里叶变换,高斯平滑得到显著图

其中,q2(x,y)为四元数特征反傅里叶变换结果。F͂i[u,v](i=1,2 )为Q[u,v] 的振幅谱‖Q[u,v] ‖设定为1后的相位分量,f͂i(x,y)(i=1,2 )为对应相位谱的反傅里叶变换结果。最终显著图S(x,y)由公式(19)得到,其中,G(x,y)为高斯滤波器。

2 WT-MPQFT视觉显著性检测

PQFT算法应用于海面舰船目标感兴趣区域提取有如下优点:频域显著性检测算法速度较快,满足海面舰船检测的实时性要求;有效突出舰船目标所在区域的显著性,与背景进行区分;可以抑制部分背景信息的干扰[18]。但也存在着一些问题,该算法对图像分辨率和目标尺寸较敏感,尤其是基于傅里叶变换域的显著性模型,在不同尺寸图像上的舰船目标检测结果不稳定,显著图相差较大;当存在小目标,目标与背景对比度较低,对比度相差较大的目标存在时,容易造成大量的漏检,丢失目标影响检测精度;由于光学遥感图像为静态图像,无运动信息,原四元数中的Move 信息为0,将导致PQFT 的提取精度降低。

针对上述问题,提出一种基于改进PQFT算法的显著图检测方法—WT-MPQFT,算法流程如图2所示。本算法主要包括6个步骤:首先对输入图像进行二维多尺度小波分解,利用得到的小波分解系数进行图像方向特征增强,对增强后的各尺度图利用不同特征构建四元数,进行四元数傅里叶变换及反变换得到多尺度显著图,最后引入Gini 指数自适应调整显著图的相应权重,进行级别内多尺度和不同级别间的显著图融合。所提出算法的详细流程如图3所示,通过WT-MPQFT方法进行感兴趣区域定位后,利用OTSU算法提取目标候选区域得到舰船切片,最终利用识别网络进行虚警剔除,确定舰船目标。

图2 WT-MPQFT算法流程Fig.2 Procedure for WT-MPQFT algorithm

图3 算法的详细流程Fig.3 Detailed flow of proposed algorithm

2.1 二维多尺度小波分解

小波变换作为一种多分辨率分解技术,具有更加直观、高效的描述框架和多分辨率分析能力。基于小波变换的空频域分析,小波系数可以有效地表达,检测不同频带和带宽的信号,且噪声的小波系数值则随着尺度加大而逐渐减小。每级的二维小波变换都会将图像分解成四部分,分别是低频子带图像,水平细节、垂直细节和对角细节三个高频子带图像。小波的这一特性对于图像显著目标检测具有重要意义,一方面低频图像剔除了图像的部分冗余信息,另一方面高频图像具有方向性,故将其作为显著特征中的方向信息进行应用。对于输入的图像,在不同颜色通道的进行多级小波变换,生成图像的各级分解系数。考虑到滤波尺寸、计算时间和处理效果,选用Haar 小波基分解图像。设置分解最大级数为3,如公式(20)所示:

其中,WTj是第j级小波分解函数,(x,y)是输入图像的像素位置坐标,c代表输入图像的颜色通道,c∈{R,G,B},f c(x,y)表示输入图像的c通道图像,、、WVc(j)、WDc(j)分别表示c通道j分解级数上的图像近似、水平、垂直、对角线方向的小波系数。对R通道的图像进行分解,前三级结果如图4 所示,可以看出随着分解级数的增加,图像的细节特征会随着分解级数的增多而相对减少,且噪声小波系数减小。

图4 R通道三级小波分解结果Fig.4 R channel three-level wavelet decomposition results

2.2 方向特征增强

舰船目标的显著性是不同于其周围分布的,该区域会在小波域中的某个尺度、方向和颜色通道上凸显出来。本文提出的模型在不同的颜色通道(R、G、B),不同尺度(3个分解层数),以及不同方向(垂直、水平、对角线)利用分解的小波系数来有效表达舰船目标区域与背景的差异,抑制噪声的同时增强方向特征,过程如图5所示。

图5 基于小波系数的方向特征增强过程Fig.5 Procedure for directional feature enhancement based on wavelet transform

对于输入图像,分别在R、G、B 三个颜色通道进行二维多尺度小波分解,获得图像的近似信息和细节信息。对不同颜色通道的各小波系数进行图像融合后,将近似小波系数分别与各个方向小波细节系数相乘以增强各方向特征,Ex为x方向增强后的系数,如公式(21)所示:

结果如图6 所示,图(a)列为输入图像,图(b)~(d)列为不同分解尺度下增强后的效果。该方法有效地抑制了背景噪声,同时增强了舰船目标的方向特性。

图6 方向增强且噪声抑制效果Fig.6 Effect of direction enhancement and noise suppression

2.3 显著图生成

对于增强后的各级图像构建四元数,视觉对于图像对比度较为敏感,在构建过程中引入对比度特征,以降低目标与背景对比度较低时的漏检率,同时较高对比度对于图像的清晰度、层次表现都有较大提升,有利于显著信息生成。利用Gamma 增强图像对比度信息,对比度表达式如下:

式中,fin为输入图像,当gamma>1 时,较亮的区域灰度被拉伸,较暗的区域灰度被压缩,图像整体变暗,经过实验gamma取1.5效果较好。同样提取RG、BY、亮度特征I完成四元数构建:

四元数傅里叶变换后保留相位谱进行反变换,高斯平滑后得到显著图,如公式(19)所示,其中G(x,y)公式如下:

通过构建不同高斯平滑因子下的一系列显著图,从中选出最佳显著图。图7(a)为输入图像,图(b)为无平滑,图(c)~(e)为不断增加高斯平滑系数。从图中可以看出若平滑因子偏小,显著性目标出现断点,若平滑因子偏大,会导致多个相邻目标的显著性区域重合,以上两种情况都不利于后续显著性区域的提取。以图像平面为xy平面,将像素灰度值作为z轴坐标,将原图与平滑后的显著图,进行三维立体化,以更好地观察变换后的效果,如图7(f)~(j)所示。通过分析选择高斯平滑系数为5,其平滑后的显著性图效果最佳。

图7 不同高斯平滑因子下的显著图Fig.7 Saliency map of different Gaussian smoothing factors

2.4 多尺度显著图融合

对于各个级别图像生成显著图时,采用多尺度方式,以增强小目标检测效果,减少漏检,增强对目标尺寸变化的适应性。如图8(a)为原始图像,包含6 只舰船,图(b)~(d)为不同尺度下采样显著图结果,根据对比可以发现,下采样的尺度偏小,会导致小目标显著性消失,大目标显著性增强,下采样的尺度偏大,能够提升小目标的显著性,但同时易受到物体表面纹理的影响,舰船内部纹理影响目标突显的完整性,内部不连通则不利于目标整体的分割。考虑不同尺度对大小目标的检测的差异,结合多个尺度特征进行融合,以达到更好的检测效果,结果如图8(e)所示,可以完全检测到所有小目标,同时不受舰船纹理影响,保证个体内部连通性。

图8 多尺度显著图结果Fig.8 Results of multi-scale saliency map

融合相同级别的不同尺度显著图后,需要对不同级别的显著图进行级别间的融合,提高对不同尺寸的输入图像的适应能力,如图9所示。

图9 不同尺度及不同级别间显著图融合Fig.9 Fusion of saliency maps of different scales and levels

在进行显著图融合时,引入Gini指数以调整各显著图S的相应权重。

基尼指数反映的是数据集中随机选取两个样本不属于同一类别的概率[19]。数据集越纯,基尼指数越小。将显著图看作数据集,公式(25)中,k表示灰度级,Y=255,pk表示取值为k的像素点占总像素数的比例。由基尼指数的定义可知,当显著图中只存在较高的目标像素和较低的背景像素时,基尼指数较小。而存在由复杂背景产生的中间灰度级时,基尼指数变大。显著图融合公式如下:

图10 不同尺度显著图及融合结果Fig.10 Saliency maps of different scales and fusion results

3 目标候选区域提取

通过WT-MPQFT模型获得的融合显著图能够有效抑制海杂波等环境干扰,对较小目标以及尺度适应性较强,产生较少的候选区域,最终提取候选区域需要对显著图进行分割。通过对视觉上具有显著性的物体进行像素级分割,可以获得感兴趣的实例[20]。显著图中显著性灰度分布均匀,采用自适应阈值OTSU法对显著图进行二值分割,对于每幅显著图(均值为m),利用阈值t将其分为前景A和背景B,其平均值分别为mA和mB,使用最大类间方差作为判断依据,公式如下:

式中,pi为像素数类别为i的占总像素数的比例。选择使g取值最大的t作为最优阈值T,进行二值化,公式为:

图11 为2 m 分辨率下复杂背景图像的ROⅠ提取。利用WT-MPQFT 模型生成的显著图如图11(c)列所示。图11(e)列为自适应分割得到的分割结果。原图与最终的显著图三维立体化进行对比,如图11(b)列和(d)列所示,可以看出本文提出的模型对背景如云雾、海杂波、舰船尾迹抑制效果较好。

图11 复杂背景下目标候选区域提取结果Fig.11 Target candidate region extraction results under complex background

4 目标判别

在ROⅠ提取阶段可以有效抑制一些海面背景的干扰,但是由于海况的复杂性,遥感图像数据中可能存在与舰船目标相似的干扰如碎云、岛屿、波浪等,导致候选区域提取结果中除舰船目标外可能存在虚警,利用轻量化模型EfficientNetV2 识别舰船目标,进一步剔除虚警。EfficientNetV2 网络采用感知神经结构搜索技术(neural architecture search,NAS)结合复合模型扩张方法联合优化模型精度、训练速度和参数大小,自动将网络的深度、宽度和输入图像分辨率3个参数进行合理配置,提升网络的性能[21]。同时采用改进的渐近学习方法,根据训练图像的尺寸动态调整正则方法(dropout、rand augment、mixup),可以提升训练速度、准确率。本文采用的EfficientV2-S 网络结构如表1 所示,在浅层卷积使用Fused-MBConv,深层卷积使用深度可分离卷积MBConv。MBConv模块由1×1的升维卷积、3×3的深度卷积、SE(squeeze-and-excitation)注意力模块和1×1的降维卷积搭建而成,而Fused-MBConv模块则是将MBConv中的1×1 的升维卷积、3×3 的深度卷积替换成一个普通的3×3卷积结构,如图12所示。

表1 EfficientV2-S网络结构Table 1 EfficientNetV2-S network architecture

图12 MBConv和Fused-MBConv结构图Fig.12 Structure diagram of MBConv and Fused MBConv

SE 模块由压缩(Squeeze)和激励(Excitation)两部分组成,如图13所示。W、H、C分别表示特征图宽、高以及通道数,输入特征图的大小为W×H×C。

图13 SE模块结构图Fig.13 Structure diagram of SE module

SE模块首先对输入特征图进行Squeeze操作,利用全局平均池化将同一个通道上的整个空间特征压缩为一个全局特征。Excitation 操作,通过两个全连接层将得到的全局特征进行通道间关系转换为权重系数,使模型对不同通道间的特征具有不同的辨别能力。Scale操作,将计算出来的各通道权重值分别和原特征图对应通道的二维矩阵相乘,输出结果。

将本文使用的EfficientV2-S 网络模型与其他模型进行对比,结果如表2所示,EfficientV2-S具有较少的参数量以及较低的计算量,具有较好的性能。

表2 模型性能对比Table 2 Model performance comparison

训练样本来自GF-2 号和Google Earth 遥感图像。首先人工的从大量的图像集中制作出1 210 个切片,其中590 个舰船、300 个云、180 个岛屿和140 其他虚警切片,将这些样本进行了标识,输入到EfficientNetV2网络中进行训练,部分样本如图14所示。

图14 舰船和虚警数据部分样本Fig.14 Partial sample of ship and false alarm data

5 实验结果

为了验证提出模型的性能,从主观和客观两个方面进行测试,遥感图像来自GF-2 卫星和Google Earth,分辨率为2 m。利用labelimg构建数据集,一共包共含389遥感图片,共623 个舰船目标,不同大小的船舶目标处于各种海洋背景下,如重云、阴影、船舶尾迹、海岸线、小岛和珊瑚礁等。

5.1 显著性模型主观评价

将本文提出的显著性模型与其他典型的空间域及变换域显著性模型在不同的复杂环境下进行比较,如图15所示。在云雾覆盖的情况下,ⅠTTⅠ、HC、FT模型受到云雾影响较大,SR 模型不受云雾影响,但是显著性目标不完整,内部不连续存在断点,提出的模型(WTMPQFT)与PQFT 模型相比目标的显著性明显增强;由第三行可以看出,在对比度差异较大的舰船目标同时存在的情况下,较暗目标在SR和WT-MPQFT模型中可以较好的被检测到,而在其他模型中显著性消失或变弱;对于海面存在海杂波的情况(第四行),FT和WT-MPQFT模型能够不受海杂波的影响,有效突出舰船目标;由第五行可以看出,ⅠTTⅠ、HC、SR 模型对舰船尾迹的抑制效果较差,WT-MPQFT模型的抑制效果最好;当海面存在小目标时,提出的模型与PQFT 模型相比,小目标的显著性明显增强,能够降低漏检。在各种复杂环境下提出的改进模型与标准方法进行对比,抑制噪声、减少虚警和检测小目标的能力如表3所示。综上所述,相比于其他先进的模型,本文提出的模型提无论在目标检测的准确性还是完整性上,都在视觉上获得了所有显著性模型中最好的结果,其优点如下:

表3 各显著模型性能对比Table 3 Performance comparison of saliency algorithms

图15 不同显著模型在复杂环境下显著图对比Fig.15 Comparison of saliency maps of different saliency models in complex environments

(1)在各种复杂环境下都可以保持较好的检测效果,对背景抑制强,能够有效抑制云、雾、海杂波、舰船尾迹等复杂环境的干扰,能够产生较少的候选区域。

(2)准确地检测出邻近舰船目标,不会出现团聚现象,目标区分度强。

(3)可以均匀凸显对比度差异较大的舰船目标,能够准确检测到小目标。

(4)提取到的舰船目标显著性的灰度均匀,轮廓分明,内部完整性好,有利于后续的舰船候选区域的提取工作。

此外,为了测试模型对输入图像尺寸的适应性,在不同像素大小的图像上验证显著性模型的性能。由于大多数显著性模型利用输入图像的底层特征构建的显著图,这些特征对尺寸较为敏感,导致不同尺寸的图像,其显著性检测结果可能存在较大差异。选择速度较快的SR模型与本文提出的模型进行比较。输入图像分辨率分别为300×300、500×500、1 000×1 000。SR 模型和WT-MPQFT模型的检测结果如图16所示。

图16 不同大小图像检测显著图结果对比Fig.16 Comparison of saliency map detection results of images with different sizes

从两组结果中可以看出,随着输入图像尺寸的增大,SR模型对背景的抑制能力变弱,且检测到目标的显著性信息越来越少,检测性能变差,即SR模型受到尺寸影响较大,对尺度适应性较弱。由于WT-MPQFT 进行基于小波变换的多尺度、多方向分析,以及级别内和级别间的多尺度融合,其对不同尺寸图像的检测效果较好,受输入图像尺寸的影响较小,有效抑制背景噪声的同时能够完整地凸显目标,即提出的模型对尺度适应性较强。

5.2 显著性模型客观评价

为准确定量对算法的性能评价,除了主观观察外,还需引入客观评价指标[22]。从显著性检测精度和计算速度两方面,将本文模型与其他5种显著性模型进行了验证。为了评估显著性模型检测到的舰船目标区域的完整性和精度,采用ROC-AUC度量来定量评价。人工标记ground-truth 图像作为评价和分析的标准,真值图G为二值图,以输入图像中船舶区域的精确船体作为先验信息。不断改变显著性映射的阈值T,显著性值大于阈值的像素被视为目标,而图像中其余的像素被视为背景,得到二值图像S。将S与对应的G进行比较,同时属于G和S的像素称为真正例(true positive,TP),属于G和不属于S的像素称为假负例(false negative,FN),不同时属于G和S的像素称为真负例(true negative,TN),不属于G而属于S的像素称为假正例(false positive,FP)。通过改变阈值得到真阳性率(TPR)和假阳性率(FPR)多组值,FPR 作为横坐标,TPR 作为纵坐标,绘制ROC图。TPR和FPR计算公式如下:

绘制ROC曲线如图17(a)所示,同时计算了各个模型的area under the curve(AUC)。ROC 曲线越靠近左上角,显著性模型的性能越好。可以看到WT-MPQFT模型的ROC 曲线高于其他5 个模型。为了更直观地对比,各个模型的AUC 值如图17(b)所示。模型的AUC值越接近1,显著性检测性能越好,从图中可以看出,WT-MPQFT模型的AUC值明显高于其他五个模型。

图17 不同显著模型的ROC曲线和AUC值Fig.17 ROC curves and AUC values of different saliency models

舰船检测需要满足时效性需求,对不同算法进行时间分析是非常必要的。本文所有实验是在Ⅰntel Core 2.20 GHz处理器和8 GB内存的PC机上进行的,代码实验平台为Matlab R2020a。对于不同像素大小的遥感图像,各算法求取海面舰船显著图平均运行时间如表4所示。

表4 各显著模型对于不同大小图像的运行时间Table 4 Computational time of saliency algorithms for images of different sizes单位:s

相比于空间域模型ⅠTTⅠ,变换域模型的速度更快,且图像尺寸越大,两者时间差别越明显。从结果可知,SR、PQFT 模型的速度较快,由于本文的改进模型进行了小波变换以及多尺度融合,虽然时间上稍有增加,但其检测准确率较高,对背景抑制能力更强,且仍比HC以及ⅠTTⅠ模型速度快,更好地平衡了速度与精度。

5.3 整体算法性能比较

使用准确率Ar、虚警率Fr以及漏警率Mr作为评价指标,定义为:

式中,Nd表示正确检测到的舰船数量,Nt表示数据集中舰船总数,Nf表示检测到的虚警数,Nm表示未检测到的舰船总数。

本文提出的视觉显著性检测方法在不同海面场景下的检测性能如表5 所示。在平静的海面检测效果最好,准确率高达0.99,虚警率仅为5.45,在其他复杂的海况下同样可以保持较高的准确率,由于厚云、岛屿、大海浪等环境的干扰,会产生较多的虚警,但可以保持较低的漏警率。

表5 提出的方法在不同海面场景下的性能Table 5 Performance of proposed method on different sea surfaces

第一阶段候选区域提取和第二阶段目标识别的结果如表6所示。从第一阶段的检测结果来看,本文的区域提议算法保证了检测精度,经过第二阶段的目标识别去除虚警目标,保留真实的舰船目标。图18 显示了一些典型的舰船检测结果,被探测到的船只用红框标出。

表6 提出的舰船检测框架检测结果Table 6 Detection results of proposed ship detection scheme

图18 整个算法的检测结果Fig.18 Detection results of overall algorithm

将本文提出的整个舰船检测方法与其他检测方法进行比较,结果如表7所示。

表7 不同方法的准确率对比Table 7 Comparison of accuracy of different methods单位:%

6 结论

本文针对实际应用中遥感图像海面舰船目标检测问题,提出了一种结合视觉显著性和EfficientNetV2 的光学遥感图像海面舰船目标快速精准检测新方法。通过改进PQFT算法,利用小波分解的方向系数得到方向特征增强且噪声抑制的多尺度图,引入对比度特征改进原始四元数,通过四元数傅里叶变换对候选区域进行快速定位,能够有效抑制噪声,减少虚警,感兴趣区域分布均匀完整,通过引入Gini指数自适应调整显著图的相对权重、多尺度显著图融合以适应尺度变化并增强小目标的显著性,降低漏检,利用EfficientNetV2更精准地描述舰船目标特征进行识别。实验结果表明,该方法能够在不同的海洋背景下得到较好的检测效果,具有较高的检测精度和鲁棒性。

猜你喜欢

舰船尺度显著性
舰船通信中的噪声消除研究
舰船测风传感器安装位置数值仿真
财产的五大尺度和五重应对
基于显著性权重融合的图像拼接算法
基于视觉显著性的视频差错掩盖算法
一种基于显著性边缘的运动模糊图像复原方法
论商标固有显著性的认定
宇宙的尺度
舰船腐蚀预防与控制系统工程
9