APP下载

基于鹰视顶盖响应和对比度感应机制的海上目标检测算法

2022-12-29邓亦敏

航空兵器 2022年6期
关键词:鹰眼顶盖神经元

胡 爽,邓亦敏

(北京航空航天大学 自动化科学与电气工程学院,北京 100083)

0 引 言

海上目标的检测识别是计算机视觉领域关注的一个重要课题,其技术被应用于水文信息采集、遥感测绘、海事救援、海洋渔业等诸多领域。随着相关成像技术的发展成熟,面对未来水上环境的立体化、多样化、复杂化,基于图像处理、计算机视觉技术的海上目标检测与识别成为当前研究的热点,具有广阔的应用场景[1]。

当前海上目标检测研究的主要对象是水面舰船,海上目标的背景一般为颜色纹理较为单一的海面环境,与海上目标的相关特征反差较大,故现有检测算法主要针对海上目标的颜色、轮廓、形状以及纹理等特征进行检测,常见的有阈值分割法、边缘检测法以及基于显著性的检测方法。阈值分割法对目标、背景有一定的要求,分离精度高,同时通用性较低;目标与背景颜色差异不大、边缘特征不明显时,边缘检测法效果不佳;基于显著性的检测方法实现较为简单,在目标特征较为明显且背景较为单一时效果较好,这与海上目标检测的任务环境是相契合的。

近年来,针对海上目标显著性检测,郭少军等[2]提出一种基于颜色图像块聚类的舰船显著性检测方法,该方法对颜色相似区域做聚类处理,对其边缘进行背景索引标记获得显著度,最终获得显著性目标。余东行等[3]将显著性检测和深度学习结合,对舰船目标进行定位和分类。刘伟建[4]将局部方向特征和颜色特征相融合,进行舰船显著性检测,有效抑制了孤立噪声点的干扰,施天俊等[5]结合了帧间差分特征对红外弱小目标进行显著性检测,抑制了背景虚警,提高了检测准确率。

对于目标检测这一课题,文献[6]通过模拟鹰眼视觉机制,建立了一种着陆目标特征提取方法,应用在无人机自主着陆的视觉测量系统中,并通过实验验证了该方法的准确性、速度和鲁棒性。文献[7]提出一种基于鹰眼视觉自适应机制的无人机海上小目标检测方法,将鹰眼视觉自适应机制引入到目标检测方法中,建立了针对高照度条件、低照度条件等情况下的自适应模型,有效抑制了背景干扰,突出了目标信息。文献[8]基于鹰眼的结构和特性,提出一种新的目标检测方法,同时提出一种模拟水面场景的方法并进行实验,对不同场景下的目标均有不错的检测效果。

本文参考鹰眼双中央凹结构[9]提出一种基于鹰视顶盖响应和对比度感应机制的海上目标检测算法(Maritime Detection Based on Eagle-Eye-Tectum Response and Contrast, MDERC),对目标进行显著性检测。主要工作和贡献有:

(1)针对海上目标进行显著性检测,使用基于鹰视顶盖响应和对比度感应机制的海上目标检测算法对目标区域进行显著性提取。对原始图像利用感应对比度机制进行处理,在多个颜色空间的通道中减少目标周边区域中离散杂点的影响,降低虚警率,再使用仿鹰视顶盖感受野响应的显著图提取方法进行显著图提取。

(2)实验证明本文算法提高了显著图提取的准确性,与其他方法相比可得到更好的显著性提取结果。

1 鹰眼机制

在生物视觉机理和仿生方面,具有不同构造生物的眼睛拥有不同的特点。鹰眼与其他生物的眼睛相比,同时拥有高视觉敏锐度和大视场范围,这两大特点使得鹰眼在目标检测等领域具有非常大的优势[10],而这种优势就来源于鹰眼独特的双中央凹结构。本文参考这种结构设计算法,以达到任务需求。鹰眼视网膜具有独特的双中央凹结构,分为正中央凹区和侧中央凹区,如图1所示。中央凹是视网膜中视觉最敏锐的区域,视觉细胞在此处斜向周围排列,光敏感器非常密集,具有更高的图像质量。根据鹰眼视网膜不同区域电子显微成像可以看出,中央凹区视觉细胞密集而周边稀疏,正中央凹和侧中央凹处为局部最大值。由于中央凹区的视觉细胞密度最高,因此鹰眼对于视觉信息的获取是非均匀的[11]。这样非均匀的信息获取特点可以支持鹰眼更好地适应高空捕食活动,在捕获猎物和识别时可以自主切换策略[12],在对疑似的任务目标保持高分辨率观测的同时,又能对视野其他部分保持警戒,从而可以较好地平衡目标检测识别时的视场、分辨率间的关系。

图1 鹰眼中央凹结构[9]

另外在鹰脑视觉系统中存在离顶盖通路,是最为重要的一条视觉通路,如图2所示,由视网膜、视顶盖、圆核、外纹体构成,在离顶盖通路中又以中脑区域中的视顶盖最为重要[13],其神经元感知机制与视觉显著性间的关系已有诸多研究,Zahar等通过设计电生理学实验研究了仓鸮视顶盖区域的神经元响应与目标凸显感知机制之间的关系[14]。学者从中研究建立仿鹰眼机制的算法,以应对不同场景下的任务需求。

图2 离顶盖通路[9]

2 检测算法

2.1 算法总体框图

算法总体框架如图3所示。首先,针对海上目标采图时的噪声干扰,通过仿鹰眼对比度感应机制对各颜色空间进行预处理,遍历各像素位置,记录中央区域最大值和中值,以及周边区域的均值,计算得到各像素位置的对比度感应值,调整图像各颜色通道抑制干扰;其次, 进行仿鹰视顶盖响应显著度提取,由事先训练集训练得到的视顶盖神经元模型,得到神经元响应,进一步计算得到显著度值,通过计算各通道的信息熵对显著图进行线性加权,得到最终的显著图及显著度检测的结果。

图3 显著度检测算法框图

2.2 仿鹰眼对比度感应机制预处理

图4 对比度感应示意图

(1)

根据中间区域的最大值和周边区域的信息,局部对比度函数定义为[9]

(2)

当周边区域中出现尖峰脉冲以及单像素噪声等离散杂点时,其亮度值不利于目标的检测。局部对比度函数中使用了中值进行计算,可以有效避免离散杂点的干扰作用。分析可知,有效减少目标周边区域中离散杂点的影响,降低虚警率,更有利于后续的显著图提取。

2.3 仿鹰视顶盖响应显著度提取

得到图像的初步处理结果后,通过对鹰脑视顶盖的浅层神经元感受野进行模拟,根据神经元感受野的响应大小进行统计,进一步生成得到显著度图。

将图像进行对比度感应处理后,输入到训练完成后的神经元感受野集合中,得到一个对应神经元响应的集合。由于训练完成后的神经元具有各向不一致性,对于相同的图像刺激,不同感受野会产生相同的神经元响应,反之则会产生不同的神经元响应,故对于背景的神经元响应会较平稳,而在目标区域则会出现较大差异。根据不同响应的最终统计结果,就可以得到图像中不同位置的显著值。下面对鹰视顶盖神经元进行模拟建立。

本文使用基于线性生成模型对鹰视顶盖神经元的响应特性进行模拟,将自然图像数据看作由基函数线性组合而成:

(3)

式中:x为观测数据向量,对应输入图像;A为混合矩阵,每列称为基函数;s为基函数稀疏向量。使用Sparsenet模型[15]对鹰脑视顶盖浅层神经元的响应计算进行模拟,从10幅灰度化训练集图像提取图像块进行训练,通过学习得到感受野描述子,即基函数A。本文使用64个感受野对图像输入产生的响应进行描述,感受野如图5所示。

图5 鹰视顶盖神经元感受野模拟[15]

然后对输入图像的神经元响应进行求取,对图像按照感受野大小进行无重叠采样。根据无重叠采样得到的图像块计算得到对应的神经元响应,即已知采样结果x和训练得到的A阵得到采样结果对应的式(3)中的s阵,输入图像所对应的各组神经元响应,大致符合广义高斯分布[16],其方程如下:

(4)

如上所述,输入图像的神经元响应符合广义高斯分布,神经元响应大多集中在零附近。目标区域的响应较为特殊,而背景区域的响应较为一致。由此可得,目标区域对应响应出现概率较小,背景区域对应响应出现概率较大,与其相对应,出现概率较大响应的对应区域显著值较小,即背景区域的显著值较小,出现概率较小响应的对应区域显著值较大,即目标区域的显著值较大。

由上述结论可以建立由神经元响应求得图像显著值的计算方法,对四个颜色空间的各通道进行显著值计算,分别为RGB,LMS,HSI和YIQ颜色空间。第一步, 针对四个颜色空间的部分通道进行对比度感应机制计算,对LMS和YIQ中的各通道、HSI中的I通道,以及灰度图进行对比度感应机制计算;第二步,求得图像对应的各组神经元响应,计算四个颜色空间的各通道及灰度图的显著值:

(5)

式中:S(x,y)为单个通道中(x,y)处的显著值;Rk为(x,y)处的神经元响应;rk(x,y)为单个颜色通道或灰度图中(x,y)像素处对应第k维神经元响应。

求得单通道的显著图后,根据各通道信息熵的计算结果对各通道显著图结果进行线性加权,根据信息论中熵的定义,计算每个通道的显著图的信息熵[6]:

(6)

式中:对应显著图中所有的显著值,i∈{1, 2, …,m};m为对应通道显著图中的最大值;pi为在该通道显著图对应显著值i的出现概率。这样的定义与上面推论相对应,即当显著值均匀分布时图像熵最大,而当显著值集中在某几个数值附近时,熵会大大减少,直到全局显著值均相等的最极端情况,此时熵为0。因此,计算不同颜色通道时可以按照信息熵的大小对颜色通道进行选择,得到最合适的显著图。

计算空间的各颜色通道显著图对应的信息熵,然后按照信息熵数值大小选择最小的颜色通道作为该颜色通道的显著图[16]。确认各颜色通道的显著图后,对各颜色空间显著图进行合并,将对应显著图的信息熵进行归一化,并将其作为对应显著图的合并系数,进行线性加权进而得到最终的显著图,计算合并系数:

(7)

式中:i=1, 2,…, 5分别为灰度及四个颜色空间被选中的颜色通道;Ei为第i个显著图对应信息熵;Oj为归一化系数。

使用该系数对各显著图进行线性加权,融合四个颜色空间及灰度图的显著图结果,这样可以兼顾颜色主导目标显著的情况、亮度主导目标显著的情况及其他情况,能够获得更多的显著目标细节,从而在显著图中获取更加准确的目标显著值,得到最终的显著图,获取显著海上目标的检测结果。

3 仿真结果

选取3组数据集进行测试,分别使用航拍海上目标图像、ECSSD公开数据集、unity虚拟环境中的海上目标图像3个数据集,对所提出的MDERC算法与其他视觉注意方法进行对比实验。实验环境为Matlab R2016b,计算机配置为Win10系统、英特尔i7处理器。选取对比的方法有频域残差法(Spectral Residual,SR)[17],诱导机制显著性检测法(Saliency by Induction Mechanisms, SIM)[18],基于自相似性(Self-Resemblance,SER)的空时显著性计算法[19]。在公开图库中对MDERC算法和对比方法进行测试,进行量化分析,再对海面背景的航拍目标图像、unity虚拟环境中的海面无人艇目标图像分别进行测试。

(1)ECSSD公开图库测试

在公开图库上测试算法,对常规图像提取显著图,测试MDERC算法的显著图提取效果,使用量化指标与对比算法进行对比。ECSSD[20]包括1 000张常规图像,以及对应人工标注的二值基准图(Ground-Truth,GT)。使用不同方法计算图库中的图像显著图,并进行量化分析。绘制F值随设定阈值的变化曲线和精度-召回(Precision-Recall, P-R)曲线以比较各个方法的提取效果。各显著图提取方法得到的显著图像素值为1~255间的整数值,设置阈值进行二值化,与公开图库中的二值基准图做对比,记录在某个阈值下的显著图提取精度和召回率,F值计算如下[21]:

(8)

式中:β为权重系数,β2=0.3。

图6为ECSSD图库中若干图像的显著图提取结果。图7为量化的对比结果。

图6 ECSSD图库对比结果

图7 ECSSD图库量化对比结果

从图中可以看出,虽然在阈值较低时MDERC算法的F值较低,但在该数据集上MDERC算法获得了最大F值,且获得的P-R曲线高于其他算法。在表1中将4种算法的最大F值列出,可以看出本文算法在常规图像中相比其他方法具有较为明显的优势。

表1 ECSSD上显著图提取最大F值

(2)航拍海上目标数据集测试

对海上航拍目标图像进行显著图提取实验,图8所示为在海面背景下对目标图像的测试。该图库是在海面上使用无人机拍摄海面船只的航拍场景,图中展示了部分图像的测试结果。

图8 海面目标图像测试结果

可以看出, 在航拍海面船舶目标的图像中,MDERC算法可以有效提取海面船舶目标,且与3种对比算法相比,MDERC算法的显著图提取结果并未超出实际目标区域大小,显著图定位区域较为精确。

(3)unity3D海上目标数据集测试

使用unity3D搭建海上航拍虚拟环境,包括海上船舶目标、海浪环境等。在不同条件下进行采图后,使用MDERC算法及对比方法进行显著图提取,实验结果如图9所示。

图9 unity3D环境目标图像测试结果

对海上航拍场景进行测试,第一列为虚拟环境下的原图,包括不同距离下的带靶标目标,以及海浪干扰。由于对比度感应机制对单像素离散杂点进行了抑制,而且提取显著图时是在多颜色通道下进行线性加权后合并的结果,这两者作用叠加对海上目标显著度检测时的海杂波和海浪干扰有一定的抑制作用,从此数据集仿真结果可以看到,MDERC算法可以在远距离对船舶整体进行提取,在近距离对靶标目标进行有效提取,同时对于海浪干扰有一定的抑制作用,对提取结果未造成过大影响;而其他算法则由于没有相关机制在多颜色通道下对海浪杂波进行抑制,对结果造成了较大的影响。

在常规图像中,所提MDERC算法相比其他方法具有较为明显的优势,后两个实验测试说明了MDERC算法在海上航拍目标图像显著图中的有效性。以上结果证明了MDERC算法的确可以有效对海上目标进行显著图提取,达到显著度检测的目的。

4 结 束 语

本文针对海上目标检测问题,对海上目标采用显著度检测方法进行检测定位,通过模拟鹰眼的双中央凹生理结构,提出了一种鹰视顶盖响应和对比度感应机制的海上目标检测算法。使用对比度感应机制对图像不同颜色空间通道处理后,利用仿鹰视顶盖浅层神经感受野模型对图像提取显著图。通过实验证明,本文所提算法有效提高了对于海上目标显著度检测的能力。

猜你喜欢

鹰眼顶盖神经元
汽车天窗与顶盖匹配设计
AI讲座:神经网络的空间对应
6400万鹰眼变焦四摄realme X50 Pro 5G智能手机
汽车顶盖侧横梁内板开卷落料模设计
浅谈天窗版顶盖面品不良问题的解决
一种多功能顶盖总成开发的研究和应用
猎击精英:鹰眼
仿生芯片可再现生物神经元行为
采用GCaMP6 在体大规模记录感觉神经元的活动
研究人员精确定位控制饮酒的神经元