基于渐进阈值分割的多云背景目标检测
2022-07-09武林伟闫婧郭博雷
武林伟 闫婧 郭博雷
(中国电子科技集团公司第二十七研究所 河南省郑州市 450047)
1 引言
目前,光电成像系统由于可全天候工作,抗干扰能力强、被动接收、隐蔽性好等特点,已被广泛应用于侦查、监视、探测等多种系统。舰载光电系统是用于对目标进行捕获、跟踪和瞄准的舰载综合光电系统,舰载光电系统在舰载光电对抗、海上精确测量、舰载机起降引导等方面具有举足轻重的作用。在舰载光电系统中,对空中飞机目标的高效检测是重要问题。然而在远距离情况特别是多云背景条件下,由于探测器接收到的目标信号较弱,目标所占的像素通常不大,导致图像信噪比低,对比度差,如何更好地提高光电图像目标检测技术,及时准确地发现目标,进而提高武器系统的目标检测和跟踪能力一直是光电探测领域的热点。
近些年来相对成熟的目标检测算法包括光流法、模板匹配、基于特征识别、基于运动的方法等,这些算法各有优缺点。但在多云背景条件下,现有检测算法没有考虑到多云背景对目标的影响,由于背景较复杂,目标分割阈值计算不准确,且飞机目标具有运动速度快,外形剧烈变化的特点,现有算法计算流程相对复杂,处理时间较长,因此检测效果并不理想。本文提出一种基于渐进阈值分割的多云背景目标检测算法,利用高分辨率的图像信息,针对多云背景件下的飞机目标,通过执行相应的图像预处理、图像分割、目标特征计算、目标确认、目标判别等处理,实现在多云背景下飞机目标的自动稳定检测。
2 多云背景目标特性分析
目标图像通常认为是由背景、噪声和目标三部分组成,其数学模型可以用公式表达如下:
f(x,y)=B(x,y)+N(x,y)+T(x,y)
式中:(x,y)为图像像素点的坐标,f(x,y)为图像的灰度值,B(x,y)为背景的灰度值,N(x,y)为噪声的灰度值,T(x,y)为目标的灰度值。
图1 给出了一幅多云背景目标的原始图像。从图1 可以看出,目标图像中的背景主要是天空,地面,海面等自然场景背景,通常情况下图像中云层背景B(x,y)区域变化比较平缓,像素相互之间具有较强的相关性,背景区域在整个图像中属于低频成分,但是也会出现絮状云、云层边缘等高频信号。而目标T(x,y)与背景不相关,在其局部区域表现为灰度值(能量值)较高的孤立点。
图1: 多云背景目标原始图像
将多云背景目标图像中的物体分为四类:净空区域A、云层内部区域B、云层边缘区域C、目标区域D。通过分析,这四类图像区域成像有以下特点;
2.1 净空区域和云层内部的成像特点基本接近
(1)图像图像的灰度分布集中,其灰度分布受成像噪声影响较大;
(2)图像区域X 方向和Y 方向灰度分布起伏不明显,没有显著的灰度变化趋势;
(3)图像区域整体灰度分布均匀,没有明显的变化规律。
2.2 云层边缘成像特点
(1)云层边缘区域灰度分布宽泛,具有多峰的特点,与内部区域相比,云层边缘区域的灰度级要偏低;
(2)云层边缘区域X 方向和Y 方向灰度分布起伏明显,由外向内灰度分布具有逐渐递增的趋势;
(3)云层边缘灰度分布过渡明显,由云层内侧向其外侧逐渐递减,具有明显的阶梯状过渡。
2.3 目标区域成像特点
(1)目标区域像素灰度较高或较低,但所占的比例较低,整个直方图灰度分布非常宽;
(2)目标区域X 方向和Y 方向灰度分布起伏明显,从区域中心的目标部分开始向两侧逐渐递减;
(3)当目标处于云层边缘区域时,目标部分向其四周具有阶梯状的递减过渡,而四周的云层边缘区呈现由云层内侧向外侧的灰度递减的阶梯状分布。
3 基于渐进阈值分割的多云背景目标检测
基于渐进阈值分割的多云背景目标检测算法首先对输入的视频信号进行图像预处理,使用高通滤波和背景预测方法实现云层背景抑制,利用渐进迭代方法进行多阈值图像二值化初分割,建立初分割图像集;对初分割的二值化图像集合,采用链码描述算法进行目标描述和区域填充,完成目标特征提取和计算;基于目标先验信息,采用信息逐层筛选策略进行目标确认,选择符合目标特性要求的潜在感兴趣区域并保留有效信息;对感兴趣目标区域图像进行累加,基于累积二值化图像,依据设定的概率阈值,判别出真实可靠目标,实现多云背景条件下目标的自动稳定检测。基于渐进阈值分割的多云背景目标检测算法的原理框图组成如图2 所示。
图2: 基于渐进阈值分割的多云背景目标检测算法原理图
3.1 基于云层背景抑制的图像预处理
云层在不同的天气和气候条件下,其表现形式是很不一样的,而且云层的分布是随机的,不同的云层背景表现出来的图像特性也是不一样。背景抑制就是为了抑制图像中的起伏云层背景,提高图像的信噪比,其效果的优劣将影响到后面的目标检测算法的性能、速度和整个系统的可靠性,对于图像中目标检测,背景抑制是非常必要的一步工作。因此,在图像预处理器中,根据目标所在云层背景,采取背景抑制算法去除或减少图像中的噪声和背景杂波,采取图像增强算法和图像滤波算法,提高图像的信噪比,以利于后面的图像分割和目标特征提取。
3.1.1 高通滤波方法
针对传感器获取的多云目标图像,背景除了有在空间不相关的噪声外,在大部分情况下,多云背景区域过渡比较平缓,像素之间的相关性较强。而目标成像区域灰度过渡较快,与周围多云背景灰度的相关性较小。可以利用多云背景像素之间灰度的相关性实现背景抑制。由于高通滤波器能抑制低频分量,让高频分量通过,因此,本文采用高通滤波器来进行大面积的多云背景抑制,实现目标增强。高通滤波是一种目标图像的背景抑制和目标增强的空域算法,其表达式如下所示:
其中,f(x,y)为原始图像,s(x,y)为经过高通滤波背景抑制后的图像,m(i,j)为高通滤波模板,模板尺寸为(2a+1)×(2b+1)。用于背景抑制的常用高通滤波模板如图3 所示。
图3: 常用高通滤波模板
3.1.2 背景预测方法
为了增强信号和进一步抑制噪声,需要对经过背景抑制后的目标图像进行图像滤波。本文使用的滤波算法为背景预测方法。背景预测算法的基本思想或基本假设是:如果图像中的一个像素点属于背景部分,那么,它一定可以用周围区域的背景点来进行预测或估计,也就是说它与周围的背景点具有紧密的相关性,可以用周围区域的点的灰度值经过线性或非线性组合产生,将中心位置像素的灰度值与预测值进行相减,得到的预测残差图像便是背景抑制后的结果。
设f(x,y)为红目标原始图像,那么根据(m,n)点附近区域内的像素灰度值对(m,n)点的像素灰度值f(m,n)进行线性预测估计,得到估计值f(m,n):
背景预测方法在预测域的选取和权值模板的调整策略上分别有不同的变化,预测权值矩阵在进行调整之前一般先被初始化为不同权值形式的模板,如图4 所示。背景预测时首先要选取预测域,从预测域中获取分析样本,将处理模板划分为四个子区域分别进行预测处理,最后对四个预测结果进行加权得到最终的预测值。
图4: 不同形式模板初始化
3.2 基于渐进阈值的图像分割
在图像分割过程中,通过对分割阈值进行准确计算,可以实现目标有效分割。但在多云复杂背景条件下,由于背景较复杂,目标分割阈值计算不准确,很难通过单一阈值实现图像目标有效分割。如果采取阈值从0 到255 逐一进行图像分割,计算量太大,无法满足实时性要求。
因此,本文采取渐进迭代的方法,根据图像多云背景的复杂程度,基于图像均值和方差自适应确定分割阈值。在阈值迭代渐进计算过程中,需要在有限次的范围内实现目标分割,采取以下策略:
(1)确定分割阈值的范围,阈值范围越小越好;(2)确定该范围中分割的次数,次数越少越好。
在本算法中,当天空多云、复杂背景时,图像方差较大,图像阈值分割范围是[μ-σ μ+σ](其中μ 为均值,σ 为方差);当天空无云时,方差较小,图像阈值分割范围可以扩展到[μ-3σ μ+3σ]。根据图像的灰度分布,选择阈值范围的n 个渐进灰度阈值进行图像二值化,n 可取10 ~20 之间。通过渐进阈值迭代分割处理,完成目标的初分割,并保存多幅分割后的二值化图像。
3.3 基于链码描述的特征计算
在本算法中,主要使用链码来描述目标特征,并进行目标区域填充。链码也称方向码,如图5 所示。其原理从当前像素出发,对周围8 个邻居像素的方向编码,按逆时针方向依次从0 到7。
图5: 图像坐标系与链码方向示意图
图像完成初分割以后,采用基于链码描述算法对单幅图像中的目标进行特征计算。首先,对初分割二值化图像目标边界,使用链码跟踪方法来进行记录,并使用链码填充方法进行目标区域的填充;然后,采用基于链码描述算法,进行目标特征计算。基于链码描述的目标特征计算,仅需记录起始点坐标,然后从起始点开始,按照上述定义的链码,沿着目标边界走,后续点仅记录相对于前一像素点的方向码即可,走到起始点表示结束。
本文选择的目标特征属性参数主要如下:
(1)运动特征:潜在目标在图像平面中的位置、速度等,这些特征可采用质心跟踪方法提取出来;
(2)目标强度:潜在目标的灰度均值、灰度最大值等;
(3)潜在目标的大小(或面积);
(4)目标与背景之间的对比度:目标区域对比度C1 和目标边界对比度C2;
(5)目标区域相关性:目标区域梯度差 及目标区域方差偏移 ;
(6)潜在目标之间的相关性:该特征是区分真目标和干扰的重要特征之一。
基于链码描述的目标特征,可以非常方便地计算出目标周长、目标面积、外接矩形、目标形心、边界梯度强度、边界平滑度、目标与外接矩形的占空比等多种特征描述。
3.4 基于信息筛选的目标确认
在每一次的渐进阈值分割过程中,选择符合目标特性要求的感兴趣区域并保留。目标确认的过程,就是不断地筛选无效信息,保留有效信息的过程,最终确认得到真实目标信息。
在多幅图像的分割过程中,采取目标信息逐层筛选的方法,剔除无效目标,选择符合目标特性要求的目标区域并保留,完成潜在目标提取。在本算法中,使用以下筛选策略进行目标确认:
(1)根据飞机目标先验知识,利用目标的周长与面积、目标与外接矩形比例(占空比)等目标信息对目标进行筛选。根据先验知识,设定感兴趣目标周长、面积等参数。根据这一原则,可以滤除噪声引起的过小目标干扰,也能滤除云层等引起的过大目标干扰。
(2)根据成像约束,利用目标的宽度和高度比例约束、目标凸形约束等目标信息再对目标进行筛选。由于目标是人造刚性目标,具有固定的占空比、宽高比。云层或者其他伪目标在多种姿态下的占空比过小、宽高比过小或者过大,因此可以通过这一规则滤除。
(3)根据飞机为人造目标和云彩有显著边界的特点,通过目标边界像素的梯度强度来完成飞机类目标的提取。由于目标为人造目标,跟云彩相比有显著的边界。可以根据目标边界像素的梯度强度来区分人造目标和自然目标。
3.5 基于阈值概率的目标判别
目标检测是一个基于图像序列的决策过程,本质上是图像序列在时间上的滤波处理。而单帧检测是空间上的滤波,两者结合起来就相当于一个三维滤波检测过程。
在多次阈值分割后,经过逐层筛选后的多幅图像中,真实目标会在多个阈值下反复出现。在最终累加图像中,每个像素值即代表在分割过程中该点出现的概率。由于真实目标出现频次要大于伪目标,根据这一特性,通过阈值概率可以有效剔除伪目标,判别出真实目标。通过渐进式阈值分割后,对经过筛选的多幅二值化图像进行累加。在最终累积图像中,依据关系稳定性约束,根据设定的概率阈值,对概率图像再次进行分割,并对累积图像再进行一次目标特征筛选后,即可确定真实可靠的目标。
目标判别根据上述所提供的能够准确反映目标特性的各种参数,与前一帧图像中各潜在目标特征参数进行相关匹配,并且根据目标运动的连续性和规则性,建立所谓的“目标链”,即如果在M 次检测过程中,至少获得N 次成功,则判决目标存在,第N 个目标块所属的目标就可以确定下来,该方法不仅可以提高总的检测概率,而且可以大大减小虚警概率。
4 实验结果及分析
本文中采用的图像为某舰载光电系统采集的可见光图像,其中图像分辨率1920×1080,图像帧频50Hz。硬件平台采用的是基于TMS320C6678 的图像处理板。在此平台上进行了基于渐进阈值分割的多云背景目标检测算法的仿真试验,处理过程的效果和实际结果如图6 ~图9 所示。
图6: 原始图像和阈值
其中图6(a)表示多云背景下飞机目标原始图像,图像的灰度均值为160,方差为61,阈值选择的范围设定在灰度值99 至221,每隔20 个灰度级进行一次图像阈值分割,完成图像二值化。从下图中可以看到,在多次阈值分割中,飞机目标在阈值159、179 下均出现,证明渐进阈值分割的合理性。
每个阈值下筛选得到的目标如图7 所示,从图7 可以看出,在阈值159,179 下飞机目标完全保留,而其他伪目标不具备关系稳定性约束。
图7: 目标筛选
根据上述各阈值下的分割结果,可以得到分割结果的累积图像,如图8 所示。从图8 可以看出,按照设定规则保留下的感兴趣目标区域中包含感兴趣的目标,云彩等伪目标基本被滤除。
图8: 累积次数
图9: 结果
在上述累积效果基础上,再结合边界梯度强度进一步筛选。由于云层没有人造目标形成的显著边界梯度强度,故在这一步中,云彩伪目标多被滤除。最终目标检测结果如图9显示。
在基于TMS320C6678 的图像处理板,使用本文的基于渐进阈值分割的多云目标检测算法,针对舰载可见光图像分辨率1920×1080,图像帧频100Hz,单帧图像处理时间最大8.1ms,满足单帧图像处理时间10ms 的实时处理要求。同时,在目标检测能力上,在多云背景条件下,当飞机目标面积3×3 以上时,均可稳定正确检测出来,目标对比度约等于3.9%,超过传统目标检测目标5%的要求。
5 结束语
针对多云背景条件下目标检测中的实际问题,本文在分析多云背景目标图像特性的基础上,提出了一种基于渐进阈值分割的目标检测算法,在目标分割、目标筛选、目标确认方面进行了适应性算法设计,通过仿真实验,验证了新算法的可行性和有效性,并在某舰载光电系统进行工程应用,验证了该算法具有良好的目标检测效果,有效提高舰载光电系统的目标检测跟踪性能。