图像序列中点目标实时检测算法

宋绍京

(上海第二工业大学电子与电气工程学院,上海201209)

图像序列中点目标实时检测算法

宋绍京

(上海第二工业大学电子与电气工程学院,上海201209)

点目标检测在液体杂质检测中非常关键,在分析现有图像点状目标检测算法的基础上,研究了一种适用于图像序列的运动点目标多阈值检测算法,在背景抑制的基础上,首先采用自适应多阈值分类的方法提取多类疑似目标,强化了各点状目标疑似的检测能力。在当前帧疑似目标的真伪无法判定时,根据目标在相邻帧间的位置变化信息构造相应的时空管道,沿时空管道正向寻找可能出现的各类疑似目标,并将其能量与当前帧疑似目标点的能量进行加权求和后再进行门限判决。使用硬件并行预处理图像,较好地解决了实时性问题,满足系统实时性要求。对安瓿瓶液体图像序列进行测试的结果表明,该算法的效果令人满意。

杂质检测;液体图像序列;点目标;多阈值分类;后向验证

0 引言

随着工业化进程的快速发展,在工业检测与测量中越来越多地采用了智能化方法。利用机器视觉来进行工业检测与测量,是智能检测中常用的一种方式,尤其是依赖序列图像进行信号测量与检测,在很多领域中得到了应用。在药液杂质检测中,当杂质比较小时,用肉眼进行杂质检测的可靠性和准确性都不尽如人意,因此,进行点目标检测是液体杂质检测系统的关键。通常解决这类问题有两种思路:一是在图像序列的点目标检测中,先进行跟踪再进行检测(TBD);二是先检测再跟踪(DBT)。TBD法根据多帧检测的思想[1-3],将空间和时间信息整合到多帧处理过程中,对原始序列图像中的多个可能轨迹进行跟踪,再进行门限判决,最终达到目标检测的目的;DBT算法则采用“单帧检测和多帧确认”的策略,先进行背景抑制,然后对图像进行分割,获取疑似目标点,再根据目标运动信息的帧间高相关性,进行多帧图像的能量累积,对单帧检测的结果迸行跟踪判决。这样极大地减小了跟踪判决的难度,因此,在算法复杂度和实现难易度两方面占有优势。

许多学者对红外弱小目标检测进行了研究[4-8],但这些算法仅仅局限于红外图像,因为红外图像具有大面积、低频率和运动簇明显等特征。当将上述算法用于对由明显目标组成的大量杂乱目标群进行检测时,其性能则不能令人满意,尤其是当目标处在具有低信噪比的图像中,或者处在边缘具有弱对比度的情况下,而这些正是液体杂质检测中的典型特征。单阈值分割对阈值是敏感的,如果选择阈值过小,会导致虚警率过高;如果选择阈值过大,就会丢失弱小目标。因此,单阈值选择并不能给人以满意的效果。为解决这个问题,本文给出了一种新型的多阈值分割并行处理算法,经过安瓿瓶液体图像序列测试,证明该算法可以获得令人满意的效果。

1 液体杂质检测系统

1.1 液体杂质检测系统结构

液体杂质检测系统对实时性要求非常高,每分钟需要检测150瓶,单纯地依靠工业控制计算机不能满足实时性要求,因此采用协处理器的方式来加快图像处理的速度,满足系统的实时性要求,系统结构示意图如图1所示。系统由摄像头采集安瓿瓶液体图像序列,摄像头和工控机采用千兆网口来进行连接,工控机的主板上通过PCIe接口连接一块用现场可编程逻辑门阵列(FPGA)开发的图像并行处理协处理器,以满足图像处理的实时性要求。

图1 液体杂质检测图像处理系统结构示意图Fig.1 Schematic of impurity detection system of liquid

1.2 液体杂质检测算法

液体杂质检测算法可以分成4个阶段,如图2所示。图像预处理是运动目标区域只占图像的一小部分时所必须的,这样能够大大减小图像处理的运算量,因此区别图像的有效区域是该算法的第一步,这样可以大大降低目标群和虚警率;接下来是进行背景抑制,消除图像中临时静态的像素,这样可以有效提高图像的信噪比;采用多阈值自动分隔算法来进行目标提取,得到潜在疑似目标;通过时间管道进行能量积累,根据权重来判断疑似目标是否是真正需要提取的目标。各个阶段将在后续部分进行详细描述。

图2 算法结构示意图Fig.2 The structure of the algorithm

文中所进行的内容分析基于这样的假设:有L帧的分离图像序列;二维平面尺寸为m像素× n像素;用(xk,yk)来代表第k帧图像中的像素坐标,如果(xk,yk)没有下标,则表示当前帧的像素坐标。

1.2.1 图像预处理

通过调整照明,液体在图像成像中对应着相应的灰度值,因此在杂质检测系统中的图像预处理部分采用通过灰度分析来进行图像分割,图3描述了一种峰值灰度分析方法。事实上,并不是所有的情况下都要采用上述4个步骤来完成点状目标的检测,可以根据系统的实际情况来采用这4个步骤中的某些步骤来完成。

图3 峰值搜索算法示意图Fig.3 Peak searching algorithm

1.2.2 背景抑制

在液体图像序列中,因为小目标在图像中呈点状,信噪比非常低,想直接进行目标识别是有难度的,所以在目标检测之前,为提高信噪比,非常有必要进行背景抑制。当前图像背景抑制可以分成两类:时域处理和空域处理。时域处理使用连续帧进行背景抑制,具体的方法是使用图像相减和累加平均。空域处理利用了目标和背景之间的不相关性,典型的算法是使用中值滤波、高通滤波器或者使用基于已知模型的背景抑制。基于模型的背景抑制对于背景的变化具有很好的适应性,该方法描述如下:如果一个像素是背景,它的灰度值可以通过周围的像素进行预测;如果一个像素是目标,那么它和背景具有比较差的相关性。如果使用周围的像素值来预测当前像素的灰度值,总的来说预测值和实际值还是不一样的,因此使用这个特征可以对背景进行抑制。背景的抑制模型可以描述为

式中:x=0,1,···,m-1;y=0,1,···,n-1;f为输入图像(m×n);g为预测图像;Wk=[wk(j,i)]为预测模型的权重矩阵;Sk为当前背景的范围。

输入图像和预测图像的差值图像

g(x,y)可以看成是当前背景像素的灰度值,如果像素(x,y)和Sk中的像素属于同一背景,那么e(x,y)≈0,这样背景就得到抑制。

1.2.3 目标提取

经过背景抑制后,大部分像素集中在低灰度值区域,仅有目标和小部分噪声分布在高灰度值区域。为了能把目标从图像中提取出来,最常使用的方法是根据图像的信噪比,使用阈值对图像进行二值化处理,高于阈值的像素被认为是潜在疑似目标。阈值的选择对于处理的速度和目标的判别具有很强的影响力,如果阈值选择比较低,过多的疑似目标就会影响图像中目标提取的速度,虚警率就会急剧增加;如果阈值选择比较高,检测性能就会降低,甚至是丢失真实目标。因此,为了改善在图像中提取目标的性能,设计了一种新型的多阈值自适应分类器。

图像像素的灰度值的范围假设为G= {0,1,···,N-1},分割阈值为{t1,t2,···,tq; (0＜t1＜t2＜···＜tq＜Q-1)}。因此图像被分割成(Q+1)个部分,B={b0,b1,···,bq; (b0＜b1＜b2＜···＜bq)}代表了对应于阈值q的 (q+1)个权重,在这些条件下,图像f(x,y)的分类结果可以由下式来进行描述:

出于自适应的目的,采用根据图像统计特性来确定各分割阈值的方法,即

式中:m为当前帧图像的均值;σ为标准差;ki为加权系数。

经过上述分割后,图像中的像素点被分为(n+1)个类,f0(x,y)=b0的这一类像素点将被认为是单纯的噪声点从图像中滤除,此时{f1(x,y)= b1,···,fi(x,y)=bi,···,fq(x,y)=bq}的像素点构成n类疑似目标集(其中f和b对应该疑似目标点所属的类),疑似目标fi(x,y)的下标越大表明该像素点隶属目标点的程度越大,因此所赋予的能量权值bi也就越高。

1.3 时间管道和前向验证

基于上述多阈值分类方法,前向验证将充分利用图像序列中小目标的灰度值和位置的相关性。当疑似目标在当前帧图像中不能完全确定时,以当前目标为基础,在接下来的图像帧中以位置为基础对所有的疑似目标在时间管道中一帧一帧地继续寻找确认,所有疑似目标的能量通过当前帧的加权求和,然后再根据给定阈值来判定疑似目标是否是真实目标。假设当前帧疑似目标是待确认目标,目标检测可以通过下述步骤来完成。

(1)根据目标属性、移动速度、平台抖动和帧频来估算最大可能位移量Dmax。

(2)基于移动目标中心及半径r(r＞Dmax)使用前向L帧图像构造时空管道,如图4所示。首先设置当前帧图像区域中的Sk为时间管道的起点,以疑似目标的中心为中心,以r为半径,延伸至(k+1)帧。如果疑似目标出现在k+1帧中,的距离小于r,就把时间管道的中心设为如果疑似目标没有出现在(k+1)帧中,时间管道就直接延伸至(k+2)帧寻找疑似目标。依照这样的模式,时间管道可以延伸至(k+l)帧。

图4 时空管道示意图Fig.4 Sketch of spatial–temporal pipeline

(3)求各类疑似目标的能量加权和Ak,L,以评估在当前帧图像中的疑似目标是否是真实的目标。Ak,L可用下式计算:

式中:L为时间管道的长度;Sm为m帧中以中心,以r半径的图像区域;bmi为m帧中属于Sm的第i类疑似目标点能量权值;Ak,L为k帧中疑似目标在长度为L帧中的能量加权和。

(4)设置合理的目标检测阈值T,在时空管道内对第k帧中的疑似目标进行判断,只要管道内的能量加权和满足Ak,L≥T,即可判定目标为真实目标。

(5)在第k帧中遍历所有疑似目标,重复上述步骤(1)～(4),对每一个疑似目标进行真伪判定。

2 实验结果及分析

选择一组图像序列作为测试素材,其分辨率为640像素×480像素,测试的目的是为了验证算法的有效性和实时性,并且进行定量分析。图像序列中的点状目标的信噪比较低,图像中既有实际目标,也有虚假目标,且目标的灰度值不一样,因此,特别适合来测试算法的性能。图5是当前帧图像中的疑似目标以及连续6帧图像平面投影的测试效果,其中在多阈值选择中使用了3组阈值,可以得到除了背景外的两类疑似目标。图中的圆圈表示搜索半径r,根据疑似目标的运动特征,选择合适的搜索半径。判决阈值设定为2,从算法的运行效果来看,可以有效地发现图中的疑似目标,并能对疑似目标进行判决,得到真实的目标。根据FPGA开发的算法,处理每帧的运行时间为2.5 ms,另外加上图像数据在工控机和协处理器中的传输时间,总时间小于等于8 ms,完全能够满足系统对实时性的要求。

图5 当前帧疑似目标及连续6帧图像的平面投影Fig.5 Potential targets in current frame and Plane projection in six continuous frames

3 结论

在液体图像序列的杂质检测中,采用单阈值图像分割,很容易丢失目标,本文提出了一种采用多阈值分割和前向验证的算法来进行点状目标检测。该算法在单帧图像中进行背景抑制后,采用多阈值对疑似目标进行分类,根据属于不同类目标的水平来设置能量权重,以提高目标检测的性能。在单帧检测的基础上,依据图像序列来构建合适半径的时间管道,对疑似目标进行能量积累,在当前帧评估疑似目标是否为真实目标的同时,对连续的几帧图像进行能量积累,当能量超过设定阈值时,便确认为真实目标,否则视为虚假目标。通过实验,验证了该算法的有效性和实时性均具有令人满意的结果。

[1]LIU L.The algorithm research about infrared dim target [M].Harbin,China:Harbin Engineering University,2005.

[2]FERNANDEZ M F,ARIDGIDES T,Bray D.Detecting and tracking low-observable targets using IR[C]//DRUMMOND O E.Proceedings of SPIE Signal and Data Processing of Small Targets.Orlando,FL,USA:Society of Photo-Optical Instrumentation Engineers,1990:193-206.

[3]CHAN D S,LANGAN D A,STAVER D A.Spatial processing techniques for the detection of small targets in IR clutter[C]//DRUMMOND O E.Proceedings of SPIE Signal and Data Processing of Small Targets.Orlando,FL, USA:Society of Photo-Optical Instrumentation Engineers, 1990:53-62.

[4]LI M,ZHANG T X,YANG W D.Moving weak point target detection and estimation with three-dimensional double directional flter in IR cluttered background[J].Optical Engineering,2005,44:145-148.

[5]WEN P Z,SHI Z L,YU H B.A detection method for ir point target on sea background based on morphology[J]. Opto-electronic Engineering,2003,30:55-58.

[6]REN H R,ZHANG P,WANG J L.A method for small target detection based on energy accumulation and morphological opening by reconstruction in infrared image sequences[J].Infrared Technology,2003,25:28-30.

[7]TZANNES A P,BROOKS D H.Detection of point targets in image sequences by hypothesis testing:a temporal test frst approach[C]//Proceeding IEEE International Conf.,Acoustics,Speech and Signal Processing.Washington,DC,USA:IEEE Computer Society,1999:3377-3380.

[8]New W L,Tan M J,Er M H,et al.New method for detection of dim point targets in infrared images[C]//DRUMMOND O E.Signal and Data Processing of Small Targets 1999,Processing of SPIE.Denver,CO,USA:SPIE Proceedings,1999:141-150.

Real Time Object Detection in Image Sequence

SONG Shao-jing
(School of Electronic and Electrical Engineering,Shanghai Second Polytechnic University, Shanghai 201209,P.R.China)

Small target detection is a crucial problem for impurity detection in liquid.Based on analysis existing algorithm of detecting objects in image,a new algorithm based on multi-threshold classifcation and forward verifcation is described.After background suppression,an adaptive multi-threshold classifcation is adopted for the extraction of potential targets.The algorithm improves the detection capability of potential targets.When the potential target can’t be judged whether it is real targets,a time pipeline is set up for energy accumulation.After forward searching,the potential target is assessed to the real target by a reasonable threshold.Using hardware to parallel processing the image can meet real time requirements.Some experiments using real ampoule liquid have given satisfying results.

impurity detection;liquid image sequence;small target;multi-threshold classifcation;backward virifcation

TN911.7

:A

1001-4543(2014)01-0050-05

2013-07-15;

2014-03-10

宋绍京(1974–),男,山东泰安人,助理研究员,博士,主要研究方向为图像处理、智能控制,电子邮箱sjsong@sspu.edu.cn。