用于鬼影抑制的区域检测算法

2015-03-23陈晓竹胡正东

中国计量大学学报 2015年1期

关键词：邻域像素点前景

陈亮,陈晓竹,胡正东

(中国计量学院信息工程学院,浙江杭州 310018)

用于鬼影抑制的区域检测算法

陈亮,陈晓竹,胡正东

(中国计量学院信息工程学院,浙江杭州 310018)

Vibe是近期受到广泛关注的一种有效的视频运动目标检测算法,采用背景像素点的穿插更新策略抑制鬼影的产生,抑制过程缓慢.现在原始Vibe算法的基础上提出改进,改进包括:为了处理鬼影和短暂停留的前景,引入缓冲模型和第二背景模型替换穿插更新策略;为了避免基于单像素点判别造成的误判,对处理后的分割掩码图片进行区域检测.实验结果表明,相比于原Vibe算法,改进后的算法不仅能够有效地处理噪点和鬼影,同时能够有效处理短暂停留的前景目标.

背景建模;运动检测;Vibe算法;鬼影抑制

运动目标检测[1]是整个视频监控系统的关键一步,它是目标跟踪、目标识别及行为理解等后续处理的基础,是目前机器视觉领域的一个重要研究方向,运动检测性能的好坏直接影响整个视频监控系统的表现.所谓运动目标检测就是在视频序列中将运动的前景目标从静止的或者缓慢移动的背景环境中检测出来,因为背景和应用环境的不同,研究不同环境下或通用环境下的有效运动目标检测变得非常迫切.对背景建模[2],然后将当前帧与背景模型进行差分运算是运动检测中的一个有效方法,于不同的场景,学者提出了不同的建模算法.常见的背景建模分为参数模型建模方法和非参数模型建模方法.其中单高斯模型、混合高斯模型等属于参数模型建模方法;背景帧差法、码本算法、Vibe算法等属于非参数建模方法.单高斯模型[3]使用单一的高斯模型对背景像素点建模,在室内等单一环境下具有较好的检测效果,但在复杂的环境下,如波动的湖面和摇摆的树枝等,就很难有效的建模和检测;针对单高斯模型存在的缺点,有人提出了混合高斯模型[4-8],该方法认为背景像素点在时间序列上符合混合高斯分布,从而用多个高斯分布对一个像素点的所有像素值做出描述,其参数量多,计算量大,导致参数估计慢,难以达到实时性的要求;背景差分法[9-10]使用预先给定的背景图像作为背景模型,将当前帧与背景模型做差,若两帧之间对应位置的像素值差别不够明显,则判断为背景.该算法设计简单,计算量小,具有良好的实时性,但是其背景模型固定,不能随着时间推移更新背景模型,当背景变化时难以有效的检测前景运动目标;码本算法[11-14]为每个像素点建立一个码本,码本中包含若干码字,然后将当前像素值与码本中的码字在色彩失真和亮度失真两个条件下进行比较,提取出前景运动目标.该算法计算量小能够达到实时的要求,但是其先验参数需要权衡,而且该算法在暗色区域难以有效的进行前景检测.

Vibe[15-16]算法是Olivier Barnich等学者在2009年提出的一种运动目标检测算法,在不同环境下具有良好的适应性和实时性,但是它无法及时有效的抑制鬼影和阴影.针对Vibe存在的问题,专家学者提出了改进:蒋建国提出一种基于像素级和帧级相结合的动态自适应背景更新算法[17],用以解决光照变化对算法的影响,提高了鲁棒性,同时利用YUV彩色空间来消除阴影;张磊提出颜色特征信息与Vibe相结合的改进算法[18],将像素点从RGB空间转换到HSV空间进行颜色失真度比较,提高了鲁棒性;M. Van Droogenbroeck通过改变Vibe的背景更新策略,限制背景点的穿插更新.通过对检测出的掩码图片进行二次处理,有效地抑制了噪声的干扰,提高了算法的有效性和鲁棒性[19];陈晓竹为了使Vibe算法能够快速处理鬼影,利用相邻像素点的空间一致性对Vibe算法进行改进,能够有效的处理鬼影[20].为了能够快速有效的处理鬼影,受到上述文章的启发,我们提出一种基于区域检测的改进Vibe算法.实验证实,改进后的算法不仅能够有效地处理噪点和鬼影,同时也能够有效地处理短暂停留的前景目标.

1 Vibe算法简介

Vibe算法是Olivier Barnich等学者在2009年提出的一种通用环境下的有效运动目标检测算法,该算法为每个像素点建立一个背景模型,背景模型是样本值的集合,其中的样本值均是可信赖的背景像素值,模型公式如下:

M(x)={v1,v2,...,vN}

(1)

式(1)中:N—背景模型中的样本容量,在Vibe算法中N等于20.对于像素点的当前像素值v(x),设定阈值R,计算以v(x)为中心R为半径的区域与M(x)背景模型相交的像素点个数

#{{v(x)-R,v(x)+R}∩M(x)}

(2)

#为计算当前像素点在阈值范围内与背景模型相交的像素点个数,若其值大于阈值Th,则当前像素值被判为背景像素值,否则判为前景像素值.若当前像素值被判为背景,则它有Ø分之一的机会更新自己的背景模型,同时也有Ø分之一的机会更新其8邻域中任一邻居像素点的背景模型,Vibe算法中阈值R等于20,Th等于2.Ø为抽样因子,其值为16.

初始化是算法建立背景模型的过程,Vibe算法采用视频第一帧来初始化其背景模型,由于第一帧中不可能包含像素点的N个样本值,根据相邻像素点的空间一致性原则,用其邻域像素值填充背景模型,进行N次,邻居点从其8邻域中随机选择

M0(x)={v0(y|y∈NG(x))}

(3)

式(3)中:0—初始时刻,NG(x)—像素点x的任一8邻居点的初始帧像素值.对Vibe算法进行深入分析发现,Vibe存在以下问题.

1.1 鬼影问题

Vibe算法用视频序列的第一帧初始化像素点的背景模型,这使得Vibe的初始化非常迅速,但是当待检测的前景目标在第一帧中出现时,这种初始化方式将导致鬼影的出现.模型初始化时Vibe算法错误的将前景目标当做背景像素值建模,当前景目标离开后,采样到的真正背景值无法与背景模型匹配,导致背景点被错误的检测为前景点,形成鬼影.鬼影的出现将严重影响运动目标的检测、跟踪及行为理解,然而Vibe算法并没有对鬼影进行特殊处理,鬼影的抑制完全依靠穿插更新策略.

由于鬼影是被误判为前景的背景像素值,根据相邻像素点的空间一致性,可以推断鬼影像素值与其邻域的背景像素值相似.在Vibe算法中被判为背景的当前像素值有机会更新其邻域的背景模型,当穿插到邻域背景模型中的背景像素值个数达到判定阈值Th时,鬼影像素点将会被判为背景.随着时间推移,算法整体表现为鬼影从外到内逐渐被判为背景.穿插更新虽然能够抑制鬼影,但是穿插更新策略对鬼影的抑制从外到内是一个缓慢的过程,不能及时有效地抑制鬼影.

1.2 穿插更新引入误判

虽然穿插更新策略能够抑制鬼影,但是穿插更新也可能引入误判.当停留的前景目标像素值与其邻域的背景像素值接近时,穿插更新的引入将造成对停留前景目标的误判.

图1 穿插误判效果图Figure 1 Error effect of background model interspersed

如图1所示,行李箱与其后面的屏风灰度像素值相近,短暂停留后,经过邻域屏风背景像素值的穿插更新,Vibe算法检测效果如(b)所示:行李箱上半部分已被误判为背景像素点,而取消穿插更新后,算法依然能够检测出完整的行李箱.由此实验可以得出结论:当短暂停留的前景目标像素值与其邻域背景点像素值接近时,穿插更新的引入将导致前景像素点从外到内逐渐被误判为背景点.

在一定条件下背景像素值的穿插更新策略虽然会造成误判,但是Vibe算法中对鬼影的抑制却完全依靠穿插更新策略,取消穿插后,Vibe算法将无法处理鬼影,初始化引入的鬼影将始终存在.综合考虑所有问题,我们提出以下改进算法.

2 基于区域检测的改进Vibe算法

为了能够快速有效的处理鬼影和短暂停留的前景运动目标,在原始Vibe算法的基础上进行修改,提出基于区域检测的改进Vibe算法:为了处理鬼影和短暂停留的前景,引入缓冲模型和第二背景模型替换穿插更新策略;为了避免基于单像素点判别造成的误判,对处理后的分割掩码图片进行区域检测;根据输出掩码图片中像素点X被判为前景的频率f,进行附加鬼影检测,或者进行短暂停留前景附加检测.流程如图2下:

图2 算法流程图Figure 2 Flowchart of the algorithm

2.1 区域检测

2.1.1 取消穿插更新

当短暂停留的前景目标像素值与其邻域背景像素值非常接近时,Vibe算法中的穿插更新策略将引起误判,所以我们取消背景像素点的穿插更新策略.被判为背景的当前像素值只用来更新其自己的背景模型,不对其邻域进行穿插更新.为了保持算法的一致性,初始化时仅用本像素点的像素值重复填充背景模型,不用邻域像素点像素值进行填充.这样改进后的Vibe是基于单像素点的运动检测算法,为了避免单像素点检测造成的误判,我们引入区域检测更新.

2.1.2 区域检测更新

这里的区域检测是对改进后的Vibe算法检测出的掩码图片进行再检测.

图3 掩码图片Figure 3 Mask images

图3中(b)、(c)示意图分别是a所示掩码图片右上角和左下角红色矩形框部分放大5倍后的效果图.通过对掩码图片进行观察研究发现,噪点的8邻域内前景点的个数一般不会超过2个,而运动目标像素点的8邻域内前景点的个数基本都大于等于3个,所以,对掩码图片的区域检测以8邻域为单位进行.为了达到区域检测更新的目的,扫描检测输出的掩码图片当发现前景点时,计算其8邻域内的前景点个数,若其8邻域内的前景点个数小于等于2,则认为其为噪声点,将其改判为背景像素点.这样,引入了区域更新,不仅避免了单像素点引起的误判,同时也有效地过滤了噪声点,提高了检测的性能.

2.2 缓冲模型及第二背景模型

改进后的Vibe算法,经过基于8邻域的区域检测,避免了单像素点造成的误判,同时也有效地过滤了噪点.由于Vibe算法采用保守的更新策略,只有背景像素点能够用来更新背景模型,所以取消穿插更新后,鬼影像素点的背景模型不能得到更新,鬼影点将始终存在,若不加特殊处理算法将难以处理鬼影和新增背景.为了能够有效地处理鬼影点和新增加的背景,引入缓冲模型和第二背景模型.其中缓冲模型用于存储可能的第二背景像素值,第二背景模型用于处理鬼影和短暂停留的前景目标.图4为缓冲模型更新流程.

图4 缓冲模型更新流程图Figure 4 Flowchart of the cache model updating

2.2.1 缓冲模型

对单一像素点分析发现,单一像素点可能存在着四种取值:稳定背景像素值、周期背景像素值、新增背景像素值及前景像素值.由于Vibe背景模型几乎存储着所有像素点的稳定背景模型,这里缓冲模型只考虑其他三种情况.缓冲模型为像素点保存三个缓冲像素值,作为可能的第二背景模型

H(x)={h1,h2,h3}.

(4)

若当前像素值不能与Vibe背景模型及第二背景模型完成匹配,更新缓冲模型.将当前像素值与缓冲像素值依次进行匹配,若能够匹配,则此缓冲像素值的出现频率f加1,否则其出现频率f减1;如果当前像素值与缓冲像素值都不匹配,检查缓冲模型是否填满:若缓冲模型没有填满,则用当前像素值填充缓冲模型.若缓冲模型已经填满,则用当前像素值替换出现次数最少的缓冲像素值;最后,依次查看缓冲模型中的缓冲像素值的出现次数是否超过出现次数阈值,如果出现次数超过了出现次数阈值,将此缓冲背景像素值移入第二背景模型.

由于初始化引入的鬼影在视频序列的开始即被连续检测为前景像素值,为了能够快速地抑制鬼影,区别鬼影检测和短暂停留前景的检测.引入帧序号阈值fTh,当视频帧序号fNum小于阈值fTh时,进行附加鬼影检测.若缓冲像素值的出现次数大于鬼影阈值GhostTh,将其移入第二背景模型,同时将此缓冲像素值从缓冲模型中清除,标记此像素点为鬼影像素点.当帧序号大于帧序号阈值fTh时,进行短暂停留前景附加检测.只有当缓冲像素值的出现次数大于背景阈值BackTh时,才能将此缓冲背景像素值移入第二背景模型.

2.2.2 前景检测

如图5,首先让当前像素值与Vibe背景模型匹配,若能够完成匹配,再判断当前Vibe背景模型是否为鬼影背景模型,若是鬼影背景模型,则在接下来的20帧内用背景值依次替换背景模型中的样本值,依次替换模型中的样本值,是为了增加背景模型中样本值的多样性,提升检测的效率.若不是鬼影背景模型,抽样更新Vibe背景模型;如果当前像素值不能够与Vibe模型匹配,则尝试匹配第二背景模型,若不能与第二背景模型完成匹配,则判其为前景像素值,更新缓冲模型.若能够与第二背景模型完成匹配,则再判断当前像素点是否为初始化引入的鬼影像素点;若是鬼影像素点就清空第二背景模型,重新初始化当前像素点的Vibe背景模型,并将其标记为鬼影背景模型,若当前像素点不是初始化引入的鬼影像素点,则抽样更新第二背景模型.

图5 前景检测流程图Figure 5 Flowchart of the motion detection

缓冲模型的更新策略保证了短时间内高频出现的前景目标不会被当做新增加的背景吸纳,避免了误判.第二背景模型的引入使得单一像素点同时存在多个背景模型的,能够有效地处理多背景模型的复杂应用环境.另外,如图5所示,不同模型的更新是相互独立的,这就保证了当一种背景离开后,算法依然能够快速有效地检测出前景目标,同时这种策略也避免了背景离开后鬼影的形成,但是无法处理周期性出现的扰动背景像素点.

3 实验结果

本文的实验环境为配置opencv 2.4.4的VS2010,运行在惠普pro系列台式机上,内存4 GB,处理器为Intel Core i5 3.20 GHz,处理的视频序列出自PETS dataset 2006.本文所提的改进算法主要为了解决鬼影问题,为了考察改进算法处理鬼影的能力,从标准训练集中选取了一段存在鬼影的视频作为实验序列,实验结果如图6.

图6 鬼影对比试验结果Figure 6 Comparison of ghost detection

经过试验发现,将帧序号阈值nFrameTh设置为150,鬼影阈值设置为70时,鬼影检测效果最好.鬼影对比试验结果如图6.到第150帧时,由于鬼影像素点的连续出现帧数已经超过了鬼影检测阈值,所以在第150帧时,本文改进算法已将鬼影完全抑制.而原Vibe算法对鬼影的抑制完全依赖于背景像素点的抽样穿插更新策略,到150帧时,原Vibe算法依然检测出完整的鬼影,直到1 700帧时,原Vibe算法才完成了对鬼影的抑制.文献[20]所提改进算法依靠相邻像素点的空间一致性原则从外向内对鬼影进行抑制,到第150帧时未能完全抑制鬼影出现,直到第400帧才完全抑制了鬼影.由此可见,本文算法在鬼影抑制速度上明显优于原Vibe算法和文献[20]所提改进算法.

为了全面对比算法的性能,从标准训练集中选取了一段不存在鬼影的室外视频作为实验序列,检测效果如图7.图片中的前景为4位行人、一辆行驶中的白色汽车和一辆刚在三叉路口停下的轿车.观察图片发现:相比于原Vibe算法和文献[20]算法,本文算法不仅能够更好的抑制噪点的出现,还提高了前景目标的检测率.本文算法性能优越因为取消了背景像素点的穿插更新、引入了以8邻域为单位的区域检测,在避免误判的同时,也有效的抑制了噪点的出现.

图7 室外检测效果对比图Figure 7 Comparison of the outdoor detection

为了从参数指标上对比原Vibe算法、文献[20]算法和本文算法,引用PCC参数.PCC全称为:Percentage of Correct Classification,是指一帧图片中正确检测的像素点比例,公式如下:

(5)

其中:TP—指正确检测的前景像素点个数,FP—误判为前景像素点的背景点个数,TN—正确检测出的背景像素点个数,FN—误判为背景的前景点个数.图7所示图片大小为448×336,Vibe算法和改进算法的PCC参数如表1.

表1 PCC参数表

表1对比的PCC参数是图7序列所示视频处理后的PCC,因为该序列中不存在鬼影,避免了鬼影对PCC参数的影响,保证了PCC的准确性.对比表1可以看出,本文算法的PCC指标最优.主要因为改进算法一方面有效的过滤了噪点,另一方面减少了误判,提高了前景目标的检测效率.

通过以上对比发现,改进后算法的检测性能得到了有效的提升,然而算法是否依然满足实时性的要求呢？在相同的实验条件下,原Vibe算法、文献[20]算法和本文算法的运行时间如表2.

表2 算法的平均处理速度

从表2可以看出取消了穿插更新后,即使加入了以8邻域为单位的区域检测,改进算法能够满足实时性的要求.

图8 短暂停留背景Figure 8 Background for short stay

本文算法引入了缓冲背景模型和第二背景模型,使得改进算相比于原Vibe算法和文献[20]算法发能够处理更加复杂的背景环境.当停留前景目标出现频率超过背景阈值BackTh时,算法将其吸纳为背景,并将前景目标像素值移入第二背景模型.当停留前景离开后,由于原Vibe模型依然存在,算法不会由于停留背景的离开而检测出鬼影.其中背景阈值根据应用环境的不同而适当调整.为了显示本文算法处理停留前景目标的能力,实验中我们将背景阈值设置为600,如图8,在第950帧时,路过的行人将一白色手提袋放在沙发上,在第2 150帧时白色手提袋已经被吸纳为背景,在第2 460帧时路过的行人将白色手提袋拿走,然而因为当前像素值依然能够与Vibe背景模型匹配,所以白色手提袋原来摆放的位置并没有因为白色手提袋的离去而形成鬼影.

4 结语

本文提出了一种基于Vibe模型的改进运动检测算法:取消了Vibe算法中的穿插更新策略;为了避免单像素点造成的误判,引入以8邻域为单位的区域更新策略;为了能够处理复杂的背景环境,引入了缓冲模型和第二背景模型.实验结果分析表明,在空间一致性的原则下,改进后的算法能够有效地处理鬼影和短暂停留的前景目标.但是当鬼影区域出现像素值突变时,鬼影的处理效果将受到影响,同时改进算法无法处理周期性出现的扰动目标,如何解决这两个问题,将是接下来研究的侧重点.

[1] 王亮,胡卫明,谭铁牛.人运动的视觉分析综述[J].计算机学报,2002,25(3):225-237. WANG Liang, HU Weiming, TAN Tieniu. A survey of visual snalysis of human motion[J]. Chinese Journal of Computers,2002,25(3):225-237.

[2] 田楠.背景建模算法研究[D].兰州:兰州大学,2012. TIAN Nan. Research of background modeling algorithm[D]. Lanzhou: Lanzhou University,2012.

[3] WREN C R, DARRELL T,PENTLAND A P, et al. Pfinder: Real-time tracking of the human body[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,1997,19(7):780-785.

[4] 孙毅刚,李鸿,张红颖.基于改进混合高斯模型的运动目标检测算法[J].计算机工程,2012,38(18):166-170. SUN Yigang, LI Hong, ZHANG Hongying. Moving object detection algorithm based on improved gaussian mixture model[J]. Computer Engineering,2012,38(18):166-170.

[5] 马若飞.基于高斯混合模型的运动目标检测算法[D].兰州:兰州大学,2010. MA Ruofei. Research on moving object detection algorithm based on Gaussian mixture mode[D]. Lanzhou: Lanzhou University,2010.

[6] ZIVKOVIC Z. Improved adaptive gaussian mixture model for background subtraction[C]//Proceedings of the 17th International Conference on Pattern Recognition. UK: IEEE Computer Society,2004:28-31.

[7] LEE D S. Effective gaussian mixture learning for video background subtraction[J]. Pattern Analysis and Machine Intelligence, IEEE Transactions on,2005,27(5):827-832.

[8] WANG Hanzi, SUTER D. A consensus based method for tracking: modelling background scenario and foreground appearance[J].Pattern Recognition,2007,40(3):1091-1105.

[9] 高美凤,刘娣.分块帧差和背景差相融合的运动目标检测[J].计算机应用研究,2013,30(1):299-302. GAO Meifeng, LIU Di. Moving object detection based on consecutive blocks frame difference and background subtraction[J].Application Research of Computers,2013,30(1):299-302.

[10] MOHAMED S S, TAHIR N M, ADNAN R. Background modelling and background subtraction performance for object detection[C]//Proceedings of the 6th International on CSPA. Mallaca:IEEE,2010:1-6.

[11] KIM K, CHALIDABHONGSE T H, HARWOOD D, et al. Real-time foreground-background segmentation using codebook model[J]. Real-Time Imaging,2005,11(3):172-185.

[12] KIM K, CHALIDABHONGSE T H, HARWOOD D, et al. Background modeling and subtraction by codebook construction[C]//Proceedings of the 2004 International Conference on Image processing. Singapore:IEEE,2004:3061-3064.

[13] 郭春生,王盼.一种基于码本模型的运动目标检测算法[J].中国图象图形学报,2010,15(7):1079-1083. GUO Chunsheng, WANG Pan. An algorithm based on codebook model to moving objects detection[J]. Journal of Image and Graphics,2010,15(7):1079-1083.

[14] 齐美彬,杨爱丽,蒋建国,等.一种基于改进码本的车辆检测与跟踪方法[J].中国图象图形学报,2010,15(7):406-412. QI Meibin, YANG Aaili, JIANG Janguo, et al. A vehicles detection and tracking algorithm based on improved codebook[J]. Journal of Image and Graphics,2011,16(3):406-412.

[15] BARNICH O, DROOGENBROECK M V. Vibe: a powerful random technique to estimate the background in video sequences[C]// Proceedings of the ICASSP 2009 on Acoustics, Speech and Signal Processing. Taipei: IEEE,2009:945-948.

[16] BARNICH O, DROOGENBROECK M V. Vibe: a universal background subtraction algorithm for video sequences[J]. IEEE Transactions on Image Proceeding,2011,20(6):1709-1724.

[17] 蒋建国,王涛,齐美彬,等.基于vibe的车流量统计算法[J].电子测量与仪器学报,2012,26(6):558-563. JIANG Janguo, WANG Tao, QI Meibin, et al. Statistical algorithm for traffic flow based on ViBe[J]. Journal of Electronic Measurement and Instrument,2012,26(6):558-563.

[18] 张磊,傅志中,周岳平.基于HSV颜色空间和Vibe算法的运动目标检测[J].计算机工程与应用,2014,50(4):181-185. ZHANG Lei, FU Zhizhong, ZHOU Yueping. Moving objects detection based on HSV colorspace and Vibe algorithm[J].Computer Engineering and Applications,2014,50(4):181-185.

[19] VAN D M, PAQUOT O. Background subtraction: experiments and improvements for ViBe[C]//Computer Vision and Pattern Recognition Workshops (CVPRW). Providence, RI: IEEE,2012:32-37.

[20] 陈亮,陈晓竹,范振涛.基于Vibe的鬼影抑制算法[J].中国计量学院学报,2013,24(4):425-429. CHEN Liang, CHEN Xiaozhu, FAN Zhentao. Ghost suppression algorithm based on Vibe[J]. Journal of China University of Metrolohy,2013,24(4):425-429.

Region detection algorithm for ghost suppression

CHEN Liang, CHEN Xiaozhu, HU Zhengdong

(College of Information Engineering, China Jiliang University, Hangzhou 310018, China)

Vibe algorithm is an effective visual motion detection algorithm. By using the updated background model to suppress ghost, the original Vibe algorithm depressed slowly. We proposed an improved Vibe algorithm by making several improvements based on the original algorithm. In order to avoid the misjudgment at the pixel level, we detected the binary mask at the blob level, which was detected by the improved Vibe algorithm, adding a second model and a cache to deal with ghost and short stay objects. The simulation verifies that the improved algorithm can effectively handle noise, ghost and short stay objects.

background modeling; motion detection; Vibe algorithm; ghost suppression