基于块匹配置信度的隧道交通背景提取算法
2015-07-02卢胜男段沛沛冯建利李小和
卢胜男,段沛沛,冯建利,李小和
(西安石油大学 计算机学院,陕西 西安 710065)
基于块匹配置信度的隧道交通背景提取算法
卢胜男,段沛沛,冯建利,李小和
(西安石油大学 计算机学院,陕西 西安 710065)
针对隧道交通环境变化特点,采用改进的统计直方图法进行背景提取,并提出一种基于块匹配置信度的背景更新算法。实验结果表明,该算法既能满足缓慢变化场景的更新,又克服了当场景中出现慢行目标或目标长时间停留出现的拖尾和目标混入的现象,而且计算复杂度低,背景提取迅速,适合交通状况实时检测的要求。
隧道交通;视频检测;背景提取;背景更新;置信度
随着各种公路隧道的不断涌现,交通量日益增加,各种隧道事故发生的数量和频率也相应增加,基于视频的隧道交通监控系统越来越广泛地应用于各种公路、海底隧道中。它不仅能够为交通管理部门提供实时交通参数信息,也为隧道交通事故预警和取证提供重要依据。背景差分法由于抗干扰能力强,计算开销小,检测精度高等优点,是目前比较适合于交通视频中运动目标实时检测的方法。背景提取作为背景差分算法的关键一环,提取质量的好坏直接影响后续研究工作的准确性。所以,准确快速地建立背景模型和更新背景图像是背景差分法的关键问题[1]。
国内外学者对背景提取算法进行了深入而广泛的研究,目前,常用的背景提取算法主要有时间平均模型、混合高斯模型[2-3]和基于核密度估计模型[4]等。时间平均模型是一种简单的自适应背景更新模型,它是利用视频若干帧像素的时间平均值来建立背景参考模型,例如均值法、统计中值法[5]、Surendra方法[6-7],该方法适合于背景像素在大部分时间内可见的情况。但是,当场景中有大量目标长时间在运动或者目标运动太慢,时间平均模型就很难获得满意的结果。混合高斯模型是背景建模当中最常用的一种模型,它利用若干按照不同权值叠加的高斯分布来模拟多峰分布,各个高斯分布的权值和分布参数随时间更新。P.Kaew Trakulpong[8]在混合高斯分布的框架下采用在线期望最大化(Expectation Maximiza⁃tion,EM)对模型参数的更新算法进行了改进,无论是背景模型的学习、更新速率还是精度都超过了混合高斯模型的原型。Z.zivkovic[9]在混合高斯框架下提出一种自适应算法,该算法既能自适应地更新高斯分布参数,也能自动选择高斯函数的个数。Anurag Mittal[10]结合光流法,在时域上利用核函数的方法对像素值的概率密度进行估计,这种检测算法对树枝和海浪等摆动背景具有良好的效果。此外,文献[11-12]分别采用自回归过程和隐马尔可夫模型建立背景模型,文献[13]将图像序列的高层分析方法和低层分析方法结合建立背景模型。一些学者还引入音频信息,提取音频、视频混合背景模型,依靠增加输入信息的维数来提高检测准确度。虽然国内外学者在背景建模方面取得了不少成果,但检测算法仍然没有达到复杂场景的要求。由于复杂场景中背景图像的多样性和复杂性,期望出现一种通用模型适合于所有场合并不现实,因此,最佳的解决思路是不同的背景分布采用不同的背景模型。
目前,在交通背景提取算法方面,学者们对道路交通的背景提取已经做了大量的工作,但对隧道交通背景提取的研究却很少。相比于道路交通,隧道环境由于其封闭性,光照条件、汽车尾灯和粘连的车辆都给背景提取带来很多不确定性,因此,本文在分析各种背景提取和更新方法的基础上,针对隧道交通背景的特点,提出一种基于块匹配置信度的背景提取算法。
1 背景图像提取
1.1 统计直方图法
传统的统计直方图法用于背景提取时,将一段时间内同一位置像素点出现的灰度值次数最多的灰度值作为背景像素值。该算法是建立在运动目标在场景中不会长时间停留在一个位置的假设基础之上的,因此对于车流量比较小的情况,提取背景效果理想。但是,当车流量比较大,尤其是远处车辆出现粘连现象时,得到的背景图像往往误差较大。
经过大量实验验证,笔者发现,针对不同的车流量,统计直方图呈现出两种统计结果:一种是统计直方图呈单峰状态,或者是除主峰外,零星分布一些可以忽略不计的小峰,如图1b(直方图全部为平滑过后的)所示。它表示在一段时间内车流量较小,大多数为背景信息,如图1a所示。
在一段较长的时间内,车辆的出现、行驶和消失对直方图没有任何影响,大多数的背景点值为统计直方图中频率最大处对应的灰度值。因此,对于车流量比较小的情况,选取直方图中出现频率最大的灰度值作为背景,其效果较为理想。
另一种情况是统计直方图呈多峰状态,如图2b所示。它表示在一段时间内车流量较大,如图2a所示,背景信息复杂,有目标当作背景的可能性。图2b标记峰值1、2、3中,1、2处明显出现频率较大,峰值3处,不仅灰度值为255且出现频率最大。很显然,在隧道的背景环境下,峰值3处是由于远处车辆粘连,车灯长时间出现所导致的。因此,这种情况下统计直方图中的频率最大值对应的不是背景点的灰度值。
基于以上分析,当统计直方图呈多峰状态时,对于多个极大值,需要考虑其为背景灰度的可信度,选取可信度最高的灰度值作为背景灰度。为此,本文提出一种改进的基于统计直方图的隧道背景提取算法。
图1 车流量较小的交通状况
图2 车流量较大的交通状况
当隧道中车流量较大时,相比隧道顶棚和侧壁,道路背景受运动车辆灰度影响比较大,因此统计直方图呈多峰状态的像素点主要集中在路面背景上。由于车灯的灰度值相同,
1.2 改进的背景提取方法统计直方图中可能会出现频率较高的极大值,但车身灰度值相同的概率很低,因此,路面灰度值必然是多峰统计直方图中若干个极大值中所对应的一个。同时,路面灰度往往介于车灯和车身灰度值之间,因此,本算法采用像素多帧平均值来衡量路面灰度值的可信度,以便进一步确认多峰统计直方图中哪一个极大值对应的灰度值为背景灰度。基于以上思路,该算法具体步骤如下:
1)在一段时间内,读取N帧图像,对单点像素进行灰度直方图统计,即
式中:P(x,y,k)表示位置为(x,y)处的像素点其灰度值为k出现的频次。
2)直方图平滑去噪后找到灰度值出现频率最大点,如式(2)所示。接着,根据选定的频率最大值点,判断其左右两边一段范围内的能量是否大于总统计能量的80%,若是,则认为该统计直方图是单峰图,其频率出现最大值所对应的灰度值就是背景像素的灰度信息。反之,则需要进一步判断和分析统计直方图中多个极大值所对应的灰度值作为背景值的可信程度。
维瓦尔第在这一乐章开始就用了一段快速的小提琴独奏来描绘刺骨的寒风。紧接着合奏音乐渐强,营造出紧张的气氛,不和谐的颤音表现出人们在冰天雪地中的颤抖,仿佛是跺脚时发出的声响。首章末尾是三十秒长的小提琴独奏,听上去像牙齿在不停地打架。
3)当统计直方图属于多峰图时,找出直方图中的若干个极大值。接着,找出这些极大值中的最大值及其左右两边所对应的谷值点,然后,在谷值点两侧各找到一个相应的次极大值点,依次类推,可得到若干个极大值点Ymax2,...,Ymaxn。
4)统计该像素多帧平均值Yave,将多个极大值和该平均值结果进行比较,相差较小的是背景的可能性较大,因此,将该峰值点作为像素的背景灰度信息,如式(3)所示。
在多个峰值Ymax1,Ymax2,...,Ymaxn中,计算
取dmin处的峰值点的灰度为背景灰度。
该算法提取结果如图3所示。由于原始视频中车流量较大,采用传统的统计直方图法提取背景远处有明显的污染区域;而本算法利用路面灰度可信度参量滤掉差异变化较大的灰度信息,一定程度上消除了背景误差像素,整个运算过程简单,参数少,而且背景提取的速度快,效果较理想。
2 背景更新
由于光照条件的变化以及运动目标长时间静止,或者场景中出现异常事件等不确定因素,隧道背景亮度会发生缓慢或骤然的改变。在这种情况下,一直采用上述方法提取背景必然会引入越来越大的误差,因此需要适时地更新背景以保证背景图像的准确性和实时性。由于隧道的封闭空间,环境变化对背景提取的影响比较小,主要是隧道出口光照变化和隧道内目标长时间停留或异常事件造成的影响。针对该特点,本文提出一种新的基于块匹配置信度的背景更新算法。
图3 背景提取
2.1 初步算法
该算法的基本思路是计算前后两帧间对应块SAD(Sum of Absolute Pixel Block Difference)值,若SAD值小于阈值,说明该块相对稳定,并记录该块连续稳定的次数。若该块稳定持续一段时间,说明该块进入稳定状态,即可按照一定比例更新背景。具体算法步骤如下:
1)将图像分成M×N的小块,本文选取小块大小为6×8。
2)计算各个块的SAD值,如式(4)所示,Ft(m,n)和Ft-1(m,n)分别是相邻两帧对应块的像素灰度值。若SAD小于阈值T,则该块置信度Ct加1,反之则该块置信度Ct清零。
3)当某块置信度满足阈值时,即Ct≥Thc,说明该块进入稳定状态,背景块Bt(m,n)=Ft(m,n)未到达要求,置信度的块信息继续累加,直到满足置信度条件为止。为了使得更新后的背景更加平滑,当Ct>Thc时,背景更新时引入更新系数α,按式(5)进行背景更新。
该算法时间复杂度和空间复杂度较低,很好地满足了系统实时响应需求,对隧道出口光线的变化反应灵敏,当光线由亮变暗或从暗变亮时该算法都能及时更新。但是,该算法存在很大的缺点,就是当场景中出现慢行目标或目标长时间停留时,该算法根据稳定状态更新背景的思想将导致背景中混入目标或出现拖尾现象。为了解决这个问题,本文在初步算法的基础上进行了改进。
2.2 改进算法
为了避免将慢行目标更新到背景中,需要对目标的稳定状态做特殊处理。其实,任何一个稳定状态都存在两种情况:背景中无目标和目标中有背景,因此对于任意小块t来说,前后两个相邻的稳定状态共存在4种情况,如表1所示。当相邻两个稳定状态由无目标变成有目标时,说明目标到来,应该延迟一段时间再决定是否将该目标更新到背景中,若延迟一定时间后目标仍然存在,说明背景有可能发生了较大的变化,此时再进行背景更新。若延迟一定时间后目标离去,说明目标只是暂时停留,不需要进行更新。因此,判断两个相邻稳定状态中有无目标是解决这个问题的关键。
表1 相邻两个稳定状态情况分类
基于以上思想,改进的背景更新算法在初步算法的基础上,增加了3个新的变量:Co,preCo和标志位Flag。Co用来统计当前稳定状态形成过程中出现目标的帧数,即通过与前一个稳定状态的差分二值化结果判断是否有目标出现。preCo用来记录前一个稳定状态形成过程中二值化后出现目标的帧数,在第一个稳定状态未形成之前其初始值为0。标志位Flag用来标识目标的到来。改进的基于块匹配置信度的背景更新算法具体步骤如下:
1)将图像分成M×N的小块。
2)计算各个块的SAD值,如式(4)所示。若SAD<T,则该块置信度Ct加1,同时,判断该小块中是否存在目标,若存在,Co加1;若SAD≥T,则块置信度Ct清零,Co也清零。
3)当某块置信度满足阈值时,即Ct=Thc,说明该块进入稳定状态,记下此时的帧数Ft,同时判断Co和 preCo是否满足式(6)的条件,若满足,则标志位Flag置1,说明有目标到来,否则置0。最后,使用Co更新 preCo,即 preCo=Co。
4)当Ct>Thc时,若标志位Flag为0或者当前帧距离Ft达到设定的延迟时间,则按式(5)进行背景更新。
3 实验结果与分析
采用本文算法,笔者对上海复兴路隧道的实际采集数据进行了实验。视频采集系统采用单目固定CCD摄像机,其数据格式为AVI格式,采集速率为25 f/s(帧/秒),分辨率为720× 288。测试视频中,包含一段车辆由停止到驶离运动过程的视频数据,针对该段视频,笔者分别采用初步算法和改进的算法进行了测试。
本文选取小块大小为6×8,采用初始算法更新背景的结果如图4所示。很明显,车辆刚停稳不久,车头部分由于停留时间短未达稳定状态,出现更新背景模糊现象。为了便于对比分析,特意提取此时的二值化结果,如图4c所示,该二值化结果显示了车辆的主要轮廓信息,其车身部分的光滑区域,在二值化中不存在目标信息。针对同一段视频数据,采用改进的背景更新算法结果如图5所示。显然,经过延迟更新后,二值化结果中已基本没有车辆的信息,背景更新效果理想。车辆驶离时,采用改进的算法对该视频场景进行了测试,如图6所示。显然,车辆刚刚起步时,背景路面上会有很多小块被误判为目标到来,没有及时得到更新,其二值化结果也出现了许多错误的散块。经过一段时间延迟后,才能够将路面更新到背景中去,但最终的更新结果是比较理想的。
图4 初始算法
4 结论
本文提出一种新的适合于隧道交通背景提取和更新的算法。针对隧道环境车流量大时,容易出现远处车辆粘连的特点,对传统的统计直方图法进行了改进,该算法利用路面灰度可信度参量滤掉差异变化较大的灰度信息,计算简单,背景提取的速度快,效果较理想,适合实时性要求高的监控系统。另一方面,结合隧道环境变化特点,提出一种基于块匹配置信度的背景更新算法。这种算法既解决了类似光照这种缓慢变化场景的更新,又克服了当场景中出现慢行目标或目标长时间停留出现的拖尾和目标混入的现象,且相对于一些成熟的背景模型,其计算复杂度低。该算法能够利用现有的DSP硬件平台实现,从实验图像效果来看,提取的背景符合实际场景。
图5 改进算法
图6 车辆刚驶离时的背景更新效果
[1] MANUEL V,JOSE M M,FEDERICO B.An enhanced back⁃ground estimation algorithm for vehicle detection in urban traffic scenes[J].IEEE Trans.Vehicular Technology,2010,59(8):3694-3709.
[2]STAUFFER C,GRIMSON W.Adaptive background mixture mod⁃els for real-time tracking[C]//Proc.Computer Vision and Pattern Recognition.USA:IEEE Press,1999:246-252.
[3] 徐伟,谢正光,张辉,等.一种基于混合高斯的快速背景更新方法[J].电视技术,2014,38(15):240-243.
[4]ELGAMMAL A,DURAISWAM R,DAVIS L S.Efficient kernel density estimation using the fastGauss transform with applica⁃tion to segmentation and tracking[C]//Proc.the 8thIEEE Interna⁃tional Conference on Computer Vision.Canada:IEEE Press,2001,25(11):1499-1504.
[5] 李洁,杨孟拓,刘雪琴,等.改进的道路背景提取与更新算法[J].电视技术,2013,37(11):194-197.
[6] 袁基炜,史忠科.一种快速运动目标的背景提取算法[J].计算机应用研究,2004,21(8):128-129.
[7] 曾艳,于濂.一种新的道路交通背景提取算法及研究[J].中国图象图形学报,2008,13(3):593-599.
[8]KAEW T P,BOWDEN R.An improved adaptive background mix⁃ture model for realtime tracking with shadow detection[C]//Proc.the 2nd European Workshop on Advanced Video Based Surveil⁃lance Systems,Kingston:Kluwer Academic Publishers,2001,53(8):1-5.
[9] ZIVKOVIC Z,VANDER H F.Recursive unsupervised learning of finite mixture models[J].IEEE Trans.Pattern Analysis and Ma⁃chine Intelligence,2004,26(5):651-656.
[10] ANURAG M,NIKOS P.Motion-Based background subtraction using adaptive kernel density estimation[C]//Proc.the 2004 IEEE Conference on Computer Vision and Pattern Recognition.USA:IEEE Press,2004,2:302-309.
[11]KATO J,JOGA S,RITTSCHER J.An HMM-based segmenta⁃tion method for traffic monitoring movies[J].IEEE Trans.Pat⁃tern Analysis and Machine Intelligence,2002,24(9):1291-1296.
[12]MONNET A,MITTAL A,PARAGIOS N.Background modeling and subtraction of dynamic scenes[C]//Proc.the 9thIEEE Inter⁃national Conference on Computer Vision.France:IEEE Press,2003:1305-1312.
[13]TOYAMA K,KRUMM J,BRUMITT B.Wallflower:principles and practice of background maintenance[C]//Proc.the 1999 IEEE Conference on Computer Vision and Pattern Recognition.USA:IEEE Press,1999:256-261.
责任编辑:闫雯雯
Background Extraction Algorithm for Tunnel Traffic Based on Confidence of Block Matching
LU Shengnan,DUAN Peipei,FENG Jianli,LI Xiaohe
(Department of Computer,Xi’an Shiyou University,Xi’an 710065,China)
Due to the changing characteristics of tunnel traffic environment,the improved statistical histogram method is used for background extraction,and a new algorithm based on the confidence of block matching for background updating is presented.The experimental results show that this algorithm can satisfy the slowly changing scene updating,and overcome the phenomenons of trailing when there are slow objects or objects stopping for a long time in the scence.This algorithm has lower complexity,requires less calculation and has good real-time performance for tunnel traffic detection.
tunnel traffic;video detection;background extraction;background updating;confidence degree
TP391.4
A
10.16280/j.videoe.2015.08.015
2014-08-30
【本文献信息】卢胜男,段沛沛,冯建利,等.基于块匹配置信度的隧道交通背景提取算法[J].电视技术,2015,39(8).
中央高校基本科研业务费专项资金项目(CHD2011TD012);西安石油大学青年科技创新基金项目(2011QN009);陕西省教育厅专项科研计划项目(14JK1584);西安市科技计划项目(CXY1346(7))