基于视频的运动目标检测算法的比较与分析*

王 强，赵书斌

(江苏自动化研究所，江苏 连云港 222006)

基于视频的运动目标检测是指将视频图像中的变化区域从背景中分割出来，其目的是从视频图像中检测并提取运动目标。视频中的运动目标也称为前景，其余区域称为背景。有效地分割视频图像中的运动目标是计算机视觉信息提取的一个关键步骤，也是目标跟踪、目标分类和行为理解等更高层次视频图像分析的重要基础。从视频图像序列中快速准确地提取运动目标，已经成为目前计算机视觉和图像理解研究的热点和难点之一。

目前，运动目标检测的主要方法有:帧差法、背景差分法和光流法［1］。在理想条件下，检测运动目标并不存在很大的困难。但在实际应用中，由于光照条件变化、背景物体的扰动、阴影和目标遮挡等因素的影响，如何有效地从视频图像中提取完整运动目标还是需要深入研究的问题。针对这些问题，目前主要有两种不同的研究趋势。第一种趋势是对经典算法的改进，如文献［2］利用相邻三帧图像先差分再求和的改进算法，能得到比较好的运动目标轮廓并减少了光照变化带来的影响;文献［3］采用多个高斯分布加权建模，能够描述像素值分布的双峰或多峰状态，对场景比较复杂、光照缓慢变化和存在小幅度周期性扰动的背景能够准确建模;文献［4］提出了一种非参数技术，用核密度估计的方法计算每个像素是背景的概率，有效地抑制了扰动对背景模型的影响;文献［5］中提出的码本模型方法将亮度和色度分开计算，算法简单而又有效地解决了局部或全局光线变化对背景产生的影响，具有较好的适应性;文献［6］提出了一种改进的光流计算方法，通过减少光流计算量提高检测的实时性。第二种趋势是根据各种算法的优缺点，采用混合的方法对运动目标进行检测，文献［1］提出了一种自适应背景差分与三帧差分相结合的混合算法，能够快速有效地从背景中检测出运动目标;文献［7］采用了帧差法和光流法相结合的算法，使得计算出的光流场更为可靠，同时也减少了计算量。本文主要对帧差法和背景差分法进行研究，并对典型算法进行了全面地比较与分析。

1 帧差法

帧差法［8］是利用相邻两帧或多帧图像的差异来检测运动目标。在视频图像序列中，如果场景中没有运动目标，则连续两帧或多帧图像之间的变化会很小;反之，则会有明显变化。

两帧差分法的计算复杂度较低，检测速度快，对光线变化具有较强的适应性。但该方法检测出的运动目标不能准确反映目标的真实形状，且容易在目标内部产生空洞现象，同时，目标的运动速度对该方法也有很大影响。

针对两帧差分法的不足，许多学者对其进行了改进，其中利用相邻五帧视频图像进行差分的方法［9］取得了较好的效果。该方法能够得到较准确的目标轮廓，同时也能较好地适应目标运动速度的变化。但当速度过快或者过慢时，该方法依然会产生一些空洞现象。

2 背景差分法

背景差分法利用输入视频帧和背景图像的差异来进行运动目标检测，是目前运动目标检测中最常用的一类方法。如果相同位置的像素特征、像素区域特征或其他特征存在显著差别，则该视频图像中这些位置的像素点或像素区域就构成了运动目标区域。基于背景差分的运动目标检测流程如图1所示，主要包含预处理、背景建模、前景检测和后处理4个步骤［10］。

图1 背景差分法流程图

背景差分法的关键不在于差分运算，而是背景图像的构建和更新方法，即背景建模。本文在对算法进行比较与分析时，选取了目前较常用且具有代表性的几种背景建模方法，包括:均值滤波［11］、中值滤波［12］、自适应背景模型［13］、混合高斯模型［3］、自适应混合高斯模型［14］、贝叶斯模型［15］、码本模型［5］和 ViBe 算法［16-17］。

3 实验结果及比较分析

为了对本文介绍的几种运动目标检测算法进行定性和定量的比较分析，本文在Vssn061、CMU2和Wallflower3视频库中选取了七段视频进行测试。选取的视频可分为以下三种不同的背景情况:背景较纯净、背景存在较大扰动和光照变化，视频的分类和具体描述如表1所示。为了定量比较各种算法的性能差异，使用Recall、Precision和F-metric［18］来衡量算法的检测性能。

表1 实验中视频的分类和描述

容易看出，Recall、Precision和 F-metric均为［0，1］间的浮点数。Recall值越高，表明检测算法正确检测运动物体的敏感度越高，漏检率越小，完整性越好;Precision值越高，则表明检测算法产生的噪声越小，即误检率越小，抗噪性越好;Recall和Precision是一对互相制约的量，为此，本文使用F-metric作为检测算法的综合评价，F-metric值越高，则表明该算法的综合性能越好。

图2为本试验结果的部分截图

背景较纯净、背景存在较大扰动和光照变化情况下的定量分析结果分别如表2、表3和表4所示。

从效果上看，两帧差分法检测到的目标轮廓不真实，且有较大的空洞，同时在目标快速运动时，容易产生鬼影现象;五帧差分可以检测出真实的目标轮廓，但仍会产生空洞;均值滤波在目标进行缓慢移动时容易将目标融入背景，产生空洞，并容易产生拖尾现象。从图2和表2可以看出，在背景较纯净的情况下，混合高斯模型、码本模型、自适应混合高斯模型以及ViBe算法检测结果相当，它们的抗噪性和目标完整性最好，且F-metric值也高于其他算法，即它们的综合性能最好;自适应背景模型和贝叶斯模型均利用了帧间信息对背景进行建模，在此情况下其综合性能较为接近;由于ViBe算法对Railway视频中摄像机的微小抖动较为敏感，所以它的 Precision值较低，使其综合性能有所降低。

图2 每个算法在不同背景条件下的实验结果

表2 背景较纯净情况下的定量分析结果

表3 背景存在较大扰动情况下的定量分析结果

从表3可以看出，在背景存在较大扰动的情况下，每个算法的F-metric均明显低于背景纯净情况下的值。从Precision值可以看出，背景扰动对检测结果的影响很大，每个算法都不同程度地将扰动的背景检测为前景，造成每个算法的误检率变大。ViBe算法的Precision值最高，即抗干扰性最好，但是它的漏检率较高，检测结果的完整性较差;由于混合高斯模型采用多个高斯分布加权建模，能够较好地描述像素值分布的双峰或多峰状态，所以在背景存在较大扰动时，混合高斯模型的综合性能较好。码本模型检测出的运动目标的完整性略差于混合高斯模型，但它的抗干扰能力比较强，因此其综合性能也较好。

表4 光照变化情况下的定量分析结果

从图2和表4中视频Video8的结果可以看出，在发生局部光照突变时，除了两帧差分法和五帧差分法，其他方法都在一定程度上受到了光照突变的影响，后五种方法检测出的目标完整性比较相近，混合高斯模型和码本模型检测结果的完整性最好，但是由于光照突变对它们的影响较大，使其综合性能也比较差。ViBe算法在建模时既考虑了时间信息，也考虑了像素间的空间邻域相关性，因此，对于发生局部光照突变的情况能够较快地进行背景更新，其抗噪性和完整性均较好，综合性能最佳。

由视频Light switch的结果可以看出，在发生全局光照突变时，由于无法快速地对背景模型进行更新，后五种算法均出现大面积误检，从效果和定量分析结果上看，这种大面积误检使得算法无法正确检测出运动目标，也使其F-metric值均在0.3以下，综合性能很差，而且需要经过一段时间的背景更新后，这些算法才能正确地检测出运动目标。前五种算法能较快适应全局光照突变，但是检测的完整性较差，均出现不同程度的空洞。

由视频Time of day的结果可以看出，在发生全局光照缓慢变化时，后五种算法没有发生大面积的误检，但是本段视频在光照缓慢变亮时，整体光照还是偏暗的，使得这些算法只能检测出目标的头部，造成检测结果的完整性不好，导致综合性能较差。从这三种不同的光照变化情况综合来看，中值滤波和自适应背景建模的完整性和抗噪性均较好，具有较好的效果和综合性能，对光照变化适应能力比较强。

4 结束语

本文选取了几种目前比较常用的基于视频的运动目标检测方法，然后通过实验对每种方法进行了比较与分析。大量实验表明，ViBe算法、码本模型、混合高斯模型、自适应混合高斯模型、中值滤波和自适应背景建模具有较好的检测效果，但任何一种方法都有其局限性。根据实验结果可知，在背景存在较大扰动时，利用码本模型和混合高斯模型相结合的方法，在码本模型中引入混合高斯模型的特性，可以使算法具有很好的抗扰动性和自适应性;在光照变化的情况下，利用帧差法和混合高斯模型相结合的方法，对光照变化引起的误检区域设置较大的更新率，可以解决此情况下大面积误检的问题。目前，一些研究者采用混合方法解决了一些如摄像机抖动、背景扰动、光照变化、遮挡和阴影等相关问题，但这些问题的解决大多是以其他方面的牺牲为代价的。

［1］Collins R，Lipton A J，Kanade T，et al.A System for Video Surveillance and Monitoring:Final Report［R］.Technical Report:CMU-RI-TR-00-12，Carnegie Melon University，Pittsburgh，Peen，America，2000.

［2］Dubuisson M P，Lakshmanana S，Jain A K.Vehicle Segmentation and Classification Using Deformable Templates［J］.IEEE Transactions Pattern Analysis and Machine Intelligence，1996，18(3):293-308.

［3］Stauffer C，Crimson W E L.Adaptive Background Mixture Models for Real-Time tracking［C］.Proceeding of the IEEE International Conference on Computer Vision and Pattern Recognition，1999(2):246-252.

［4］Ahmed Elgammal，Ramani Duraiswami，David Harwo-od，et al.Background and Foreground Modeling Using Nonparametric Kernel Density for Visual Surveillance［C］.Proceedings of the IEEE，2002:1151-1163.

［5］Kim K Chalidabhongse T H，Harwood D.Real-time Foreground—Background Segmentation Using Codebook Model［J］.Real-Time Imaging，2005，11(3):172-185.

［6］Alexei A Efros，Alexander C Berg，Greg Mori，et al.Recognizing Action at a Distance［C］.International Conference on Computer Vision，2003(2):726-733.

［7］You-shan Qu，Wei-Jian Tian，et al.Detecting Small Moving Target in Image Sequences Using Optical Flow Based on the Discontinuous Frame Difference［J］.Proceedings of the SPIE-The International Society for Optical Engineering，2003:915-918.

［8］Lipton A，Fujiyoshi H，Patil R.Moving Target Classification and Tracking from Real Time Video［R］.In Proc:Workshop on Applications of Computer Vision，1998.

［9］何卫华，李平，文玉梅.复杂背景下基于图像融合的运动目标轮廓提取方法［J］.计算机应用.2006，26(1):123-126.

［10］Donovan H.Parks，Sidney S.Fels.Evaluation of Background Subtraction Algorithm with Post-Processing［C］.In IEEE Fifth International Conference on Advanced Video＆ Signal Based Surveillance，2008:192-199.

［11］Cutler R，Davis L.View-based Detection［C］.Proceeding of International Conference on Pattern Recognition，1998:495-500.

［12］Cucchiara R，Piccardi M，Prati A.Detecting Moving Objects，Ghosts，and Shadows in Video Streams［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25(10):1337-1342.

［13］王正勤，刘富强.自适应背景提取算法的比较［J］.计算机工程，2008，34:220-223.

［14］Z.Zivkovic，F.van der Heijden.Efficient Adaptive Density Estimapion per Image Pixel for the Task of Background Subtraction［J］. Pattern Recognition Letters，2006，27(7):773-780.

［15］Liyuan Li，Weimin Huang，Irene Y.H.Gu，et al.Statistical Modeling of Complex Backgrounds for Foreground Object Detection［J］.IEEE Trans.on Image Processing.(S1057-7149)，2004，13(11):1459-1472.

［16］O.Barnich，M.Van Droogenbroeck.ViBe:a Powerful Random Technique to Estimate the Background in Video Sequences［C］.In International Conference on Acoustics，Speech，and Signal Processing.April.2009:945-948.

［17］O.Barnich，M.Van Droogenbroeck.ViBe:A Universal Background Subtraction Algorithm for Video Sequences［J］.In IEEE Transactions on Image Processing，2011，20(6):1109-1124.

［18］Lucia Maddalena，Alfredo Petrosino.A self-Organizing Approach to Background Subtraction for Visual Surveillance Applications［J］.IEEE Transactions on Image Processing，2008，17(7):1168-1177.