监控场景中的运动物体提取技术研究

陈 霖，尤 枫，胡 伟

北京化工大学 信息科学与技术学院，北京 100029

1 引言

智能视频监控[1-2]作为计算机视觉的重要应用，近年来在交通监控、安防以及军事等领域都得到了广泛重视。而运动物体的检测以及完整运动帧序列的提取作为监控和安防领域的基础和关键技术，其结果对场景理解、行为分析以及视频摘要[3-5]等都具重要的影响和意义。

然而，在很多的监控场景中，由于遮挡、运动变形以及光照等噪声的存在，对提取效果和质量造成了一定的影响，甚至无法有效地提取到运动物体完整的运动帧序列。对含有遮挡的监控场景进行运动物体完整运动帧序列的提取研究已经成为研究热点和难点。

目前，常用的运动物体检测和提取方法有光流法[6]、帧差法[7]、背景减除法[8-9]等。帧差法实现简单，但对运动变化过快或过慢比较敏感，容易产生内部空洞；光流法计算比较耗时，难以满足实时提取的要求；背景减除法常需要得到较好的背景图像后才能有比较好的检测和提取效果。Olivier Barnich在2011年提出了一种称为ViBe[10-11]的前景检测算法，该算法采用像素点的邻域像素来创建背景模型，通过比对背景模型和当前帧画面的像素值即可快速地检测并分离出运动物体的前景像素。随后文献[12-14]对ViBe进行了改进，如抑制鬼影、形态学处理、加入颜色特征信息等，使其能够在不同的场景下快速建立背景模型，提高对复杂场景的适应性。

然而，上述方法只是将每一帧中所有运动物体的前景像素检测到并提取出来，并未从对象的角度去考虑更进一步的物体类别划分以及特定物体的运动帧序列的提取。为了提取到运动物体的运动帧序列，目前采用的一种方法是先通过ViBe进行运动物体的前景检测，然后根据相邻帧之间运动物体关联轮廓的相交运算来进行运动帧序列的提取和归类。该方法简单有效，但当场景中存在遮挡时，相邻两帧提取出的物体前景轮廓区域不再相交，从而无法继续用关联轮廓相交的方法对目标物体的后续帧序列进行提取。且当两物体距离过近时会造成轮廓融合，会提取出其他物体的噪声图像。

考虑到在跟踪领域，运用粒子滤波算法[15-16]可跟踪定位到目标物体的下一个出现位置，对于存在遮挡的场景也有较好的跟踪效果，利用跟踪结果可以在一定程度上反馈调节关联轮廓提取的效果。当前，在主流的粒子滤波框架体系中发展出了很多的跟踪方法，在遮挡场景下也有较好的跟踪效果，其中以文献[17]“改进的基于颜色的粒子滤波目标跟踪算法”（简称IPF算法）最为简单有效，具有较好的实时性和准确性。但是在面对较大面积和较长时间的全局遮挡时，上述方法还是会存在一定的跟踪漂移情况，有一定的局限性，未能很好地解决全局遮挡情况下的跟踪问题。

因此，本文采用将ViBe前景检测算法和改进后的粒子滤波跟踪算法相结合的跟踪提取方法，以克服和解决提取过程中的遮挡问题，实现运动物体完整有效的运动序列的提取。

2 ViBe前景检测和粒子滤波跟踪

2.1 ViBe前景检测算法

ViBe是一种通过像素级的背景建模以实现前景检测的算法。该算法采用像素点周围8个方位的邻域像素来创建背景模型，通过比对背景模型的采样值和当前帧画面的像素值来检测并分离出运动物体的前景像素。具体做法为：

首先，通过视频的第一帧图像来建立并初始化每个像素点的背景模型。从每个像素点的邻域中随机选择指定数量的像素点作为样本值来完成背景模型的初始化。

然后，对视频帧进行运动物体前景像素的分类和提取操作。以当前的像素点P(x,y)为中心，定义半径为R的圆形区域SR(P(x,y)，在此区域内将P(x,y)的像素值与其背景模型中的样本值{V1,V2,…,VN}相比较，当满足{SR(P(x,y))∩{V1,V2,…,VN}}大于一个设定的阈值#min时，判定当前像素点为背景像素点，否则即为运动物体的前景像素点。

最后，采用随机选择更新的策略进行背景模型的更新。当一个像素点P(x,y)被分类为背景像素点时，不仅需要随机更新它的背景模型中的样本值，还需要随机选择它邻域中某个像素点的模型样本值进行更新。随机选取一个样本值来进行更新的策略可以保证背景模型样本值平滑的生命周期。

2.2 粒子滤波跟踪算法

粒子滤波的核心思想是：寻找一组在状态空间中传播的随机样本对概率密度函数进行近似，以样本均值代替积分运算，从而获得状态最小方差估计的过程。采用粒子滤波进行跟踪的一般过程为：

（1）粒子集初始化

（5）粒子集重采样

依据重要性重采样策略，权值较高的粒子的位置在将来可以撒播更多的粒子去搜索，而权值较低的粒子将重采样变换为当前权值最大的粒子。

循环进行（2）~（5）即可完成对目标物体的跟踪。

3 运动物体提取的实现

为了解决运动物体提取过程中的遮挡问题，本文提出了一种用“ViBe+改进的粒子滤波+轮廓关联”的跟踪提取方法。通过帧间关联轮廓交集可以初步判断提取到的轮廓点集同属于目标物体，而通过粒子滤波可以在发生遮挡后将跟踪到的轮廓点集重新加入到目标物体的关联轮廓中，使得后续可以继续用帧间的关联轮廓来提取。同时，跟踪定位到区域也可以反馈调节关联轮廓提取过程中所提取出的目标轮廓区域的大小，减少了提取噪声的引入。

3.1 提取的运动物体结构定义

由于提取出运动物体的完整运动帧序列是整个监控领域技术的基础步骤，也是后续的运动轨迹分析、检索以及行为理解的关键前提。故需要计算并保存从视频中提取出的运动物体及其运动帧序列的相关描述信息，如：编号、运动物体出现的起始帧和结束帧、运动物体在所出现的每一帧的轮廓点集、轮廓面积、轮廓区域前景帧以及轮廓外接矩形区域；为后续更好地分析其运动轨迹，还需计算并保存运动物体每一帧的动态关联轮廓点集。具体的结构定义如下：

3.2 运动物体提取的关键步骤

运动物体帧序列的提取关键步骤如下：

（1）用ViBe对每一帧进行运动物体前景区域的检测和提取，将结果经形态学处理后保存到矩阵fg_vibe中。

（2）选定目标运动物体的区域，结合fg_vibe中的前景信息建立并初始化目标物体的运动序列信息，同时，完成粒子集的初始化。

（3）对t+1帧的fg_vibe进行运动物体轮廓的检测和提取，将得到的每一个轮廓点集obj_contouri与目标物体第t帧的轮廓点集contours[t]做交集运算，运算结果保存为Ii。

（4）对t+1帧粒子滤波跟踪到的目标区域tracked_rec，结合fg_vibe中的前景结果信息，检测并提取出跟踪区域内的轮廓点集tracked_contour，并将tracked_contour与目标物体第t帧的轮廓点集contours[t]做交集运算，运算结果保存为It。

（5）如果Ii和It都不为0，即准确跟踪到目标物体，且相邻帧有关联轮廓交集，把tracked_contour保存到目标物体的contours[t+1]中；如果Ii不为0而It为0，即发生跟踪漂移，但相邻帧有关联轮廓交集，把obj_contouri保存到目标物体的contours[t+1]中；根据所要保存的轮廓点集的相关信息来修改目标物体当前帧序列的相关信息。

（6）当Ii和It都为0时，即发生了全局遮挡，只有当重新跟踪到目标物体时，才把跟踪区域内的轮廓点集tracked_contour重新加入到目标物体的帧轮廓点集contours中，以便在后续的帧序列中可以根据相邻帧之间的关联轮廓交集来提取出目标运动物体的运动帧序列。

如此，即可对选定的运动目标实现完整的运动物体序列的提取。

3.3 对粒子滤波算法的改进

为提高跟踪精度和更好地解决提取过程中的遮挡问题，本文对粒子滤波算法做了如下改进：

（1）在粒子集初始化阶段，为避免引入更多的噪声而影响跟踪精度，计算框选区域的中心点Pc(x,y)，并在此中心点处计算指定宽度和高度的矩形区域的颜色直方图信息，以此作为目标跟踪物体的模板信息。

（2）为提高跟踪结果的精度以准确定位到跟踪目标的最终位置，对粒子状态转移阶段后的所有粒子权值做降序排序，取前N个（本文取N=10）粒子权值做累加和归一化，并最终根据这N个粒子的位置信息来最终定位到跟踪物体在当前帧的位置坐标。

（3）为更好地解决遮挡情况下的跟踪和提取，在原有的粒子状态转移机制的基础上加入一个新的“线性状态转移”机制，无遮挡情况时采用原有的状态转移机制，当遮挡情况发生或跟踪结果精度小于设定的阈值时则采用新引入的线性偏移状态转移机制，即记录并保存发生遮挡时权值最大的粒子的位置，以此坐标位置为基点，沿着运动物体的运动方向，按随机高斯正态分布的搜索步长去搜索和定位被跟踪目标可能出现的位置。当重新搜索定位到跟踪物体时，切换回原有的状态转移机制，以提高跟踪精度，减少跟踪漂移情况的出现。新引入的粒子状态转移机制为：

其中，Sm(x,y,t-1)表示发生遮挡时权值最大的粒子的位置，W(k*n)表示在物体的运动方向上产生一个随机高斯分布的偏移步长，k为方向控制向量，n为可调节的预搜索步长。

4 实验结果及分析

利用本文上述的算法，对含有交叉遮挡和全局遮挡的监控视频分别进行指定区域的运动物体的跟踪以及运动序列的提取实验。实验环境：PC机（core i5 2.5 GHz，内存4 GB），开发工具为VS2010+OpenCV2.4.3。

4.1 改进的粒子滤波算法抗遮挡跟踪实验

在设定相同的粒子数目200的情况下，对IPF算法和本文改进后的粒子滤波算法进行抗遮挡的跟踪实验，视频画面中包含有交叉遮挡和全局遮挡。

图1给出了IPF算法和本文改进后的PF算法对交叉遮挡场景下的目标跟踪过程及结果。粗线框表示跟踪定位到的目标运动物体的位置。对比图1中的（a）、（b）两组图可以知，在含有交叉遮挡的场景下（第1 131帧和第1 172帧），两种算法均能够稳定地跟踪到目标物体，且跟踪精度大致相同。

图1 IPF算法和本文改进的PF对交叉遮挡跟踪效果

图2给出了IPF算法和本文改进后的PF算法对全局遮挡场景下的目标跟踪过程及结果。粗线框（红色/绿色）表示跟踪定位到的目标运动物体的位置。对比图2中的（a）、（b）两组图可知，在含有全局遮挡的场景下，IPF算法在经过较大面积的全局遮挡时（第78帧至第125帧）出现了跟踪漂移现象，无法准确地跟踪到目标运动物体后续出现的位置；而本文改进后的粒子滤波算法在检测到遮挡情况时，切换到线性状态转移机制，如图2（b）中的第78帧和第125帧图中的白色细线框所示，粒子将沿着运动物体的运动方向去线性搜索定位物体在下一帧中出现的位置，从而保证了经过较大面积的全局遮挡后依旧能准确地跟踪到目标物体。

图2 IPF算法和本文改进的PF对全局遮挡跟踪效果

图3给出了IPF算法和本文改进后的PF算法对运动目标与背景颜色相近的场景下所进行的目标跟踪过程及结果。粗线框表示跟踪定位到的目标运动物体的位置。对比图3中的（a）、（b）、（c）三组图可以知，场景中直升机模型与大片的树木颜色较为相近，且存在人对飞机模型的短暂遮挡，但两种算法均能够较为稳定地跟踪到目标物体。

图3 运动目标与背景颜色相近的跟踪效果

实验表明，本文改进后的粒子滤波算法在抗遮挡的跟踪性能上比IPF算法更好，尤其是在含有全局遮挡的场景下，IPF算法的跟踪方法出现了跟踪漂移，而本文改进后的算法依旧能准确地跟踪到目标物体。在运动物体的跟踪过程中，根据实际的跟踪情况来回切换两种不同的粒子状态转移机制，能有效地保证跟踪的精度，减少了跟踪漂移状态的发生。

4.2 运动物体完整运动帧序列的提取实验结果分析

对比现有的“ViBe+轮廓关联”提取方法和本文提出的“ViBe+改进的粒子滤波+轮廓关联”的提取方法，对包含有全局遮挡和局部遮挡的监控视频进行选定的运动物体完整运动序列的提取实验，结果如图4和图5所示。

图4“ViBe+轮廓关联”的提取结果

图5 本文方法的提取结果

对比图4和图5可知，现有的“ViBe+轮廓关联”提取方法只能针对连续关联的物体运动序列进行提取，如图4（a）所示；当遇到局部或全局遮挡会造成运动物体的前后帧轮廓无交集，从而无法继续后续的提取，如图4（b）所示；且当其他物体与目标物体靠近时会出现轮廓融合，影响到提取的效果和质量。而本文提出的“ViBe+改进的粒子滤波+轮廓关联”的提取方法却很好地解决了遮挡情况下的运动物体提取，引入粒子滤波跟踪可以有效解决提取过程中物体进出遮挡物前后的定位和提取问题，如图5（a）和5（b）所示；在跟踪到的区域内提取出物体的轮廓并结合物体当前的轮廓关联性来保证提取出的运动序列完整有效，如图5（c）所示。实验结果表明，本文提出的方法比现有的提取方法更为有效，较好地解决了遮挡场景下的运动物体完整有效运动序列的提取问题。

5 结束语

本文针对监控场景中因存在遮档而无法提取出运动物体完整有效的运动序列这一现实问题，提出了一种新的跟踪提取方法，即“ViBe+改进的粒子滤波+轮廓关联”的提取方法，运用改进的粒子滤波跟踪方法解决物体进出遮挡物前后的跟踪定位问题，在定位到的区域内提取出物体的轮廓并结合物体当前的轮廓关联性来保证提取出的运动序列完整有效。实验结果表明，采用本文提出的方法可以有效解决遮挡情况下的运动物体完整有效的运动序列提取问题，为运动物体提取技术提供了一个新的思路。本文后续的研究工作是将该方法应用到多物体的自适应跟踪提取上，并考虑加入物体的特征信息以进一步提高粒子滤波跟踪的精度，从而保证有更好的提取效果。

[1]Collins R，Lipton A，Kanade T.Introduction to the special section on video surveillance[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22（8）：745-746.

[2]Haritaoglu I，Harwood D，Davis L S W.Real-time surveillance of people and their activity[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22（8）：809-830.

[3]Kang H，Matsushita Y，Tang X，et al.Space-time video montage[C]//Proc of IEEE Conf Computer Version and Pattern Recognition，June 2006：1331-1338.

[4]Rav-Acha A，Pritch Y，Peleg S.Making a long video short：dynamic video synopsis[J].Proc of IEEE Conf Computer Version and Pattern Recognition，June 2006：435-441.

[5]Pritch Y，Rav-Acha A，Gutman A，et al.Webcam Svnopsis：peeking around the World[C]//Proc of Int’l Conf Computer Vision，Oct，2007.

[6]Braillon C，Pradalier C，Usher K，et al.Occupancy Grids from stereo and optical flow data[C]//The 10th International Symposium on Experimental Robotics，2008，39：367-376.

[7]Yin Honpeng，Chai Yi，Yang Simon X.Fast_moving target tracking based on mean shift and frame-difference methods[J].Systems Engineering and Electronics，2011，22（4）：587-592.

[8]Jae Kyu Suhr，Ho Gi Jung，Gen Li，et al.Mixture of gaussians-based background subtraction for bayer-pattern Image sequences[J].IEEE Transactions on Circuits and Systems for Video Technology，2011，21（3）：365-370.

[9]Zhang Y G，Cao Y，Xiang X Z H.Moving targets detection of static background subtraction[J].Journal of Electronic Measurement and Instrument，2010，24（5）：494-499.

[10]Barnich O，Van Droogenbroeck M.ViBe：A powerful random technique to estimate the background in video sequences[C]//IEEE International Conference on Acoustics，Speech and Signal Process，2009：945-948.

[11]Barnich O，Van Droogenbroeck M.ViBe：A universal background subtraction algorithm for video sequences[J].IEEE Transactions on Image Processing，2011，20（6）：1709-1724.

[12]Li Yongqiang，Chen Wanzhong，Jing Rui.The integration adjacent frame difference of improved ViBe for foreground object detection[C]//Proceeding of the WICOM 2011 International Conference on China，IEEE Antennas and Propagation Society，2011：1-4.

[13]张磊，傅志中，周岳平.基于HSV颜色空间和Vibe算法的运动目标检测[J].计算机工程与应用，2014，50（4）：181-185.

[14]孙水发，覃音诗，马先兵，等.室外视频前景检测中的形态学改进 ViBe算法[J].计算机工程与应用，2013，49（10）：159-163.

[15]Nummiaro K，Koller-Meier E，Van Gool L.An adaptive color-based particle filter[J].Image and Vision Computing，2003，21（1）：99-110.

[16]Yang C J，Duraiswamir，Dav Isl.Fast multiple object tracking via a hierarchical particle filter[C]//Proceedings of the Tenth IEEE International Conference on Computer Vision，Beijing，China，2005：212-219.

[17]刘涛，程小平，向本科.改进的基于颜色的粒子滤波目标跟踪算法[J].计算机工程与设计，2010，31（8）：1750-1753.