基于随机背景建模的目标检测算法

杨 恒，王 超，姜文涛，刘培桢，孙小炜，纪 明

(西安应用光学研究所，陕西 西安 710065)



基于随机背景建模的目标检测算法

杨 恒，王 超，姜文涛，刘培桢，孙小炜，纪 明

(西安应用光学研究所，陕西 西安 710065)

运动目标检测是智能视频监控系统中的重要步骤和前提。提出了一种基于随机背景建模的非参数化建模算法，对场景中运动目标进行快速提取跟踪。在初始化阶段，从当前像素的邻域中随机抽取样本值作为背景模型；在模型更新阶段，引入了随机更新策略和背景传播机制，能够较好地抑制环境噪声；在后处理阶段，给出了一种基于积分图的前景滤波优化方法，进一步滤除噪声和填充前景空洞。实验结果表明，在复杂场景条件下，算法的目标检测性能明显优于其他几种同类算法，能够较好地抑制噪声干扰，具有较高的检测正确率。对于360×288像素的测试视频，算法的计算速度高达120 f/s，完全可以满足实时应用。

随机背景建模；目标检测；智能监控；积分图

引言

智能视频监控已经成为国内外研究的热点，并逐步在军事和国民生产中发挥越来越重要的作用。在智能监控系统中，视觉目标检测是一个重要的环节，是后续目标跟踪、目标识别、行为分析、场景解释的基础。目标检测的任务就是分割和提取出场景中的运动目标。国内外学者近年来提出了大量目标检测方法，综合起来大致可以分为4类[1]：1) 基于帧差法的目标检测；2) 基于背景建模法的目标检测；3) 基于特征点的目标检测；4) 基于机器学习的目标检测算法。帧差法是将相邻的2帧或者3帧进行差分从而检测出运动目标。帧差法计算简单，易于实现，适用于摄相机静止和环境变化较强的情况。但对于像素变化不明显的点很难检测到，容易产生空洞和双影现象。背景建模算法也称为背景减除法，通过建立背景模型，把当前帧与建立的背景模型做差分对比，差别大的部分被检测为运动目标。特征点检测算法思路是通过检测图像中目标的特征点，再与已知目标特征点的匹配建立对应关系，从而实现目标检测。常用的稳定特征点有Moravec特征点、Harris特征点以及Scale Invariable Feature Transformation(SIFT)特征点。但是提取特征点的过程非常耗时，而且也需要开辟额外的空间来存储这些高维特征向量。基于机器学习目标检测算法是通过对某类目标样本的大量学习获得针对这类目标的分类器，然后利用这个分类器在视频图像中检测这类目标。基于机器学习的目标检测算法对检测特定目标(比如行人)具有很好的适应性，但是这类算法需要视频场景图像特征明显，否则容易得到错误分类结果，因此对于运动小目标的检测效果不佳。总的来说，在以上4类目标检测方法中，基于背景建模的算法具有比较好的通用性，目标检测准确且计算量小，特别适用于智能视频监控系统，具有比较高的实际应用价值。

1 背景建模方法分类

背景建模方法的基本策略是对图像中的每一个像素建立分类器，区分前景(运动目标)和背景(静止或准静止场景)。学习的样本为每个像素上的采样值。利用这些样本分类器实时更新，以适应场景的快速变化。背景建模算法又大致可以分为2大类[2]：参数化背景建模和非参数化背景建模。

参数化背景建模的思想是为图像中每个像素在时间序列上的变化建立一个参数化模型。参数化模型的好处是，可以用较少的存储空间建立背景模型。Haritaoglu等人[3]提出的W4模型，将背景模型中每个像素点用3个值来描述：最大灰度值、最小灰度值和最大邻间差分值。对当前帧图像，将输入的像素值与最大和最小灰度值比较，若都小于最大邻间差分值，则该像素判断为背景。单高斯模型[4]是对每一个像素用高斯函数建模，每个像素的亮度值假设服从均值为μ和标准方差为σ的高斯分布，且每一点的高斯分布是独立的。高斯模型的参数可以通过累积一定数量的初始帧来完成参数估计。对当前像素，通过计算该像素与背景高斯均值的差异是否在标准差范围内，来判断该像素属于背景或者前景。但是由于复杂环境条件下，背景分布往往具有多峰分布特性。针对这个特性，研究者们又提出了混合高斯背景建模(Gaussian mixture model, GMM)算法[5]，其基本思想是使用多个高斯分布模型来表征图像中每个像素点的背景分布，并通过新图像像素值不断更新每个高斯模型参数。如果当前图像像素与混合高斯模型相匹配，则判断为背景。GMM算法能够较好处理光照变化，抑制诸如树叶轻微晃动等外界环境影响，因此得到了较为广泛的应用。Varcheie等人[6]在GMM算法框架下，增加了基于区域颜色直方图和纹理特征提取过程，进一步去除虚假目标，增强GMM算法目标检测准确性。董小舒[7]等人提出一种结合边缘检测和邻域方差的混合高斯模型算法，克服实际应用中的光照和噪声影响。

与参数化背景建模思想不同，非参数化背景建模则将像素点在时间域的变换看成是一个统计过程，且像素亮度的分布可能是时刻变化的，分布概率密度可以用非参数的方法估计出来，然后再和阈值比较，判断是否为背景。码书模型算法[8]利用量化和聚类技术来构建背景模型，通过对每个像素的空间和时间纹理信息进行训练得到各个像素的码书，每个码书中包含若干个码字，然后通过聚类算法将像素中表示前景物体的码字去掉，剩下的即是表示背景的码书模型。Noh等人[9]提出了一种改进的码书模型，称为场景自适应局部二元模式算法，该算法将像素的颜色和纹理信息联合编码，在判断前景像素时可以提供更多的自适应阈值，从而提高前景目标检测的精度。Chiu等人[10]也提出了一种非参数背景建模法，基于k均值算法对背景像素分类，同时记录每个类属性中像素个数，出现次数多的就标记为背景。Godbehere等人[11]在彩色RGB空间构建了非参数背景模型，并且使用贝叶斯决策估计方法对每个像素进行前景和背景的类别推断。Bloisi等人[12]提出了一种称为独立多峰背景减除算法(independent multimodal background subtraction, IMBS)。IMBS算法是通过在线聚类方法为每一个像素建立背景模型，同时通过对彩色空间的变化检测，有条件地更新背景模型。Barnich等人[13]提出了一种视觉背景提取算法(visual background extractor, VIBE)，该算法采用了随机采样的方法，以同等概率对背景进行建模。

非参数化方法能够适应任意未知的数据分布，因此在复杂环境条件下的智能监控系统应用中往往具有更好的目标检测性能。本文受到文献[13]启发，提出一种非参数化的随机背景建模算法(randomized background modeling, RBM)，对场景中的运动目标进行快速检测提取。在背景初始化阶段与文献[13]类似，也是利用当前像素的邻域随机采样建立初始背景模型；所不同的是在目标检测阶段，引入了随机更新策略和背景传播机制，对背景模型进行实时在线更新，同时抑制环境噪声影响；此外，在目标分割阶段，还提出一种基于积分图的前景滤波优化方法，进一步滤除噪声和填充前景空洞，降低虚警和漏检概率。实验结果验证了本文提出的算法在复杂背景条件下的智能视频监控系统中，具有较高的目标检测性能和实际应用价值。

2 随机背景建模算法

一个基于背景建模的目标检测系统应该解决好3个基本问题：1) 背景模型如何建立；2) 背景模型如何更新；3) 如何对前景目标进行滤波优化。其中前2个问题是背景建模方法最核心的问题，直接关系到目标检测性能，第3个问题是一个后处理过程，旨在滤除噪声干扰和目标空洞的填充。本文提出的算法称为随机背景建模(RBM)算法，就是要解决上述3个问题，首先根据相邻像素之间具有空间相关性，利用邻域像素的随机采样来获得每个像素的样本模型；然后设计了更加完善的更新机制，包括随机替代策略和背景样本传播策略，目的是保证样本衰减周期的一致性和抑制噪声；最后利用积分图技术对前景目标进行快速滤波优化，抑制小噪声点和填充目标空洞。

2.1 背景模型建立

由于场景中光照条件变化，背景晃动，镜头畸变噪声，以及相机自身的抖动等因素影响，在实际场景中对背景进行建模是一件非常困难的事情。因此，把模型表征成为符合某个概率分布的函数，并用统计方法对参数进行估计，效果都十分有限。本文的RBM算法是一种非参数背景建模算法，它并不试图去估计背景像素的概率分布，而是直接采用一组样本值对当前像素进行建模。参数化背景建模另一个缺点就是在初始化的时候，往往需要先累积一段时间的视频帧，然后统计出模型初始化参数(比如GMM算法)，这使得系统在初始化的时候需要用户等待。而且，如果场景发生了突变，比如突然开灯，那么参数估计就不会准确，这会造成目标检测性能下降。而RBM算法由于不需要估计模型参数，因此可以从单帧图像就建立背景模型，在后续帧中再不停地更新模型样本值，能够快速地适应场景各种变化。RBM算法基于以下2个假设：

假设1) 图像中相同位置的像素值在时间轴上的变化规律具有重复性，即已经出现过的像素值，在后续观测中会有较高的概率再次出现。

假设2) 由于相邻背景像素之间的空间相关性，邻域像素模型中的样本值也有比较大的概率出现当前像素中。

这2个假设分别利用了像素在时间和空间上分布具有较强相关性的客观事实。RBM算法在初始化背景模型建立时，就是在以当前像素x及其8邻域像素集合内随机采样N次，获得当前像素的初始模型样本集合S(x)={g1,g2, …,gN}。N取一个比较大的值N=16，目的是能保证背景模型适应更复杂的场景环境。在初始化时，背景模型中会有较多的重复采样值，但随着时间推移，会有新的被判断为背景的样本值插入到模型集合中，更新掉旧的模型样本。一般来说，场景越复杂，背景模型中样本取值会呈现多样性；反之，场景越简单，背景模型中样本取值会呈现单一性。因此，N的设定偏大可以使模型更好地适应场景变化。RMB背景模型初始化算法如图1所示。

对于当前位置x处的像素亮度值g(x)，计算g(x)与背景模型S(x)中每个元素的欧式距离di=|g(x)-gi|，并统计距离小于阈值Td的个数Cnt=#{di|di

2.2 背景模型的更新策略

背景模型的更新是背景建模算法中最重要的环节，通过新的观测值不断更新背景模型，以使得模型能够自适应场景的动态变化，从而使系统真正具备智能化的自动目标检测功能。因此必须精心设计一个好的更新策略。

另外，更新策略还要考虑到对鬼影噪声的快速抑制，鬼影指的是本来在场景中静止的物体，突然运动起来(比如停车场的汽车，或者风吹过的树叶)，而留下的虚假前景。由于RBM算法建模是从系统工作的第1帧就开始的，因此必须提供一个有效地快速抑制鬼影的更新策略，否则在实际应用中会产生大量虚警。为此RBM设计了一种称为背景传播的更新策略，即每次判断为背景的像素，不但随机更新当前像素的背景模型，还在其周围8邻域中随机挑选一个像素，更新其背景模型。这样设计的思想是以真实背景去渗透周围像素，并逐渐传播到更远的位置，这样就可以快速有效抑制掉鬼影噪声。整个RBM的更新方法见图2。

2.3 基于积分图的前景滤波优化

经过背景更新步骤后，系统可以输出前景为白，背景为黑的二值图像了，但是由于复杂外部环境造成的影响，使得前景二值图中还存在一些孤立的噪声干扰和目标空洞。常用的解决办法是使用形态学滤波算法，先对二值图像进行腐蚀运算消除孤立噪声点，再进行膨胀运算填充目标空洞。这种串行的做法最明显的缺点就是，前面的腐蚀运算虽然能去掉孤立噪声点，但同时会将完整的目标割裂成几个部分，而后续的膨胀操作不一定会将分裂的目标给连接起来，这就必然会影响检测效果。RBM算法给出一种基于积分图的前景滤波优化算法，第1次遍历图像计算积分图，第2次遍历图像就可以很小的计算量(每个像素点仅做3个加法，1次判断)同时完成孤立点去除和空洞填充这2种滤波功能。图3给出了具体的RBM滤波优化方法。

输入：图像高H，图像宽W，包含前景和噪声的二值图像seg＿img＿old[H][W]，邻域半径R=7，判断阈值Tc=0．1输出：完成滤波的二值图像seg＿img＿new[H][W]1 计算二值图像seg＿img＿old的积分图itg＿img：对于某一点(x，y)处的积分itg＿img[x][y]定义为该点上边和左边的像素和，即itg＿img[y][x]=∑xi≤x，y1≤yseg＿img＿old[y1][x1]，采用如下递推公式计算积分图： s[y][x]=s[y-1][x]+seg＿img＿old[y][x]itg＿img[y][x]=itg＿img[y][x-1]+s[y][x]{，且s[-1][x]=0，itg＿img[y][-1]=02 for(i=1，2，…，H){3 for(j=1，2，…，W){ D[i][j]=∑i+Ry=i-R∑j+Rx=j-Rseg＿img＿old[y][x]4 =itg＿img[i-R][j-R]+itg＿img[i+R][j+R] -itg＿img[i-R][j+R]-itg＿img[i+R][j-R]5 if(D[i][j]≥(2R+1)2Tc)6 seg＿img＿new[i][j]=1；7 else8 seg＿img＿new[i][j]=0；9 }10 }。

图3 RBM前景滤波优化算法

Fig.3 Foreground filtering optimized algorithm of RBM

3 实验结果与分析

本实验使用的测试数据来自标准数据库[14]和自拍摄的一段马路监控视频。为了客观评价RBM算法性能，我们还实现了经典的参数化背景建模GMM[5]算法，2种非参数化建模IMBS[12]算法和VIBE算法[13]。实验在普通PC机环境上运行，其配置是Intel双核CPU E6750@2.66GHZ和2G内存。算法程序采用VC++编写。

3.1 背景噪声抑制结果比较

我们挑选了标准测试数据库中的2个视频序列：highway和boats。highway是高速公路上的一段监控视频，图像分辨率是320×240像素，场景中主要目标是来往车辆，背景干扰主要是树叶的晃动和光照变化，图4给出了在highway测试序列上的输入图像、GMM算法检测结果、IMBS算法检测结果、VIBE算法检测结果以及本文提出的RBM算法在未开启滤波优化和开启滤波优化功能的目标检测结果。可以看出本文提出的RBM算法要明显优于另外3种算法，即使没有开启前景滤波优化功能，RBM也能够有效抑制掉绝大多数背景噪声，得到比较干净的前景目标，在加入前景滤波优化功能后，RBM算法可以进一步去除孤立噪声点，同时填充前景目标中的空洞。

图4 4种算法在标准测试序列highway上的目标检测结果比较Fig.4 Object detection results comparison of 4 algorithms on highway test sequence

boats标准测试序列是河岸边上的一段监控视频，图像分辨率是320×240像素，场景比较复杂，最大的噪声干扰是来自河水的波纹干扰，其次是岸上树叶的晃动，主要目标是岸上来往行人和车辆，图5给出了在boats测试序列上的输入图像，GMM算法检测结果、IMBS算法检测结果、VIBE算法检测结果以及本文提出的RBM算法在未开启滤波优化和开启滤波优化的目标检测结果。可以看出本文提出的RBM算法性能是最优的，在没有开启前景滤波优化功能时，RBM比其它3种算法在滤除背景噪声方面更加有效，但还是留下了不少水波噪声没有抑制掉。当开启前景滤波优化功能后，RBM算法就可以非常好地抑制掉水波噪声了，大幅度降低了虚警率。

图5 4种算法在标准测试序列boats上的目标检测结果比较Fig.5 Object detection results comparison of 4 algorithms on boats test sequence

3.2 目标检测系统中的效果验证

为了验证RBM算法在实际监控系统中的性能，我们还拍摄了一段马路监控视频。视频背景是室外的街道，人流量和车流量都比较大，而且人

和车经常边走边停，视频分辨率是360×288像素。图6给出了在这段实际监控视频上，本文RBM算法在几个图像帧上的运动目标检测效果截图。最左边一列是原始视频图像，中间一列是检测出的前景目标的二值图，最右边一列是提取运动目标外接矩形的检测结果。从给出的实验结果可以看出，RBM算法可以给出非常令人满意的目标检测结果，无论是大型目标(如公共汽车)和微小目标(如远处的行人)，还是快速目标(疾驰的小汽车)和慢速目标(行走缓慢的行人)，RBM算法都可以准确检测出来。此外，在这段视频序列上，RBM的目标检测速度达到了120 fps，完全可以满足智能监控系统对实时性应用的要求。

图6 在马路监控视频序列上RBM算法的运动目标检测结果Fig.6 Moving object detection results of RBM algorithm on real surveillance video sequence

4 结论

基于背景建模的运动目标检测算法由于其检测效果好且计算速度快的优点，在实际智能视频监控系统中得到广泛应用。本文针对实际复杂环境下，背景很难用参数化模型进行准确描述的问题，提出了一种随机背景建模的非参数化算法。在建模初始化阶段，从当前像素及其邻域中随机抽取像素样本作为背景模型，充分利用了像素的时空相关性；在模型更新阶段，随机更新当前像素的模型样本，并随机选取邻域点的背景模型进行更新，这样既保证了每个样本的衰减周期的一致性，又能够快速抑制鬼影和噪声；在后处理阶段，本文还给出一个基于积分图的前景滤波优化方法，可以快速抑制掉孤立噪声，同时填充前景空洞。实验结果表明本文提出的算法在室外比较复杂的环境条件下，具有比较好的目标检测性能。

[1] Kim I S, Choi H S, Yi K M, et al. Intelligent visual surveillance—a survey[J]. International Journal of Control, Automation, and Systems, 2010,8(5): 926-939.

[2] Elgammal A. Background subtraction: theory and practice[J]. Augmented Vision and Reality, 2014,6: 1-21.

[3] Haritaoglu I, Harwood D, Davis L. W4: real-time surveillance of people and their activities[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000, 22(8):809-830.

[4] Forsyth D A, Ponce J. Computer vision a modern approach [M]. Upper Saddle River:Prentice Hall, 2002.

[5] Shah M, Deng J, Woodford B J. Localized adaptive learning of mixture of Gaussians models for background extraction[C]. USA：IEEE, 2010:1-8.

[6] Varcheie P, Sills-Lavoie M, Bilodeau G A. A multiscale region-based motion detection and background subtraction algorithm[J].Sensors, 2010, 10(2): 1041-1061.

[7] Dong Xiaoshu,Chen Gang,Bian Zhiguo.Improved moving object detection method based on Gaussian mixture mode[J].Journal of Applied Optics,2012,33(5):877-883. 董小舒, 陈岗, 卞志国. 一种改进的基于混合高斯模型的运动目标检测方法[J]. 应用光学, 2012,33(5):877-883.

[8] Wu Mingjun, Peng Xianrong. Spatio-temporal context for codebook-based dynamic background subtraction[J]. International Journal of Electronics and Communications, 2010,64(8):739-747.

[9] Noh S J, Jeon M. A new framework for background subtraction using multiple cues[J].Proceedings of the 11th Asian Conference on Computer Vision, 2013:493-506.

[10]Chiu C C,Ku M Y, Liang L W. A robust object segmentation system using a probability-based background extraction algorithm[J].IEEE Transactions on Circuits and Systems for Video Technology, 2010,20(4): 518-528.

[11]Godbehere A B, Matsukawa A, Goldberg K. Visual tracking of human visitors under variable-lighting conditions for a responsive audio art installation[J]. IEEE, 2012: 4305-4312.

[12]Bloisi D, Iocchi L. Independent multimodal background subtraction[C].Berlin:Springer, 2012:39-44.

[13]Barnich O, Droogenbroeck M V. VIBE: a powerful random technique to estimate the background in video sequences[C]. USA：IEEE, 2009: 945-948.

[14]Goyette N, Jodoin P M, Porikli F, et al. Changedetection.net: a new change detection benchmark dataset[C]. USA：IEEE,2012: 16-21.

Object detection based on randomized background modeling algorithm

Yang Heng, Wang Chao, Jiang Wentao, Liu Peizhen, Sun Xiaowei, Ji Ming

(Xi’an Institute of Applied Optics, Xi’an 710065, China)

Moving object detection is a key step in the system of intelligent visual surveillance. A randomized background nonparametric modeling algorithm was proposed for object fast detection application. In the initialization stage, a set of values were randomly taken in the neighborhood of the current pixel. In the update stage, a reasonable randomized updating and background samples propagation mechanism were introduced, which could restrain the scene noise effectively. In the post-processing stage, a foreground optimized filter based on the integral image was designed to further remove the noises and fill the holes of the objects. Experimental results show that the performance of the proposed algorithm is significantly superior to other similar algorithms. It can further restrain noise and has high detection precision. In addition, for 320×240 pixel format video stream, the computing of the proposed detection algorith can reach up to 120 fps, which can fully meet the requirement of the real-time application system.

randomized background modeling; object detection; intelligent visual surveillance; integral image

1002-2082(2015)06-0880-08

2014-04-16；

2015-05-17

陕西省青年科技新星基金(2015KJXX-62)

杨恒(1980-)，男，河南郑州人，博士，高工，主要从事图像处理和机器学习领域研究。E-mail：yh3191@sina.com

TN911.4；TP391

A

10.5768/JAO201536.0602001