基于帧差分块的混合高斯背景模型

吴 桐，王 玲

1.湖南大学 电气与信息工程学院，长沙 410082

2.中国人民解放军63893部队

基于帧差分块的混合高斯背景模型

吴 桐1，2，王 玲1

1.湖南大学 电气与信息工程学院，长沙 410082

2.中国人民解放军63893部队

1 引言

运动目标检测是智能监控的重要研究方向，是目标识别、跟踪、行为分析等后续处理的基础。最具代表性的方法有帧间差分法、背景减除法、光流法[1-2]。其中，背景减除法是目前最常见的方法。但其易受外界条件变化的影响（如光照的变化、晃动的树叶及波动的水面等），故具有良好适应能力的背景模型非常重要[3]。文献[4]提出采用单高斯模型对背景进行建模，该方法在稳定的室内环境有较好的效果，但该方法无法准确模拟存在大量扰动的户外环境。文献[5-6]利用混合高斯建立背景模型，可以克服光线、树枝摇动等造成的影响，该方法已成为最常用的背景建模方法。文献[7-9]通过调整学习率提高模型对环境变化的适应能力，但对于面积较大的目标，容易造成误检。文献[10-12]结合像素领域信息对前景目标进行检测，但该方法不容易获得正确的目标外形。在前人的基础上，本文提出了一种基于帧差分块和自适应学习率的混合高斯改进算法。实验结果表明，该算法有效改善了背景模型对复杂场景的适应能力，提高了算法实时性。

2 传统混合高斯模型

混合高斯模型（GMM）针对各像素点建立K个高斯模型，获取当前帧图像后更新模型参数，用当前像素xt与混合高斯模型匹配，提取运动目标。当前像素xt属于背景的概率为：

式中 ωi，t为权重，μi，t为均值，n 表示颜色通道数。本文采用灰度图像进行背景建模，取n=1。

若当前像素xt在高斯分布的2.5倍标准差之内，则xt与第k个高斯模型相匹配，判断为背景点，即

对于没有匹配成功的模型，其均值和方差不变，权值更新如下：

若当前像素值未能与任何一个模型相匹配，则为前景点，创建一个新的模型；若模型数达到最大，则重新对各个高斯模型按优先级ω/σ由大到小排列，取前B个高斯分布作为背景模型：

3 基于侦差分块的混合高斯背景模型

传统混合高斯模型存在以下几个问题：（1）对每个孤立的像素点进行建模，虽能较好地分离图像，但忽视了点的空间位置，并且更新模型的过程耗费很大的计算量，降低了实时性。（2）固定学习率对复杂场景的适应能力较差。高学习容易引入大量噪声；低学习率使背景模型不能跟上实际背景的变化，容易造成误检，如长期静止的物体转为运动，造成的“鬼影”现象。（3）没有考虑场景中光线突变的情况。发生光线突变时，容易产生大范围误检。

为解决上述问题，提出了一种基于帧差分块和自适应学习率的混合高斯改进算法。首先通过帧间差分法选取可疑点，根据分块模型，判定可疑前景区域与背景区域。根据不同区域，自适应切换背景模型，解决问题（1），帧间差分法有较高的检测灵敏度，对问题（2）也有一定改进。然后把前景可疑区域进一步划分为干扰区域与前景区域，针对不同的区域采取不同的学习率，解决问题（2）。此外，为解决场景中光线突变导致的大面积误检，增加了亮度信息变化率检测，若判定光线突变，对高斯模型重新初始化，解决问题（3）。图1为该算法原理图。

图1 算法流程图

3.1 帧间差分法选取前景可疑点

帧间差分法是将相邻两帧图像 ft-1和 ft进行差分处理，通过阈值比较，判断变化的区域。判定规则如下：

式中，ac为运动可疑点，T为颜色变化阈值。T的取值影响到对运动目标的后续处理。由于只是对前景目标的初选，故不宜选取过大的阈值，造成后续提取的前景目标内出现空洞、裂纹等现象，同时复杂的自适应阈值算法会造成计算量的负担。针对上述要求，利用极限误差作为分割标准。设T=3σ+μ，σ和 μ分别为差分图像背景区域的均值和方差。

3.2 模型分块及相关处理

传统的混合高斯是对孤立像素点的时域建模，虽然能分离较好完整性的图像，但忽视了像素之间的空域关系，并且更新模型的过程耗费很大的计算量，降低了实时性。在静态监测系统中，由于场景相对固定，很多相邻像素点都有相同或相近的像素值，其对应的模型参数也是相同或相近，所以可以用一个模型代表这些相邻像素点。文献[13]中证明了利用相邻像素间的相关性提取运动目标是一条有效途径。通过引入分块模型的方法来融合像素点的时空域信息。对t时刻尺寸为m×n的图像 ft，按照从左到右，从上到下，分为m″×n″个监测区域 Dm，尺寸为 m′×n′。

3.2.1 前景可疑区域的判定

统计监测区域Dm中可疑点ac的个数nc，通过与可疑区域判定阈值Td的比较，判断其属于可疑前景区域Dc，还是背景区域 Dbg，规则如下：

式中，监测区域尺寸为m′×n′，需根据运动物体在监控场景中的面积具体选取。如果监测区域尺寸选取过大，容易将小目标或目标边沿被误判为背景区域；如果尺寸过小，不能减少计算量[11]。通常选取尺寸为运动物体面积的1/8～1/4即可满足要求。

3.2.2 自适应模型切换

根据检测区域的判定结果，对可疑前景区域中的每一点单独建立混合高斯模型，即复杂背景模型，以保证运动目标检测的精度。用块内均值It代表背景区域各像素点构造混合高斯模型，即简单背景模型，以降低计算量。其中，块内均值为：

3.3 光线突变的解决方法

户外场景中，往往会发生光线突变，如云朵的移动，机动车灯照射等情况[14]。光线突变导致场景中大部分像素点产生剧烈变化，故容易造成大面积区域误检，且这种干扰也无法由混合高斯模型的迭代更新消除。本文通过增加亮度信息变化率检测，对图像进行前序处理以消除干扰。对检测区域中可疑前景区域个数ad进行统计，达到阈值Tl时，判定发生光线突变，如式（11）所示：

若场景发生光线突变，则对混合高斯模型参数重新初始化。模型中的μt以当前帧像素点的亮度值mt代替，而σt以0取代，从而实现背景的及时更新[15]。

3.4 自适应学习率

传统模型中的固定学习率对复杂场景的适应能力较差，高学习率容易引入大量噪声，而低学习率使背景模型不能迅速跟上实际背景的变化，容易造成误检。只使用一个全局的学习率，没有充分利用已建立好的背景信息[5]。为了解决上述问题，需针对不同的区域采取不同的更新策略。

3.4.1 干扰区域的判定

场景中往往会存在一些周期性反复运动的干扰物体（如摇摆的树枝和波动的水面等），传统高斯模型因采用固定学习率，不能有效消除此类干扰。为解决此类问题，将存在干扰物体的区域从可疑前景区域分出，把可疑前景区域分为干扰区域与前景区域。对干扰区域使用较高的学习率，使干扰物体尽快“融入”背景，同时避免了高学习率引入的大量噪声，具体算法如下：

为图像中每一个监测区域建立一个N帧的记录区（记录区大小可变），记录该区域在N帧中被选中为可疑区域的次数ns。将ns与阈值Tf比较，若可疑前景区域满足 ns＞Tf，则判定为干扰区域 Dif，反之为前景区域Dfg。

3.4.2 学习率的选取

经过干扰区域的判别，当前帧被划分若干个前景区域、背景区域和干扰区域。赋予前景区域极低的学习率αfg，减少运动目标对背景的影响。赋予背景区域较小的学习率αbg，保持背景区域的稳定性，避免引入噪声。赋予干扰区域较大的学习率αif，高斯分布将会获得较大权值和较小的方差，使其优先级迅速提高，而其余的高斯分布优先级将降低，匹配的高斯分布影响背景的程度将加大，使背景模型能迅速跟上实际的背景变化。取αfg=0.002，αbg=0.01，αig=0.03。

3.5 运动目标的提取

将前景区域中的像素点xt与各自前M个的模型按公式（2）的方法进行匹配。提取不匹配的像素点用白色表示，进行一些处理（如图像增强、形态学处理等），得到完整的运动目标。

4 实验结果与分析

针对场景中存在干扰物体，物体运动状态改变，光照变化等问题，使用文中算法与文献[4]中GMM算法、帧间差分法进行对比实验。实验平台配置为酷睿双核（2.0 GHz）内存2 GB，测试视频来源于PETS2001，分辨率为768×576。

实验中涉及以下几个参数的选取：

（1）可疑区域判定阈值Td。判定阈值越低，运动目标属于可疑区域的像素越多，检测精度将有所提升。当判定阈值为0.5时，可疑区域几乎可以包含运动目标的所有像素，检测效果已经很让人满意，再降低阈值，检测效果就不会有明显改变。从计算量上看，阈值的降低会产生大量的非线性计算，使算法速度降低。处于这两种考虑，判定阈值Td取0.5。

（2）光线突变的判定阈值Tl。一般的场景中，运动目标像素占总像素的比例是在一定范围内的。因此，当场景中的可疑前景区域的个数超过这一范围时，即可判断发生光线突变，因此阈值可以在较大范围内取值。本文取Tl=40%。

（3）干扰区域判定的相关参数。由于干扰物体是周期性反复运动的，而目标在一个检测区域的运动时间则不会太长，过多的纪录区帧数不但没有提高检测精度，反而会增加计算量。以下实验，纪录区帧数N取8，判定阈值Tf取4，即可满足要求。

表1为各算法时间结果，表2为本文算法用时分析。由表1可知，文中算法的实时性介于帧间差分法与GMM算法之间。这是因为，GMM算法是对所有像素单独建立多高斯模型，且对高斯模型的计算多为非线性的（如方差、标准差的计算）。而本文对区域判断与后续处理的计算多为线性的，表2可知，文中算法针对混合高斯模型计算的像素仅为GMM算法的14.6%。文中算法虽在区域判定与后续处理上增加了线性计算，但同时减少了对混合高斯模型的非线性计算，使用线性计算代替不必要的非线性计算，大大减少了计算量。

表1 各算法检测时间

表3为各算法检测效果，序列a中存在一棵由于大风天气连续摇摆的树，实验结果表明，对场景中周期性反复运动的干扰物体，帧间差分法无抗干扰能力；GMM算法有一定的适应能力，但对周期性且运动幅度较大的树木也会产生误检；文中算法由于对干扰区域进行了判定，没有产生误检。序列b为光照变化的场景，GMM算法产生了大范围的误检区域；帧间差分法和文中算法对光照变化适应能力良好，但帧间差分对摇动的树木产生了误检。序列c中存在运动状态改变的物体，场景中有一汽车进入，停留数秒后离开，实验结果表明，由于汽车停止数秒“融入”背景，GMM算法在汽车行驶后的地方留下的很明显的“鬼影”现象；帧间差分法引入了一定的噪声，同时在汽车尾部等地方产生了“空洞”现象；文中算法采用帧间差分法和自适应学习率，很好地消除了“鬼影”现象，同时模型分块一定程度上解决了帧间差分法产生的“空洞”现象。

表2 本文算法用时分析

为了对各算法的检测效果进行定量分析，采用文献[16]的方法，统计各算法的正确率与误判率，定义如下：

表4为各算法对不同测试序列的定量分析结果。各序列中，运动目标的真实分割结果通过手工选定。由表4可知，帧间差分法由于无法消除背景扰动的噪声，造成较高的误判率，同时该算法由于产生“空洞”现象，故正确率低于其他两种算法。GMM算法受背景扰动影响较小，但光线突变情况下，误判率远远大于其他两种算法，并且运动目标在背景扰动时的方差较大，使目标像素容易符合混合高斯模型分布，造成漏检，所以正确率略低于文中算法。文中算法由于结合了像素的空域信息和帧间差分结果，在保持较高正确率的前提下，误判率远小于其他两种算法。因此文中算法能良好地检测运动目标，同时最大程度地消除噪声的影响。

表3 各算法检测效果

表4 定量分析结果 （%）

5 结束语

提出了一种基于帧差分块和自适应学习率的混合高斯改进算法。利用分块模型与帧间差分法把场景分为不同的区域；针对相应区域，调整背景模型和学习率；增加了亮度信息变化率检测，解决了场景中因光线突变导致大面积误检的问题。实验结果表明，与传统混合高斯模型相比，该算法有更好的检测速度与精度。同时实验发现阈值、参数的设定对算法性能有一定影响，为提高本算法的稳定性和实时性，将进一步研究如何对本算法的阈值、参数进行自适应选取。

[1]Jain R，Nagel H.On the analysis of accumulative difference pictures from image sequences of real-world scenes[J]. IEEE Trans on Pattern Analysis and Machine Intelligence，1979，1（2）：206-214.

[2]Barton J，Fleet D，Beauchemin S.Performance of optical flow techniques[J].International Journal of Computer Vision，1994，12（1）：42-77.

[3]Vosters L，Shan Caifeng，Gritti T.Real-time robust background subtraction under rapidly changing illumination conditions[J].Imageand Vision Computing，2012，30：1004-1015.

[4]Wren C，Azarbayejani A，Darrell T，et al.Pfinder：real-time tracking of the human body[J].IEEE Trans on Pattern Analysis and Machine Intelligence，1997，19（7）：780-785.

[5]Stauffer C，Grimson W E L.Adaptive background mixture models forreal-time tracking[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition，Fort Collins，Colorado，USA，1999：246-252.

[6]Stauffer C，Grimson W E L.Learning patterns of activity using real-time tracking[J].IEEE Trans on Pattern Analysis and Machine Intelligence，2000，22（8）：747-757.

[7]李伟，陈临强，殷伟良.基于自适应学习率的背景建模方法[J].计算机工程，2011，37（15）：187-189.

[8]Dar-Shyang L.Effective Gaussian mixture learning for video background subtraction[J].IEEE Trans on Pattern Analysis and Machine Intelligence，2005，27（5）：827-832.

[9]Dong Y，De Souza G N.Adaptive learning of multisubspace for foreground detection under illumination changes[J].Computer VisionandImageUnderstanding，2011，115：31-49.

[10]Zhang Baochang，Zhang Bineng，Cao Yao.Complex background modeling based on texture pattern flow with adaptive threshold propagation[J].Journal of Visual Communication and Image Representation，2011，22：516-521.

[11]李庆武，蔡艳梅，徐立中.基于分块分类的智能视频监控背景更新算法[J].智能系统学报，2010，5（3）：272-276.

[12]Zhong Bineng，Chen Yan.Background subtraction driven seeds selection for moving objects segmentation and matting[J].Neurocomputing，2013，103：132-142.

[13]Sheikh Y，Shah M.Bayesian modeling of dynamic scenes for object detection[J].IEEE Trans on Pattern Analysis and Machine Intelligence，2005，27（11）：1778-1792.

[14]刘光宇，刘国栋.基于混合高斯模型的运动目标检测方法[J].计算机工程与应用，2009，45（24）：180-182.

[15]彭可，陈燕红，唐宜清.一种室内环境运动目标检测混合算法[J].计算机工程与应用，2008，44（5）：239-241.

[16]张晓娜，何仁，刘志强，等.基于空间信息高斯混合模型的运动车辆检测[J].江苏大学学报，2011，32（4）：386-388.

WU Tong1，2,WANG Ling1

1.College of Electrical and Information Engineering,Hunan University,Changsha 410082,China
2.Unit 63893 of PLA,China

This paper presents an improved algorithm of Gaussian mixture model based on inter-frame differencing blocking model and adaptive learning rate for the problem of too large calculation,poor ability to adapt to the complex scenes and other issues.It introduces the blocking model,effectively integrates information of pixel airspace,based on the inter-frame difference results,it determines the suspicious foreground region and background region to improve the detection sensitivity.Complex models are used for suspicious areas to ensure the accuracy of the moving-object detection and simple models are used to reduce the amount of computation.It passes through adaptive learning rate to accelerate the formation and regression of the background.Experimental results show the algorithm can take into account the detection accuracy and computational cost.

moving-object detection;inter-frame differencing;blocking model;Gaussian mixture model

针对混合高斯背景模型计算量过大、对复杂场景的适应能力较差等问题，提出了一种基于帧差分块和自适应学习率的混合高斯背景模型改进算法。引入分块模型思想，有效结合了像素的空域信息；根据帧间差分结果，判断可疑前景区域和背景区域，提高了检测灵敏度；针对前景可疑区域采用复杂模型，保证运动目标检测的精度，反之采用简单模型降低计算量；通过自适应学习率，加速背景的形成与消退。实验结果证明该算法较好地兼顾了检测精度和计算代价。

运动目标检测；帧间差分；分块模型；混合高斯模型

A

TP391

10.3778/j.issn.1002-8331.1301-0026

WU Tong,WANG Ling.Gaussian mixture background model based on inter-frame differencing blocks.Computer Engineering and Applications,2014,50（23）：176-180.

吴桐（1987—），男，助理工程师，研究方向为计算机视觉、数字信号处理；王玲（1962—），女，教授，博士生导师，研究领域为数字图像处理、现代网络与通信技术等。E-mail：wutong266@126.com

2013-01-06

2013-03-11

1002-8331（2014）23-0176-05

CNKI网络优先出版：2013-04-08,http://www.cnki.net/kcms/detail/11.2127.TP.20130408.1648.018.html