基于改进的背景差分的运动目标实时检测算法

徐蔚鸿，严金果

(长沙理工大学计算机与通信工程学院， 湖南 长沙 410114)

1 引言

智能视频监控系统研究的主要内容是对监控视频中运动的人和物进行检测、跟踪与识别等。而对运动目标的实时检测是其他一切工作的必要前提，检测效果将直接影响后续工作的准确性。运动目标实时检测是指在视频序列中实时地抽取出与背景存在相对运动的前景目标，为以后的目标识别做准备。

在实际应用中，由于场景多样性、准确性以及实时性对运动目标检测效果的影响，近年来国内外学者对此做了深入的研究。目前，运动目标检测常用的方法有光流法[1]、帧间差分法[2,3]、背景差分法[4～8]。其中，光流法适用于摄像机运动的情况，但其算法的时间复杂度高，目前很难实现对运动目标的实时检测[9]。帧间差分法适用于环境动态变化，快速提取运动目标轮廓，但分割后容易在运动目标实体内产生空洞，即不能完整地检测出运动目标[10]。背景差分法是目前运动目标检测最流行的一种方法，适用于背景相对稳定及摄像头静止的情况。彩色图像HSV自适应混合高斯建模算法[11]是背景差分中的一种，其对图像进行Hue、Saturation、Value分离后进行自适应混合高斯建模，但是计算量大难以实现对运动目标的实时检测。帧间差分中的三帧差分算法[12]虽然能快速检测出运动目标的轮廓，但检测的目标容易出现空洞。

针对上述存在的不足，本文进行了如下两点改进，首先用基于HIS分离的分块建模思想代替传统混合高斯模型逐点建模方式以减小计算量，其次运用三帧差分的思想快速提取运动目标轮廓。仿真实验表明该算法能快速有效地提取出目标，完整且轮廓清晰。

2 传统混合高斯模型与帧间差分原理和各自的不足之处

2.1 传统混合高斯模型原理与其不足

混合高斯背景建模算法[13]是由Stauffer C和Grimson W E L等人提出的。该算法认为视频序列中同一位置像素值在时间轴上服从高斯分布，对每一像素颜色值序列{X1,X2,…,Xt}均由k个高斯分布来建立模型，则当前像素值Xt的概率为：

(1)

其中,K为高斯分布个数(经验值为3～5)，wi,t为第i个高斯分布的权值，μi,t为均值，η(Xt,μi,t,∑i,t)为高斯概率密度函数,计算如式(2)所示：

(2)

ωk,t=(1-α)ωk,t-1+α(Mk,t)

(3)

μt=(1-ρ)μt-1+ρXt

(4)

(5)

ρ=αη(Xt|μk,σk)

(6)

其中,∂、ρ为学习率；对参数Mk,t，模型匹配时取1，否则为0，其权值按式(3)更新，均值与方差均保持不变。若前k个高斯分布都不匹配且k

按优先级(ω/σ)由高到低对高斯模型重新排列，那么取前B个高斯模型组合的背景，如式(7)：

(7)

在进行目标检测时，如果某个像素点的观察值与这B个高斯模型中的任意一个匹配，则认为该像素点属于背景点；否则属于前景点。由以上分析可知，模型在每一帧都要对每个像素计算一次更新速率α与标准差ρ，当中涉及到平方、开方以及指数等运算，这样大大增加了计算量。因此，采用传统混合高斯模型的背景差分法很难达到实时性的要求；同时，经典模型只有对环境变化较慢的情况检测效果较理想，在环境变化较快的情况下检测的目标轮廓清晰度难以符合其后识别工作的要求。

2.2 三帧差分算法与其不足

帧差法的基本原理是利用视频序列中连续相邻两帧图像f(x,y,t)、f(x,y,t-1)进行差分处理后得到差图像D1(x,y,Δt)：

D1(x,y,Δt)=|f(x,y,t)-f(x,y,t-1)|

(8)

与f(x,y,t)、f(x,y,t+1)差分后的图像D2(x,y,Δt)进行或运算后得到差分图像D(x,y,Δt)；然后进行自适应阈值处理得到清晰运动目标轮廓；最后进行数学形态学处理得到初步运动目标图像。

三帧差分法的引入是因为当运动目标速度较慢时，目标出现的区域变化不大，容易形成类似于随机噪声的孤立点，因此我们通常取连续的三帧图像进行相邻的两两差分后，对两个差分结果进行或运算。再对差分结果进行自适应阈值分割，最后进行腐蚀与膨胀的数学形态学处理得到运动目标的基本轮廓。

3 本文算法分析

3.1 基于分块的HSI混合高斯模型

HSI三通道分离的混合高斯背景建模对每个分量逐点进行建模，因此其算法的时间复杂度较大，即实时性较差。本文研究的算法主要是针对摄像机静止时拍摄下来的视频，这样检测运动目标所考虑的背景也就基本保持固定，只会因为树叶的摇摆、窗户的晃动等情况产生局部细微的变化，大部分背景基本不变。因此，本文对HSI自适应混合高斯背景建模进行了改进，对HSI三通道分离后对各分量做分块处理。因为当分块较小时块中每个像素值变化就很小，因此可以用每块的几何中心像素点的像素值来代替它所在块像素点的像素值进行混合高斯背景建模处理。

设{X1,X2,…,Xt}={I(x0,y0,i)|1≤i≤t}为视频帧中(x0,y0)点在t时刻之前像素值的集合，对t时刻视频帧图像的像素点按从上到下、从左到右分成大小为(2L+1)*(2L+1)的小方块，对边界不够块大小的情况，其值用0填充，则从左到右的第L+1、从上到下的第L+1个像素就是本方块的几何中心像素值，本文取它作为其所在方块的有效像素值。在本文实验中L取2，这在很大程度上减小了计算量。

3.2 算法思想

混合高斯模型算法主要应用于环境变化较慢的场景，从文献[11]中可知，HSV自适应的混合高斯模型检测算法在较少背景变化下运动目标的检测效果较理想，改进的背景差分算法主要利用HSI三通道分离的自适应混合高斯模型来提取背景模型。这里，通过在建模前引入分块处理的思想使检测速率得到了明显的提高，再引入了三帧差分算法提取运动目标轮廓，因此改进的运动目标检测新算法能更快速、更准确地提取出运动目标。

改进算法基本步骤如下：

第一步：对输入的智能监控视频序列进行预处理，包括提取视频帧图像基本信息，以及根据经验初始化所需的模型参数。

第二步：对第一步后的结果进行灰度变换，通过三帧差分法(连续的三帧图像进行相邻两帧之间的两两差分后再对差分后的图像进行或运算)能有效地检测出运动目标轮廓；然后采用自适应的阈值分割方法(OSTU算法)对三帧差分后的图像进行阈值分割处理，得到二值化的灰度图像即前景运动目标，自适应阈值比固定阈值适应性更强，能很好地适应背景环境的变化；最后对结果进行数学形态学方法(膨胀和腐蚀)处理孤立的噪声点。

第三步：对第一步后的结果进行HSI的三通道分离，得到视频帧图像的Hue、Saturation、Intensity分量，各分量矩阵按3.1节所提的分块算法进行分块处理；然后用自适应混合高斯建模进行背景建模来提取背景模型，得到初步的检测目标后进行数学形态学处理。

第四步：将第二步和第三步的初步检测结果进行或运算，再进行腐蚀与膨胀的数学形态学处理，从而得到最终的运动目标实时检测结果。

改进算法程序流程图如图1所示。

Figure 1 Flow chart of improved algorithm图1 改进算法流程图

4 实验结果与分析

实验在Intel Core i5-2450M@2.5 GHz处理器、内存4 GB，Windows 7 64位操作系统、Visual Studio 2008的环境下，基于Intel开源的计算机视觉库OpenCV编程实现。

为了验证本文算法的高效性与实时性，本实验选取了两组存在较少背景变化环境下的视频序列进行运动目标检测，其中一组室内环境实验结果如图2和图3，其帧宽度为320、帧高度为240；另外一组室外环境实验结果如图4和图5，其帧宽度为384、帧高度为288。图2和图3的室内环境中背景很少发生变化，图2第370帧图像的检测结果中： 图2b检测到较多的非运动目标的像素，如人的两脚之间存在非常明显的拖影，图2d中人体轮廓较清晰，相比HSV自适应混合高斯模型，准确性也有明显的提高，而图2c中检测的人体很不完整，漏检率较高，难以准确地识别；图3室内场景第780帧的实验检测结果也说明本文改进算法在检测准确性、目标轮廓清晰度上相对经典算法有明显的改善。图2与图3实验表明了室内环境中在较少背景变化的情况下，本文改进算法提高了检测目标的准确性，同时也改善了目标轮廓丢失较严重的问题。室外场景的监控视频序列的检测结果如图4第350帧和图5第780帧，场景中也存在较少的背景变化。从检测的结果集中可以看出，室外场景中的检测效果也基本符合上述规律。综上所述，相对经典混合高斯模型算法，本文提出的改进背景差分算法在背景变化较少的情况下，目标检测准确率以及目标轮廓清晰度方面均有较明显的提高。

Figure 2 Experiment of the 370 frame in door video sequence图2 室内视频序列第370帧实验图

Figure 3 Experiment of the 780 frame in door video sequence图3 室内视频序列第780帧实验图

Figure 4 Experiment of the 350 frame in outdoor video sequence图4 室外视频序列第350帧实验图

Figure 5 Experiment of the 780 frame in outdoor video sequence图5 室外视频序列第760帧实验图

由于算法在混合高斯建模过程之前进行了分块处理，节省了大量的计算，因此本文改进算法的检测速率有明显的提高。对传统混合高斯模型算法、HSV自适应混合高斯建模算法与本文算法进行检测速率的实验，表1是三种算法对室内视频序列和室外视频序列进行平均检测速率实验的结果。从表1中可以看出，相比传统混合高斯模型算法和HSV自适应混合调节建模算法，本文改进算法的检测速率提高相当明显，实时性得到了明显的改善。

Table 1 Average rate of all the algorithms for video processing表1 各算法对视频处理的平均速率 帧/s

综合上述检测效果的分析与检测速率的对比，相比传统混合高斯模型算法、HSV自适应的混合高斯建模算法，本算法能更快速、更准确地检测出运动目标，因此本文改进算法在工程实际中具有一定的实用价值。

5 结束语

针对传统混合高斯模型对目标轮廓清晰度小、实时性较差的情况，提出了一种基于HSI混合高斯背景模型与三帧差分相融合的运动目标实时检测算法。算法在确保能检测出的运动目标完整、轮廓清晰与便于识别的情况下减小了计算量，降低了算法的时间复杂度，显著地改善了运动目标检测的实时效果。本文算法改进了混合高斯背景建模算法检测效果不理想、时间复杂度高的不足。通过实验表明，本文算法在较少的背景变化情况下检测的高效性与准确性，在智能视频监控系统中有一定实际意义。

[1] Lopez S, Horstrand P, Callico G M, et al. A low-computational-complexity algorithm for hyperspectral endmember extraction:Modified vertex component analysis[C]∥IEEE Geoscience and Remote Sensing Letter,2012,9(3):502-506.

[2] Gan Ming-gang, Chen Jie, Liu Jin, et al. Moving object detection algorithm based on three-frame-differencing and edge information[J]. Journal of Electronics & Information Technology, 2010, 32(4):894-897.(in Chinese)

[3] Kartika I, Mohamed S S. Frame differencing with post-processing techniques for moving object detection in outdoor environment[C]∥Proc of IEEE 7th International Colloquium on Signal Processing and its Applications,2011:172-176.

[4] Stauffer C, Grimson W E L. Learning patterns of activity using real-time tracking[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000,22(8):747-757.

[5] Lee D S. Effective Gaussian mixture learning for video background subtraction[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence,2005,27(5):827-832.

[6] Li Bin,Zhong Run-tian,Wang Xian-ji,et al.A continuous optimization algorithm based on progressive estimation of Gaussian mixture model[J]. Chinese Journal of Computers, 2007, 30(6):979-985.(in Chinese)

[7] Jin Guang-zhi, Shi Lin-suo, Bai Xiang-feng, et al. New objects detection system based on mixture Gaussian model[J]. Journal of Computer Applications, 2011, 31(12):3360-3362.(in Chinese)

[8] Tsai Du-Ming, Lai Shia-Chih. Independent component analysis-based background subtraction for indoor surveillance[J].IEEE Transactions on Image Processing, 2009,18(1):158-167.

[9] Zhang Qiu-jia, Wang Hong, Liu Wei, et al. Moving object

detection optical flow vectors compensation model [J]. Laser & Infraed, 2011, 41(11):1263-1266. (in Chinese)

[10] Zhang Zheng-hua,Xu Ye,Su Quan,et al.Moving object detection based on background subtraction and hybrid frame differencing[J]. Journal of Signal and Information Processing, 2012, 42(8):14-17. (in Chinese)

[11] Lin Qing, Xu Zhu, Wang Shi-tong, et al. Moving objects detection of adaptive Gaussian mixture models on HSV[J]. Computer Science, 2010, 37(10):254-256. (in Chinese)

[12] Li Ying-hong, Xiong Chang-zhen, Yin Yi-xin, et al. Moving object detection based on edged mixture Gaussian models[J]. Journal of System Simulation,2009,21(suppl 1):72-74. (in Chinese)

[13] Stauffer C, Grimson W E L. Adaptive background mixture models for real-time tracking[C]∥ Proc of IEEE International Conference on Computer Vision and Pattern Recognition,1999:246-252.

[14] Bailo G, Bariani M, Ijas P,et al. Background estimation with Gaussian distribution for image segmentation, a fast approach[C]∥Proc of IEEE International Workshop on Measurement Systems for Homeland Security, 2005:2-5.

附中文参考文献：

[2] 甘明刚，陈杰，刘劲，等. 一种基于三帧差分和边缘信息的运动目标检测方法[J]. 电子与信息学报, 2010, 32(4):894-897.

[6] 李斌，钟润添，王先基，等. 一种基于递增估计GMM的连续优化算法[J]. 计算机学报, 2007, 30(6):979-985.

[7] 金广智，石林锁，白向峰，等. 基于混合高斯模型的新型目标检测[J]. 计算机应用,2011, 31(12):3360-3362.

[9] 张秋佳，王虹，刘威，等. 光流向量补偿模型的运动目标检测[J]. 激光与红外,2011, 41(11):1263-1266.

[10] 张正华，许晔，苏权，等. 基于背景差分和混合帧差的运动目标检测[J]. 信号与信息处理，2012，42(8)：14-17.

[11] 林庆，徐柱，王士同，等. HSV自适应混合高斯模型的运动目标检测[J]. 计算机科学，2010，37(10)：254-256.

[12] 李颖宏，熊昌镇，尹怡欣，等. 一种基于边缘高斯混合模型的运动目标检测方法[J]. 系统仿真学报，2009，21(Suppl 1)：72-74.