基于改进高斯混合模型的自适应前景提取

赵亚欣 蔡华杰 赵怀勋 谢跃辉

(武警工程大学信息工程系 陕西 西安 710086)



基于改进高斯混合模型的自适应前景提取

赵亚欣 蔡华杰 赵怀勋 谢跃辉

(武警工程大学信息工程系 陕西 西安 710086)

在复杂场景下的运动前景提取是智能视频监控的基础部分。高斯混合模型是常用的背景建模方法，针对高斯混合模型中模型个数固化导致的无谓的系统开销，提出基于单高斯模型成长的动态个数调整形成的高斯混合模型。对模型的更新率根据场景变化的剧烈程度进行实时改变，能较好适应突发场景、光照的变化。对提取的运动前景进行形态学处理，得到最后的提取目标。实验结果表明，该方法背景建模适应性强，提取前景精度有所提升。

高斯混合模型 自适应背景更新 更新率

0 引 言

视频监控已渗透到当今社会的方方面面，对个人与公众安全产生了深刻影响。随着计算机视觉及图像处理技术的进步，视频监控正逐步向智能化发展。运动目标检测是智能视频监控的基础部分，对提高监控系统的准确性有着重要影响。

主流的运动前景提取算法有：背景减除法、帧间差分法、光流法。背景减除法是通过视频帧与背景模型作差分提取出运动的前景目标。该方法原理简单，计算量小，适用范围广。但在现实环境中，监控场景虽然固定，但非绝对不变，比如光照的变化，背景的干扰(摇晃的树叶、粼粼的水波)。因此，如何建立一个动态更新的背景，以适应各种因素的干扰，是研究的重点。

高斯混合模型[1]的实质是对每一像素点设立多个高斯分布，联合多个分布进行背景建模。但基于高斯混合模型的目标检测算法复杂度较高，分布个数的选择对前景提取效果影响明显。此外，采集视频图像中存在的噪声也易对前景的提取造成干扰[2]。针对混合高斯模型存在的不足，许多研究者提出了改进算法。王永忠等[3]利用GMM学习每个像素的时间域与非参数密度估计构造的空间域融合，改进了检测效果。Zhao等[4]将高斯混合模型扩展到了邻域，并用马尔可夫随机场分割前景，同时算法的复杂度也急剧增加。文献[5,6]通过帧间差分与高斯背景相结合分割前景目标，同时也增加了时间开销；Fradi[7]将选择流融入混合高斯模型提高了前景分割的精确性；范文超等[8]对视频图像进行分块以实现滤波效果，采取自适应的高斯分布个数提高了检测速度。Zhang等[9]用统计学方法建立自适应的2-D学习率查找表，针对每个像素设定不同学习率，较好地进行了GMM的更新。刘万军等[10]在此基础上融合了图像熵与更新率查找表，对光照突变时的背景更新调节有较好效果。

本文利用单高斯模型进行初始化的背景建模，根据背景的复杂度动态增减高斯模型个数，同时对参数更新策略加以调整，在监控场景变化或受到扰动时的前景提取效果有所提升。最后，对提取出的前景目标进行形态学处理，以较小的开销优化检测结果。实验表明，本文的算法较传统的高斯建模方法检测算法效果更好，能实时提取运动目标。

1 混合高斯模型

1.1 混合高斯模型介绍

混合高斯模型由Stauffer等[1]等提出,核心思想是对背景图像中的每一像素点用K个高斯分布来表示。一般来说K取3～5之间。K太小不足以充分表示背景的变化；K增大时，背景模型的抗干扰能力会增强，同时运算开销也相应增加。对某一个像素点{x,y},其时间序列{X1,X2,…,Xt}可以用K个高斯分布叠加表示，Xt为t时刻点{x,y}的观察值。Xt的概率密度函数可表示为：

(1)

(2)

式中，K为高斯分布的个数；ωi,t为在t时刻第i个高斯分布的权值；μi,t为在t时刻第i个高斯分布的均值；∑i,t为在t时刻第i个高斯分布的协方差矩阵。Xt为n维的向量，n=1时Xt代表像素点的灰度值，n=3时Xt代表像素点的RGB数值。

1.2 运动目标提取

传统高斯混合模型设定固定的高斯模型个数，将像素点的观察值Xt与K个分布中的前M个一一对比，直至与某分布相匹配。匹配规则为：|Xt-μi,t-1|<2.5δi,t-1。若能匹配，则需对各高斯分布的权值、均值及方差进行更新；若不匹配，则该像素点此时被判定为前景点，提取出运动目标。

1.3 模型参数更新

在进行像素点的匹配后，需根据匹配情况调整各分布的权重，均值及方差，构建新的背景模型，以适应新一帧的前景目标提取。当像素点观察值与某一高斯分布相匹配时，对参数进行更新：

ωi,t=(1-α)ωi,t-1+α(Ti,t)

(3)

μi,t=(1-ρ)μi,t-1+ρXt

(4)

(5)

ρ=αη(Xt,μi,t,∑i,t)

(6)

其中，α为权值更新率；ρ是参数更新率。匹配时Ti,t为1，否则为0。由式(3)可知，匹配的模型权重会增加，反之，则会下降。均值和方差也会随像素点的当前值而更新。在高斯模型的参数调整后需归一化各分布的权重。

在权值归一化后，对像素点的高斯模型按ωi,t/δi,t从小到大的顺序进行排序。若排序的前M个模型的权重之和满足式(7)，则认为这前M个高斯模型描述背景，其余的高斯模型描述运动物体。

(7)

式中，T为权值阈值，T∈(0.5,1)。

2 改进的混合高斯模型

2.1 初始高斯模型设定

混合高斯模型设定一个固定的模型个数后便不再改变，本文起初用单高斯模型来进行背景建模，即取K为1，μ取像素点的初始值μ0，其权重为1。

2.2 高斯模型动态调整

单个高斯模型并不能满足场景的动态变化，容易引起误检。对高斯模型的个数进行动态的增减，以适应监控场景的变化。当然，为避免运算量过大，不能满足实时检测，对高斯模型个数设定最大值，本文取K最大为4。具体流程如下：

将像素点数值与当前分布匹配，若能匹配，则判定为背景点，同时更新权值、参数。若未能匹配，则增加一个新的高斯模型，μk,t=Xt(像素点的当前数值即为新增加的第K个高斯模型均值)，δi,t=36，ωk取一个较小值。如此，直至模型个数达到上限。在背景趋于平静时，无需维持较高的模型数目，可对模型进行删除或合并，剔除无效分布、合并冗余分布[11]。以下是精简高斯模型个数的两种策略：

1) 分布删除 对像素点的每个高斯分布的连续未匹配次数进行统计，记为Fk，并设定一个阈值Fmax,Fk=Fmax时，表示此模型长时间未被匹配，将其删除。另外，若某一高斯模型的分布权值不断降低，则说明其不适应背景的变化，不能很好的描述，同时，还会继续学习更新，影响模型的收敛速度，需将其删除。

2) 分布合并 当某一像素点的两个高斯分布a、b均值比较接近时，合并这两个分布，合并后高斯分布为c,参数转换为：

ωi,t=ωa,t+ωb,t

(8)

μc,t=(ωa,t×μa,t+ωb,t×μb,t)/ωc,t

(9)

(10)

2.3 高斯模型动态更新

在混合高斯模型进行建模时，不仅要考虑高斯模型的个数，适应背景复杂度的变化，而且要根据背景变化的快慢，调整背景模型的更新速率。若背景变换太快，或有突然的光照变化，更新率过小时检测效果不理想。在上文进行目标检测时进行了图像序列的灰度化，在监控场景发生转换或光照突变时，一般灰度值都会有明显的改变。利用此原理，将背景的更新率与灰度值的变化率相匹配，实现更新率的动态改变。

首先，对图像进行灰度化变换，即Xt→ht,(ht,代表当前帧所有像素点灰度值的平均值)，再根据灰度值ht的变化调整式(3)-式(6)中的更新率α。定义场景变化率γ，反应场景变化的速率。设定一个固定阈值γ0，如果参数γ过大，即γ>γ0，则证明场景变化剧烈，没有在原有背景基础上进行更新的必要，选择新的帧作为背景进行建模。若γ≤γ0，对更新率进行调整：

γ=(ht-ht-1)/ht-1

(11)

α=αγ

(12)

实现更新率随灰度值变化的动态改变。

2.4 形态学处理

在改进高斯混合模型提取到运动前景后，不可避免会存在一些噪声点、检测目标内部有空洞等现象。为此，通过简单的形态学处理可有所改观。

改进后的高斯混合模型的流程如图1所示。

图1 改进高斯混合模型流程图

3 实验结果及分析

为验证本文算法对前景提取的有效性，对其进行实验验证，并与传统单高斯及高斯混合模型的检测效果进行对比。本次实验是基于个人计算机实现的，配置为：CPU为Intel(R)Core(TM)i5-3210M 2.5 GHz,内存4 GB，仿真软件为Matlab2014a。在具体实验时，本文先将输入的彩色图像进行灰度化的处理，减少了计算量。

本文采用Wallflower视频集中的五个视频作为测试集，分别为WavingTrees(WT),LightSwitch(LS),TimeOfDay(TD),Camouflage(CF),Foregrou-ndAperture(FA)。为对本文提出算法的前景提取效果客观衡量，分别用单高斯模型(方法1)、高斯混合模型(方法2)、基于Parzen窗的非参数概率密度估计的混合高斯背景建模[11](方法3)、基于EM的自适应混合高斯模型[12](方法4)与本文提出的改进高斯混合模型进行对比。对五种方法的运行时间及检测效果进行比较。表1给出了这5种算法对以上5个视频段平均每秒钟处理的帧数。

表1 各模型处理速度(fps/s)

从实验效果来看，本文的改进算法相比高斯混合模型及基于Parzen窗的非参数概率密度估计的混合高斯背景建模处理速度有所提升，主要得益于实时调整模型的个数，在背景稳定的情况下，以较少的模型对背景建模，总体减少了程序的开销。但与单高斯模型相比，处理速度处于劣势，原因是单高斯模型以固定单一高斯模型背景建模，处理速度快，但其检测效果不及本文提出的改进算法。本文与基于EM的自适应混合高斯模型的处理速度相比略有下降，主要是因为引入了背景重建策略，监控场景突变时进行了背景重建，增加了运算开销。可以说，改进后的高斯模型用处理速度上的损耗获得了更好的前景提取效果。

图2从上至下分别为原图像、理想前景、单高斯模型、高斯混合模型、基于Parzen窗的非参数概率密度估计的混合高斯背景建模、基于EM的自适应混合高斯模型、本文改进高斯混合模型。

图2 前景提取比较图

引入以下参数对本文算法性能定量评价：查全率(Recall) Recall=tp/(tp+fn)；查准率(Precision) Precision=tp/(tp+fp) tp：判断正确的前景点，fp：判断错误的前景点，fn：判断错误的背景点。

表2 各模型查全率与查准率比较(%)

从图2和表2可以看出，本文方法在查准率上有所提高，主要得益于自适应的动态背景建模，根据监控场景变化的快慢实时调整模型个数及更新率，此外加入形态学处理，滤除了部分噪声点。

本文方法相比传统单高斯和高斯混合模型在查准率和查全率上皆有较大提高，得益于改进的模型个数动态调整，与更新率的实时变化。与方法3(非参数密度估计法)相比在查全率上处于劣势，源于本文方法提取前景内部存在空洞。与方法4相比本文效果也更好，查全、查准率都有提升，在LightSwitch场景中都能适应光照的突变，相较方法3，在查准率上更胜一筹。在WavingTrees场景中，方法1、方法3在人的周围由于树叶的晃动，有诸多干扰点，拉低了检测的查准率，而本文的背景建模策略有效地减少了此类干扰。

本文方法在查全率及查准率上总体效果有所提升，提取出良好的前景目标。同时也需认识到，提出的背景建模策略虽能更好地适应各种监控场景的变化，但也使处理速度有所降低。

4 结 语

本文针对高斯混合模型耗时长，前景提取精确度不高等问题，提出了模型个数动态调整的高斯模型，开始用单个高斯模型背景建模，根据背景的复杂程度动态增减模型个数，并设定模型个数上限以控制目标检测的时间。其次，根据场景中背景变化引起的灰度变化来控制背景模型的更新速率，对光照的变化表现出良好的适应效果。实验证明，本文算法实时性适中，查全率和查准率都有所提升，总体检测效果良好。下一步需着重提高前景提取的实时性。

[1] Stauffer C,Grimson W E L.Adaptive background mixture models for real-time tracking[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Fort Collins:IEEE,1999:2246-2252.

[2] Blanding W R,Willett P K,Bar-Shalom Y.Multiple targets tracking using maximum likelihood probabilistic data association[C]//2007 IEEE Aerospace Conference.IEEE,2007:1-12.

[3] 王永忠,梁彦,潘泉,等.基于自适应混合高斯模型的时空背景建模[J].自动化学报,2009,35(4):371-378.

[4] Zhao Z,Bouwmans T,Zhang X,et al.A fuzzy background modeling approach for motion detection in dynamic backgrounds[C]//Proceedings of the Second Conference on Multimedia and Signal Processing.Springer,2012:177-185.

[5] 於正强,潘赟,宦若虹.一种结合帧差法和混合高斯的运动检测方法[J].计算机应用与软件,2015,32(4):129-132,270.

[6] 连晓峰,张弢,刘载文,等.一种改进的运动人体目标检测方法研究[J].计算机仿真,2011,28(2):308-311.

[7] Fradi H,Dugelay J L.Robust Foreground Segmentation Using improved Gaussion Mixture Model and Optical Flow[C]//2012 International Conference on Informatics,Electronics & Vision (ICIEV),2012:248-253.

[8] 范文超,李晓宇,魏凯,等.基于改进的高斯混合模型的运动目标检测[J].计算机科学,2015,42(5):286-288,319.

[9] Zhang R,Gong W,Grzeda V,et al.An adaptive learning rate method for improving adaptability of background models[J].IEEE Signal Processing Letters,2013,20(12):1266-1269.

[10] 刘万军,李琳.基于熵理论改进混合高斯模型的运动目标检测算法[J].计算机应用研究,2015,32(7):2226-2229,2233.

[11] Tanaka T,Shimada A,Arita D,et al.Non-parametric background and shadow modeling for object detection[C]//Proceedings of the 8th Asian Conference on Computer Vision,Tokyo,2007:159-168.

[12] 李百惠,杨庚.混合高斯模型的自适应前景提取[J].中国图象图形学报,2013,18(12):1620-1627.

SELF-ADAPTIVE FOREGROUND EXTRACTION BASED ON IMPROVED GAUSSIAN MIXTURE MODEL

Zhao Yaxin Cai Huajie Zhao Huaixun Xie Yuehui

(DepartmentofInformationEngineering,UniversityofCAPF,Xi’an710086,Shaanxi,China)

Motion foreground extraction under complicated scene is the basic part of intelligent video surveillance. Gaussian mixture, as a common background modeling method, in view of the unnecessary overhead caused by fixed number of Gaussian mixture model, a method based on the single Gaussian model as well as dynamic adjustment of Gaussian mixture model is proposed. The update rate is in real-time change according to how strongly the scene changes, which adapts well to the mutation scenario and the change of illumination. Then, the extraction of motion foreground is processed by morphological processing and the final goal is got. The experimental results show that the method is highly adaptive to background modeling, and the extracting prospects precision is improved.

Gaussian mixture model Self-adaptive background update Replacement rate

2016-03-24。赵亚欣，硕士生，主研领域：人体行为识别。蔡华杰，硕士生。赵怀勋，教授。谢跃辉，硕士生。

TP391

A

10.3969/j.issn.1000-386x.2016.11.038