一种基于混合高斯的双空间自适应背景建模方法

齐玉娟，王延江，索鹏

（中国石油大学信息与控制工程学院，山东青岛 266580）

一种基于混合高斯的双空间自适应背景建模方法

齐玉娟，王延江，索鹏

（中国石油大学信息与控制工程学院，山东青岛 266580）

为解决运动目标缓慢运动或暂时停止以及场景突变问题，受人类获取知识过程启发，提出一种基于混合高斯的双空间自适应背景建模方法，即采用当前混合高斯模型空间和记忆空间（用于存储曾经的背景模型）对场景进行自适应建模。两个空间模型更新采用不同的学习率:在当前混合高斯模型空间，学习率根据高斯分布对场景的贡献程度进行自适应更新，以解决运动目标缓慢运动或暂时停止问题;记忆空间存储曾经的背景模型，以提高算法对背景突变的适应性，故采用固定学习率进行更新。试验结果表明了所提方法的优越性。

背景建模;混合高斯模型;运动目标分割;背景减除;背景突变

运动目标检测是实现目标分类、目标跟踪和行为理解等中高层次处理的基础。常用的方法主要有相邻帧差法、光流法、背景减除法等［1］。背景减除法操作简单，检测准确且速度快，背景建模是其关键。目前常用的背景模型主要有单高斯模型、混合高斯模型、基于区域的模型以及HMM（hidden markovmodels）等［2］，其中混合高斯模型［3-4］被认为是最能准确反映像素值分布和动态变化的数学模型之一［5］。然而混合高斯方法在实际应用时由于实际场景的复杂性以及模型本身的更新速率问题而导致大量的误检测;研究者针对具体问题对其进行了改进［6-12］，但不能解决目标运动减缓或暂时停止或房间的门突然被打开等问题。而在人类学习过程中，已学得的知识会以某种方式存储到人脑中。当人们学习新的知识时已学得的知识会促进新知识的学习，加快对新知识的掌握。受这一过程的启发，笔者将模型空间进行拓展，引入记忆空间用以存储曾经的背景模型，提出一种基于混合高斯的双空间自适应背景建模方法。

1 混合高斯模型

混合高斯模型（Gaussian mixturemodel，GMM）将每个像素点的时变取值建模为一个独立的混合高斯分布，并对高斯分布的均值和方差进行在线更新。若Xi表示某个像素点在i时刻的观测值，一般为（R，G，B）颜色矢量，{X1，…，Xt}表示该点从开始观测到t时刻的时变取值，则t时刻观测值为Xt的概率可以用具有K个高斯分布的混合高斯模型建模:

将每一采样值依次与每一个高斯分布的均值进行比较，若满足式（4），则判定该采样值与该高斯分布相匹配，更新该分布的各参数，而其他分布只更新权重;其中αc是学习率。

如果不存在匹配的高斯分布，就用一个新的均值为Xt+1、高方差和低权重的高斯分布取代尾端的高斯分布，即第K个高斯分布。

如果匹配的高斯分布不属于背景模型或不存在匹配的高斯分布，将采样值标记为前景像素;当前帧中的所有前景像素的集合视为运动目标。

从GMM基本方法来看，学习率固定不变，即无论是背景像素还是目标像素都以相同的学习率参与背景模型的更新，因而算法的收敛速度受到一定影响。针对这一问题，本着很少数的采样需要有效学习这一宗旨，Lee［12］提出一种学习率自适应更新方法。该方法通过统计高斯分布的有效次数ck来获得合适的学习率α对匹配高斯分布的均值和方差进行更新。即

Lee对学习率的改进有效提高了GMM算法的收敛率，并且在室内光照突变的场景下取得了较好的分割结果。

2 双空间自适应背景的建模方法

2.1 双空间

将原先的模型空间拓展成两部分:当前混合高斯空间和记忆空间。

混合高斯空间由原混合高斯模型中的K个高斯分布构成，实现类似传统混合高斯模型的模型排序和在线更新。存储在混合高斯空间中的模型有:空间中原有的经过更新的分布、当前像素值作为均值构成的新的分布、从记忆空间中调入的曾经的背景分布。

记忆空间用于存储曾经作为背景模型的分布。记忆空间初始为空;在模型更新过程中，当曾被视为背景模型的高斯分布被新的高斯分布替换时，将其存入记忆空间。因此当遇到类似的场景时，背景模型可快速从记忆空间中调出，加速模型匹配，快速适应场景的变化，从而减少误检测。

2.2 自适应学习率

（1）混合高斯空间学习率。由混合高斯背景模型的知识可知，在混合高斯背景建模过程中，一个分布连续匹配的次数越高，权重越高。在混合高斯模型空间中排在前面的背景分布具有较高的权重，而代表运动目标的分布则权重较小。因而对于混合高斯空间中高斯分布采用如下的学习率［13］:

其中ω是高斯分布的权重。αU是固定学习率，是一个常量。α0是取值非常小的常量（例如0.00001）。引入α0的目的是令α的值不至于过小而致使长时间停止运动的目标无法被更新至背景模型。

根据式（11），具有不同权重的高斯分布被赋予了不同的学习率，即权重越高，学习率越高。短暂停留的运动目标由于所对应的高斯分布具有较小的权重而在更新时采用了较低的学习率，很难被吸收为背景，而目标停留的时间越长，其所对应的高斯分布权重越高，目标越容易被更新到背景模型中。而当运动目标静止时间达到一定值后，很快被吸收为背景，这正是所希望的。从而，缓慢运动目标和暂时停止运动的目标被过快吸收为背景模型的问题能够得到有效的解决。

（2）记忆空间学习率。记忆空间存储的是曾经的背景模型。对应人类已经获得的经验知识。因而赋予记忆空间中的分布一个固定的学习率，即

其中，αc表示固定学习率，试验中取αc＜αU.

2.3 双空间自适应背景建模

（1）初始化。第一帧（假设第一帧没有运动目标）时初始化模型空间:对每一个像素，混合高斯空间由描述该像素的K个高斯分布构成，而记忆空间初始为空，如图1所示。

图1 模型空间初始化（K=5）Fig.1 Initialization of two modeling spaces（K=5）

（2）将混合高斯空间中的K个高斯分布按照ωk，t/σk，t从大到小的顺序排列，从首端选取前Bt个高斯分布作为该点处的背景模型（式（3）），并将属于背景模型的分布进行标记，如图2所示。

图2 GMM空间高斯分布排序与标记Fig.2 Sorting and marking of Gaussian distributions in GMM space

（3）将新的采样值Xt+1依次与混合高斯空间中的K个高斯分布进行匹配检查。如果存在匹配的高斯分布，采用式（11）定义的学习率按照公式（5）～（8）进行更新;若匹配分布未曾被标记，则像素点标记为前景，否则像素点标记为背景。

（4）若当前混合高斯模型空间不存在匹配的高斯分布，将采样值Xt+1依次与记忆空间中的高斯分布进行匹配检查。如果存在匹配的高斯分布，将像素点标记为背景，并对匹配分布采用式（12）定义的学习率进行更新，然后执行步骤（4－1）和步骤4－2;否则转向步骤（5）。

（4－1）若当前混合高斯模型空间的最后一个高斯分布曾被标记，将其放入记忆空间（图3），同时将匹配分布从记忆空间中移出并作为混合高斯模型空间的最后一个分布。（4－2）若当前混合高斯模型空间的最后一个高斯分布未曾被标记，则直接将匹配高斯分布从背景空间中移出并取代之。

图3 记忆过程示意图Fig.3 Illustration of rem embering marked background model intomemory space

（5）若在两空间中均未找到匹配分布，则像素点标记为前景，并用一个新的均值为Xt+1、高方差、低权重的分布取代混合高斯空间尾端的高斯分布。

算法流程如图4所示。

图4 算法流程图Fig.4 Flow chart of proposed algorithm

3 试验结果

为验证本文所提算法的有效性，在P4 3.0的PC机上，VC编程环境下，用实拍序列进行了测试，并与传统GMM方法以及Lee方法［12］进行了对比。试验中αU=0.07，αc=0.05。在目标提取过程中，为了去除噪声，采用了3×3高斯滤波器以及连通域分析算法，但未采用任何阴影去除算法。

序列“Briefcase”是以所在实验室场景为背景的320×240的视频序列。在该序列中，一个人带着外衣和公文包进入场景，将外衣与公文包放好后停留一段时间，然后带着外衣离开，而将公文包留在场景中。图5（b）、（c）、（d）分别是采用传统混合高斯背景模型、Lee方法以及本文提出方法获得的运动目标分割结果（序列第490、755、800、1 000、1 150、1 220、1 310帧）。

图5 “Briefcase”序列分割结果Fig.5 Segmentation results of“Briefcase”video sequence

试验结果显示，人暂停运动后，采用传统的混合高斯背景模型和Lee方法进行检测时，会很快被吸收为背景，导致前景目标无法被准确分割;而采用本文所提方法则较为准确的将运动目标分割出来。在此过程中由于受到椅子遮挡，腿部部分信息丢失，出现了“空洞”，当不受椅子遮挡时（如第1 310帧），“空洞”消失;由于公文包和衣服停放时间比较短，本文方法将其作为前景目标检测出来。然而，本文所提方法并不是将停止运动的目标永远都被判断为前景。图6是本文所提方法对视频序列第1560，1570，1580，1590帧的分割结果。由图6可以看出，当公文包停放较长一段的时间后，会逐渐被吸收为背景。

图6 本文方法对长时间静止目标分割结果Fig.6 Segmentation results when the object stops for a long time

在“Door”序列中，场景中的门起初是关闭的，打开一段时间后再次关闭（场景变化如图7（a）所示）。图7（b）为一个人打开门并走出实验室原始序列。

图7（c）、（d）、（e）是当人打开门时采用传统的混合高斯背景模型、Lee方法以及本文所提方法运动目标分割结果（序列第966，979，990，1021，1041和1 044帧）。

图7 门被打开时的分割结果Fig.7 Segmentation resultswhen the door is being opened

人打开门时，产生背景突变。试验结果显示:采用传统的混合高斯背景模型以及Lee方法都无法准确将所关注的运动目标——“人”分割出来，而采用本文方法可以得到较好的分割效果。

4 结束语

受人类学习过程启发，本文对传统的混合高斯背景模型进行改进，通过引入记忆空间以存储出现过的背景模型，提出一种基于混合高斯的双空间自适应背景建模方法。两个空间模型更新采用不同的学习率:在当前混合高斯模型空间，学习率根据高斯分布对场景的贡献程度进行自适应更新，以解决运动目标缓慢运动或暂时停止问题;而记忆空间采用固定学习率进行更新，可以提高算法对背景突变的适应性，因此当相似的场景再次出现时，能较快适应场景变化。最后采用室内实拍序列与传统基于GMM的方法进行了试验对比。试验结果表明，本文提出的方法能够有效解决运动目标提取过程中出现的运动目标暂停和场景突变等问题。

［1］万缨，韩毅，卢汉清.运动目标检测算法的探讨［J］，计算机仿真，2006，23（10）:919-925.

WAN Ying，HAN Yi，LU Han-qing.Prospects and current studies on background subtraction techniques for moving objects detection from surveillance video［J］.Computer Simulation，2006，23（10）:919-925.

［2］YILMAZ A，JAVED O.Object tracking:a survey［J］.ACM Computing Surveys，2006，38（4）:1-45.

［3］STAUFFER C，GRIMSONW E L.Adaptive background mixture models for real-time tracking:Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition，Fort Collins，CO，USA［C］.Los Alam itos，Calif:IEEE，c2009:246-252.

［4］STAUFFER C，GRIMSONW E L.Learning patterns of activity using real-time tracking［J］.IEEE Trans on PAMI，2000，22（8）:747-757.

［5］KAEW TraKulPong P，BOWDEN R.An improved adaptive background mixturemodel for real-time tracking with shadow detection:proceedings of the 2nd European Workshop on Advanced Video-Based Surveillance Systems，Kingston，UK［C］.London:Kluwer Academic Publishers，c2001:149-158.

［6］JAVED O，SHAFIQUE K，SHAH M.A hierarchical approach to robust background subtraction using color and gradient information:Workshop on Motion and Video Computing［C］.Washington，DC:IEEE，c2002:22-27.

［7］SUN Yun Da，YUAN Bao Zong.Hierarchical GMM to handle sharp changes in moving object detection［J］.E-lectronics Letters，2004，40（13）:801-802.

［8］SUN Yun Da，YUAN Bao Zong，MIAO Zhen Jiang，et al.From GMM to HGMM:an approach inmoving object detection［J］.Computing and Informatics，2004，23（3）: 215-237.

［9］ZHANG Wei，FANG Xiang Zhong，YANG Xiao Kang.Moving vehicles segmentation based on Bayesian framework for Gaussian motion model［J］.Pattern Recognition Letters，2006，27（9）:956-967.

［10］El BAF F，BOUWMANS T，VACHON B.Type-2 fuzzy mixture of Gaussians model:application to background modeling:proceedings of the 4 th International Symposium on Visual Computing［C］.Berlin:Springer-Verlag，c2008:772-781.

［11］杨涛，李静，潘泉，等.一种基于多层背景模型的前景检测算法［J］.中国图象图形学报，2008，13（7）:1303-1308.

YANG Tao，LIJing，PAN Quan，et al.A multiple layer background model for foreground detection［J］.Journal of Image and Graphics，2008，13（7）:1303-1308.

［12］LEED S.Effective Gaussianmixture learning for video background subtraction［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27（5）: 827-832.

［13］索鹏.基于仿生智能的多目标跟踪算法研究［D］.青岛:中国石油大学信息与控制工程学院，2009.

SUO Peng.Study onmulti-object trackingmethod based on bionic intelligence［D］.Qingdao:College of Information and Control Engineering in China University of Petroleum，2009.

A double-subspace adaptive background m odeling m ethod based on Gaussian m ixturem odel

QIYu-juan，WANG Yan-jiang，SUO Peng
（College of Information and Control Engineering in China University of Petroleum，Qingdao 266580，China）

In order to tackle problems that themoving object slows down or stops for a while，and the background changes suddenly when segregating the foreground from background，inspired by the human learning process，a double-subspace adaptive background modelingmethod based on Gaussianmixturemodel（GMM）was proposed.Amemory space is introduced into the traditional GMM-based background modeling for storing the pastbackgroundmodels.The learning rates for updating the distributions in the two spaces are different.In GMM space，the learning rate is updated with the contribution of the distribution to the scene，which aims to handle problems that the objectmoves slowly or stops temporarily.While in thememory space，a fixed learning rate is used in order to improve the adaptability to sudden background changes.The experimental results demonstrate the superiority of the proposed method.

backgroundmodeling;Gaussianmixturemodel（GMM）;moving object segmentation;background subtraction;sudden background changes

TP 391

A

10.3969/j.issn.1673-5005.2012.05.033

1673-5005（2012）05-0175-04

2012－02－15

国家自然科学基金项目（60873163，61271407）;中央高校基本科研业务费专项资金资助项目（27R1105019A）

齐玉娟（1977－），女（汉族），山东诸城人，讲师，博士研究生，主要研究方向为计算机视觉、模式识别。

（编辑 修荣荣）