基于双背景模型的改进Vibe运动目标检测算法

周超康，战荫伟，冯开平

(广东工业大学 a.机电工程学院；b.计算机学院，广东 广州 510006)

基于双背景模型的改进Vibe运动目标检测算法

周超康a，战荫伟b，冯开平a

(广东工业大学 a.机电工程学院；b.计算机学院，广东 广州 510006)

摘要:针对传统视觉背景提取法(Visual background extractor，Vibe)不能抑制鬼影和去除阴影干扰的问题，提出一种改进算法。缓存视频前K帧图像，利用随机抽样和改进均值法构建两个背景模型，分别用于前景检测和阴影去除；前景检测环节扩大样本的抽取范围，提高模型可靠度，抑制鬼影；替换虚假样本完成前景检测模型的更新；对所得感兴趣前景区域，结合灰度和LBP纹理特征信息消除阴影。实验结果表明，改进算法能有效抑制鬼影，消除阴影干扰，检测结果更加精确。

关键词:运动目标检测；鬼影；阴影去除；Vibe；LBP

运动目标检测是从视频图像序列中提取出相对于背景场景运动的前景目标，是目标跟踪、分类和行为理解的基础，在交通管理和安防等领域中得到了广泛运用[1]。关于运动目标检测已有大量研究工作，但由于场景复杂多变，没有一种对所有场景都适用的检测方法。

传统的运动目标检测方法主要包括：帧差法[2]、光流法[3]和背景差分法[3-5]。相对于帧差法和光流法而言，背景差分法准确度高且强鲁棒，成为研究的焦点。常用的背景差分法有混合高斯模型[4](Gaussian Mixture Model，GMM)和码本模型[5](Code-book)。GMM可用于复杂场景的建模，但计算复杂度高，实时性不好。Code-book通过统计和聚类像素点信息实现背景建模，但由于其学习阈值固定，会导致码本无限膨胀。2009年，Olivier Barnich等人提出Vibe[6]算法，该算法适用于多种不同场景且实时性良好，但对鬼影抑制和阴影去除等效果不佳。为此，文献[7]在预处理阶段通过三帧差法重建了真实背景，可消除鬼影干扰。文献[8]为了避免重复选取样本，扩大了初始化样本的选取区域，邻域更新采用隔行更新的方式，并用小目标丢弃和空洞填充策略消除噪声干扰，同时去除部分阴影。

受以上工作启发，本文提出一种基于双背景模型的改进Vibe算法，称为DMVibe(Double Model Vibe)。该算法对监控环境有更好的适用性，能很好地解决鬼影和阴影问题，提升检测效果。

1Vibe介绍

Vibe是一种基于样本随机聚类技术的背景建模算法，由于其良好的鲁棒性和实时性，在智能监控系统中得到广泛运用。算法主要包括：

1)背景建模

(1)

2)前景检测

(2)

式中：R=20，#min=2。

图1　欧氏空间中像素分类

3)模型更新

设时间二次抽样因子δ=16，像素被检测为背景时，以1/16的概率用当前像素值随机替换其背景模型中的一个样本；并以1/16的概率用当前像素值替换其八邻域中随机选取的某背景模型的一个样本，以保持空间一致性，克服“死锁”问题。

Vibe存在以下问题：1)当第一帧中有运动目标时，运动目标位置处的背景模型由运动目标像素填充。目标离开后，真实背景像素与该背景模型无法匹配，导致出现不对应任何前景目标的检测结果，即鬼影，而模型更新需较长时间才能将鬼影消除。2)Vibe没有考虑消除阴影的干扰，且检测结果中存在大量闪烁噪声。这些都严重影响检测结果的真实性。

2DMVibe算法

本文首先利用视频前K帧图像建立两个背景模型：前景检测背景模型和阴影检测背景模型。然后从第K+1帧起开始前景检测，能有效抑制鬼影和噪声，并去除运动阴影。最后根据前景检测结果更新这两个模型。

2.1初始化前景检测背景模型

(3)

该背景模型初始化过程考虑了时域信息，使模型中包含更多背景像素灰度值，模型可靠度大幅提高，能有效克服鬼影和噪声干扰。

2.2前景检测

从第K+1帧起，对任一待分类像素点P(x，y)，计算其与M*(x，y)中样本的欧氏距离。为了加快检测速度，当已存在欧氏距离小于R的个数#等于分类阈值#min*时，便停止后续计算，该点即可判断为背景。否则，继续计算至结束，完成前景检测。

2.3前景检测背景模型更新

M*(x，y)中难免会抽到噪声和运动目标的灰度值，造成前景检测背景模型中存在两类样本。一类称为虚假样本(噪声和运动目标的灰度值)，另一类称为真实样本(真实背景像素的灰度值)。当模型中存在多个虚假样本时，易引起鬼影和空洞等现象，故模型更新时应尽快将虚假样本去除。若继续采用Vibe随机替换样本的策略更新前景检测背景模型，非但不能有效去除虚假样本，且前景像素被误判为背景时，该策略还可能将原模型中的真实样本替换掉，使更新后的背景模型可靠度更低。因此，本文提出一种替换虚假样本的更新机制。

虚假样本与真实样本的灰度值有较大差别，可用以下方法判定虚假样本：首先，计算前景检测背景模型中所有样本的灰度平均值；然后，计算每个样本灰度值与平均值的差值；最后，差值最大的样本视为该背景模型的虚假样本。

前景检测背景模型的更新方法：设时间二次抽样因子δ*=16，当像素被分类成背景时，以1/δ*的概率用该像素灰度值替换其背景模型中的虚假样本，以提高模型可靠度；并用该像素灰度值以1/δ*的概率替换其八邻域中随机选取的一像素背景模型的虚假样本，以保持空间一致性。

2.4阴影消除

Vibe没有考虑阴影对检测结果的影响，直接把阴影作为运动目标的一部分。而阴影的存在严重影响了对运动目标的后续理解。为提升Vibe的检测效果，本文增加了阴影消除环节。

常用的阴影检测的方法有基于灰度信息的方法[10]和基于纹理特征的方法[11]。如文献[10]通过快速归一化互相关函数(Fast Normalized Cross-Correlation，FNCC)利用像素灰度的线性关系，检测运动阴影。文献[11]根据阴影区域与对应的背景区域纹理相似，而前景区域的纹理变化较大的特点，用LBP纹理特征检测运动阴影。而单一方法检测阴影效果不佳。所以本文先用FNCC在前景检测所得感兴趣区域中，得到尽可能多的初步阴影区域，再对初步阴影区域进行LBP纹理特征分析，获最终阴影并去除。

下文将介绍如何建立并更新阴影检测背景模型，简介FNCC以及如何结合灰度和纹理信息消除运动阴影。

2.4.1改进均值法背景建模

传统均值法背景建模的主要思想：缓存M帧视频序列，计算相同像素位置前M帧的灰度平均值，作为该像素的背景值，从而建立整幅背景。它的缺陷是：M取值较大，且前M帧中不能出现运动目标，否则不能获得满意的背景。

对于视频图像中大多数像素点而言，其灰度值一段时间内通常在一个较小的范围浮动，只有当运动目标经过或噪声干扰时才会大幅跳变，如图2所示。

图2　像素灰度值在时间轴的分布

因此本文对均值法进行改进。统计每个像素位置前K帧中各灰度值出现的次数，选择出现最多的前n个灰度值，求其平均并取整，可用该值作为像素的背景值

(4)

式中：Ii(x,y)为点(x，y)处出现次数最多的前n个灰度值中的第i个。

多次实验表明，改进均值法能去除灰度跳变的影响，受前K帧中有无运动目标的干扰较小。当K取50，n取2时，能获取纯净的背景，如图3所示。

a　原始背景　　　　　　　b　改进均值法所得背景图3　背景图像

2.4.2阴影检测背景模型

要利用灰度和纹理信息检测阴影，就必须有一个确定的背景灰度值与当前帧灰度值做比较。而Vibe的背景模型是一个样本集，无法确定用哪个样本灰度值来比较。为解决这个矛盾，用视频前K=50帧图像构造一个基于像素灰度的阴影检测背景模型(Background Model Based on Pixel Gray，Bp)，专门用于检测阴影，Bp所有像素位置有且只有一个灰度值。

1) 初始化Bp：缓存视频前50帧图像，利用改进均值法建立一副纯净背景，用该背景的灰度值初始化Bp。

2) 更新Bp：当第Z帧某点(x，y)经过2.2节判断，被分类为背景点时，更新Bp

BpZ(x,y)=(1-φ)BpZ-1(x,y)+φIZ(x,y)

(5)

被分类为前景时，Bp保持不变

BpZ(x,y)=BpZ-1(x,y)

(6)

式中：Bpz(x，y)和Bpz-1(x，y)分别是第Z和Z-1帧中点(x，y)的阴影检测背景模型；IZ(x，y)是第Z帧中点(x，y)的灰度值；φ是Bp的更新率。

2.4.3FNCC简介

设每帧图像大小为M×N，C(x,y)是当前帧图像，B(x,y)是背景图像。定义以点(x,y)为中心、大小为(2L+1)(2L+1)的模板Tx,y

Tx,y=C(x+m,y+n),-L≤m(或n)≤L

(7)

式中：Csquare(x,y)和Bsquare(x,y)分别是当前帧和背景帧在点(x,y)处灰度值的平方；BCdata(x,y)是当前帧和背景帧在点(x,y)处灰度值之积。点(x,y)处的快速归一化互相关函数为

(8)

其中，

ER(x,y)=BCdata(x+L,y+L)-BCdata(x-L-

1,y+L)+BCdata(x-L-1,y-L-1)-

BCdata(x+L,y-L-1)

y+L)+Bsquare(x-L-1,y-L-1)-

Bsquare(x+L,y-L-1)

L)+Csquare(x-L-1,y-L-1)-Csquare(x+

L,y-L-1)

2.4.4阴影检测与去除

具体步骤如下：

1)当前帧经2.2节前景检测后，得前景区域记为ROIA。对ROIA中的每个像素及其模板范围内的点，在Bp中找到对应的背景灰度值。据文献[10]可知，若ROIA中某点(x，y)的灰度值低于对应背景灰度值，且FNCC接近1，即满足式(9)时，可判断该像素点为阴影点。所有阴影点组成初步阴影区域ROIB

(9)

式中：TFNCC是一个接近1的常数；EB(x,y)是背景图像能量函数；ETx,y是模板能量函数。

2)对ROIB中任一点及其八邻域点，在Bp中找到对应背景灰度值，计算ROIB中的点与对应背景点的LBP(8，1)二进制字符串的编辑距离。若编辑距离小于d，则该点为阴影点，得最终阴影区域ROIC。

3)真实前景区域为TF，则有

TF=ROIA/ROIC

(10)

经过以上步骤，可消除阴影干扰。最后显示检测结果。

3实验结果与分析

3.1实验结果定性分析

图4是HighwayI视频序列中第53帧的实验结果。图4b可以看出，Vibe检测结果中存在大量鬼影。这是因为该视频第一帧中就有前景目标，用第一帧初始化背景模型，前景位置处的模型由前景像素填充。前景离开后，真实背景像素与该模型无法匹配，从而产生鬼影。而其更新机制直到360帧仍未能将鬼影完全去除。同时，车辆的阴影也被误判成前景显示。鬼影和阴影严重影响检测的真实性。由图4c可知文献[8]算法消除了部分阴影，但依旧存在鬼影干扰。这是因为EVibe扩大了采样区域，虽避免了样本的重复选取，但模型初始化阶段依然抽取了大量车辆像素，鬼影依然存在。而图4d可知，本文算法在前景检测背景模型初始化完成后，能立马克服鬼影并消除大部分阴影和噪声干扰，检测结果更真实。

为了进一步对比算法的性能，对intelligentroom视频序列进行实验。该视频序列虽第一帧中没有运动物体，但依然存在噪声和阴影干扰。实验结果如图5所示。

图5b可以看出Vibe将大量阴影误判为前景，且背景区域有大量噪声。图5c可以看出，EVibe消除了部分阴影。图5d所示，DMVibe能有效去除阴影，几乎无噪声干扰。能消除噪声是因为前景检测背景模型初始化过程考虑了时域信息，使模型可靠度大大提高。

3.2实验结果定量比较

为了定量比较3种算法的性能，采用PCC(PercentageofCorrectClassification)参数作为量化指标。PCC代表在一帧图像中被正确识别的像素点的比例

(11)

式中：TP为正确检测为前景像素的数量；TN为正确检

a　第53帧图像　　　　　　　　　b　Vibe结果　　　　　　　　　c　EVibe结果　　　　　　　　　d　DMVibe结果图4　HighwayI实验结果

a　输入图像　　 　　　　b　Vibe结果　　　 　　　c　EVibe结果　　　　　 　d　DMVibe结果图5　intelligentroom实验结果

测为背景像素的数量；FN为误判成背景的前景像素的数量；FP为误判成前景的背景像素的数量。

表1和表2分别为HighwayI序列和intelligentroom序列在3种算法中的平均PCC和平均每帧处理时间。从中可以看出，DMVibe检测率最高，时间介于其他两种算法之间。比Vibe耗时是因为DMVibe用前50帧建立了两个背景模型，且在后处理中增加了阴影去除环节，算法复杂度比Vibe有所增加。综合考虑，本文算法提升了检测效果，且依然能满足实时要求。

表1平均PCC %

序列VibeEVibeDMVibeHighwayI89.1891.6896.26intelligentroom93.6295.7997.33

表2平均每帧处理时间s

序列VibeEVibeDMVibeHighwayI0.0210.0360.030intelligentroom0.0150.0290.021

4结语

本文提出一种基于双背景模型的改进Vibe运动目标检测算法。针对Vibe不能有效抑制鬼影和去除阴影干扰的问题，提出用前K帧建立两种背景模型：一种用于前景检测，通过扩大取样范围抑制鬼影产生，消除噪声干扰，并通过替换虚假样本更新该模型；另一种结合灰度和纹理信息去除阴影。实验结果表明，改进算法有更好的检测效果且满足实时要求。

参考文献：

[1]JOSHIKA，THAKOREDG.Asurveyonmovingobjectdetectionandtrackinginvideosurveillancesystem[J].Internationaljournalofsoftcomputing&engineering， 2012，2(3)：44-48.

[2]丁磊，宫宁生.基于改进的三帧差分法运动目标检测[J].电视技术，2013，37(1)：151-153.

[3]GOYETTEN，JODOINPM，PORIKLIF，etal.Changedetection.net：anewchangedetectionbenchmarkdataset[C]//IEEEComputerSocietyConferenceonComputerVision&PatternRecognitionWorkshops.Providence：IEEE，2012：1-8.

[4]ZIVKOVICZ.Improvedadaptivegaussianmixturemodelforbackgroundsubtraction[C]//Proc. 17thInternationalConferenceonPatternRecognition.[S.l.]：IEEE，2004：28-31.

[5]KIMK，CHALIDABHONGSETH，HARWOODD，etal.Real-timeforeground-backgroundsegmentationusingcode-bookmodel[J].Real-timeimaging， 2005，11(3)：172-185.

[6]BARNICHO，DROOGENBROECKMV.ViBe：auniversalbackgroundsubtractionalgorithmforvideosequences[J].IEEEtransactionsonimageprocessing，2011，20(6)：1709-1724.

[7]胡小冉， 孙涵.一种新的基于ViBe的运动目标检测方法[J].计算机科学，2014，41(2)：149-152.

[8]余烨，曹明伟，岳峰.EVibe：一种改进的Vibe运动目标检测算法[J].仪器仪表学报，2014，35(4)：924-931.

[9]JODOINPM，MIGNOTTEM，KONRADJ.Statisticalbackgroundsubtractionusingspatialcues[J].IEEEtransactionsoncircuits&systemsforvideotechnology，2007，17(12)：1758-1763.

[10]王晓冬，霍宏，方涛.基于快速归一化互相关函数的运动车辆阴影检测算法[J].计算机应用，2006，26(9)：2065-2067.

[11]LEONEA，DISTANTEC.Shadowdetectionformovingobjectsbasedontextureanalysis[J].Patternrecognition，2007，40(4)：1222-1233.

周超康(1992— )，硕士生，研究方向为机器视觉、视频分析；

战荫伟(1966— )，硕士生导师，研究方向为压缩感知、小波分析等；

冯开平(1963— )，硕士生导师，研究方向为数字媒体、虚拟现实等。

责任编辑：时雯

Improved Vibe algorithm for moving target detection based on double background model

ZHOU Chaokanga， ZHAN Yinweib， FENG Kaipina

(a.SchoolofElectro-mechanicalEngineering；b.SchoolofComputerScienceandTechnology，GuangdongUniversityofTechnology，Guangzhou510006，China)

Abstract:Aiming at the problem that traditional Vibe can′t restrain ghost and remove shadow interference，an improved method is proposed. Cache pre-K-frame image information of video，the method of random sampling and improved average is used to build two background model for foreground detection and shadow removal respectivel. Expand the range of sample extraction in foreground detection phase to improve the model’s reliability， then ghost is restrained. Foreground detection model is updated by replacing the false sample. To the interested foreground region obtained before， combine gray with LBP texture feature information to eliminate shadow. Experimental results demonstrate that the improved algorithm can effectively restrain ghost， remove shadow interference，and make the test results more accurately.

Key words:moving target detection；Ghost； shadow remover； Vibe； LBP

中图分类号：TP391.4

文献标志码:A

DOI：10.16280/j.videoe.2016.04.006

基金项目：广东省科技计划项目(2014B040401012；2014J4100204)；高等院校学科建设专项(12ZK0362)

作者简介：

收稿日期：2015-11-10

文献引用格式： 周超康，战荫伟，冯开平.基于双背景模型的改进Vibe运动目标检测算法[J].电视技术，2016，40(4)：27-31.

ZHOU C K， ZHAN Y W， FENG K P. Improved Vibe algorithm for moving target detection based on double background model [J].Video engineering，2016，40(4)：27-31.