基于双背景模型的鬼影抑制方法研究

闫　硕　陈科山

(北京交通大学机械与电子控制工程学院　北京 100080)



基于双背景模型的鬼影抑制方法研究

闫硕陈科山

(北京交通大学机械与电子控制工程学院北京 100080)

摘要针对双背景模型下的鬼影检测及抑制问题，提出预处理操作、基于区域生长的鬼影检测方法和背景更新抑制鬼影。首先预处理，为了抑制第一帧出现的鬼影，同时建立准确的背景；其次，利用鬼影在当前帧和背景帧的区域生长大小不一致来检测鬼影；最后针对包含鬼影目标的背景图像进行背景更新，快速还原背景，抑制鬼影再现。实验结果证明，该方法适应环境能力强，能准确检测出鬼影，并且背景更新效果好，能快速抑制鬼影。

关键词鬼影检测区域生长背景更新

0引言

智能视频监控系统的安防领域中，目标检测扮演了一个非常重要的角色。基于背景差法[1-3]的运动目标检测过程中，处于背景中的物体突然离开(如停驶车辆的突然离开)，背景未能及时更新，也会被检测为运动目标，本文将在这种情况下被检测为运动目标的像素点成为鬼影。根据上述信息可知，基于背景差分法的运动目标检测得到的前景目标中不仅包含运动目标，也会包含鬼影，针对这个问题，就需对鬼影进行检测抑制，避免对运动目标的误检测行为。

目前，已有的鬼影检测方法主要有以下几种：文献[4]中提出了利用三帧差预处理法来抑制鬼影出现并更新背景图像。帧间差分法好处是不会产生鬼影，只需对背景图像进行更新，但是此预处理方法中的背景更新是针对一个背景模型，通过获得运动目标的位置，填充背景图像中此位置的像素信息更新背景。基于帧差法的运动目标检测得到的是目标轮廓，且轮廓效果不是很好，尤其是当目标轮廓较复杂时，更不利于后期的填充工作。文献[5]提出了基于颜色特征的检测方法，通过比较背景图像和当前帧的鬼影区域的颜色直方图相似性来检测鬼影，该方法比较简单，要求背景和静态物体的颜色都比较纯粹，适用范围小。文献[6]提出了基于轮廓特征的检测方法，对当前帧和背景帧区域进行轮廓形状匹配来检测鬼影，该方法不适应背景轮廓复杂的场景，易误检。

图1　算法流程图

另外，上述文献主要是针对单个背景模型的鬼影检测，且未区别对待视频第一帧时物体移动产生的鬼影和视频中间出现的鬼影，当环境较复杂时，如视频开始时，突然移动的物体较多，且会与其他目标之前的位置重叠，这两种鬼影抑制方法效率低。本文主要研究双背景模型下的鬼影检测及抑制，针对视频开始出现的鬼影，主要是通过背景初始化来抑制鬼影出现；对视频中间出现的鬼影提出了一种基于双背景模型的鬼影抑制法，主要是根据鬼影和遗留物在快慢背景模型得到的前景像素上表现一致，因此提出基于区域生长的方法对鬼影和遗留物进行分类，不仅能准确检测到鬼影，且可处理遮挡情况。同时对背景及时更新消除背景图像中的假目标，避免持续检测到鬼影。具体算法流程见图1所示，并对这两种基于颜色特征分类方法进行对比分析，基于区域生长的方法检测准确率更高。

1预处理

本文主要是研究固定摄像机的视频监控，一般情况下是直接采用第一帧作为背景，但是这种方法不仅受光照变化的影响，且当第一帧有大量运动物体存在时，会产生鬼影，且鬼影检测及消除的难度较大，因此不能用于复杂环境及光照变化的环境。图2为直接采用第一帧作为背景进行运动目标检测的结果，其中(a)为当前帧图像，(b)为以第一帧作为背景图像，(c)为运动目标检测得到的前景图像，其中灰色椭圆框标示运动目标，灰色矩形框标示鬼影。可见当视频第一帧有物体运动，会产生鬼影。

为了尽量减少由于第一帧而产生的鬼影对运动目标的检测的影响，本文提出预处理操作——背景初始化，能有效抑制鬼影并建立背景图像。背景初始化的主要步骤如下：

1) 以第一帧作为背景图像建立混合高斯模型。

2) 设置较大的学习率α及训练样本数N，根据混合高斯背景更新对前N帧进行快速背景更新，得到背景图像。

图2　第一帧鬼影检测结果图

本文预处理是以牺牲前N帧来构造一个较逼真的背景图像，避免了视频第一帧出现鬼影现象，也为后续目标检测及鬼影检测提供了更精确的背景图像，提高运动目标检测准确率。

2双背景目标检测

2.1混合高斯背景建模

采用背景减除法来获得运动目标，其中背景模型的建立采用由Stauffer和Grimson提出的混合高斯建模方法。某一时刻t的像素点X的概率可根据下式求得：

(1)

其中，K为高斯分布的个数；W(i,t)为第i个高斯模型的权重值；μ(i,t)为第i个高斯模型的均值；σ(i,t)为第i个高斯模型的方差；η为为第i个高斯模型的概率分布函数，可表示为下式：

(2)

其中，n为像素点的色度维数。

建立好模型后，对相关参数进行初始化，主要的参数是W、μ、σ。下面进行重要的一步更新背景模型。背景模型的更新主要是更新各个高斯函数的参数和各高斯分布的权重值，并按照权重值各高斯分布进行重新排序。当新的一帧图像到来时，就要将当前帧的各个像素值与已建立的K个高斯分布分别进行匹配，公式如下：

(I(x,y,t)-μk(x,y,t-1))2

(3)

如果像素点满足此公式则该像素点与第k个高斯模型匹配，否则则不属于高斯模型，这就相当于出现了野点(即必为前景点)。分别对这两种情况进行参数更新。

对于匹配的情况，需根据下面的公式进行前景点各背景点的判定，公式如下：

(4)

2.2像素点分类

本文主要是研究基于双周期背景模型[7-9]的鬼影检测及抑制方法，因此采用双周期混合高斯背景建模检测运动目标，其中双周期背景建模主要是指一个快速更新的高斯背景模型和一个慢速更新的高斯背景模型。分别得到快速更新高斯模型的前景模板FL和慢速更新高斯模型的前景模板FS，再根据表1所示，将两个前景模板像素点进行分类，做与操作，得到静态前景模板，其中静态前景模板中包括运动后滞留的物体(即遗留物)和鬼影。因此后续研究只需对遗留物和鬼影分类即可检测到鬼影。

表1　根据FL和FS判断某像素类型

3鬼影检测

3.1基于区域生长的分类检测

鬼影来源与最初的背景，最后与背景分离而导致的；而遗留物则因运动目标滞留而融入背景，最终成为背景的一部分。基于上述考虑，在获取了静态前景模板的基础上，若以静态前景模板为基础，分别在当前帧和背景帧进行模板收缩后的再生长，模板在不同层的再生程度愈大，就意味着静态前景区与该层的相容程度愈大。所以，根据此相容程度构建鬼影检测准则：如果某静态前景区域与背景图像的相容程度大于它与当前帧的相容程度，则将该静态前景物决策为滞留目标；反之，如果其与背景图像上的相容程度小于它和当前帧的相容程度，则将此静态前景物体决策为移走目标。

本文根据区域生长算法，针对双背景模型的特性，长周期背景模型更新速率慢，短周期背景更新速率快，鬼影在长周期背景图像和短周期背景图像的区域生长大小不同，来检测鬼影，见图3，具体思路如下：

(1) 基于腐蚀运算的前景模板收缩。使各区域目标边界向内收缩，同时可以去掉尺寸小于结构算子的小型目标。

(2) 区域生长。选取暂时静止区域为种子点，设定生长准则，不断判断8邻域的像素点是否满足生长准则，不满足则停止生长。

(3) 鬼影检测判决。根据静止区域在长周期背景图像和短周期背景图像中的区域生长大小来判定鬼影和遗留物。如果此暂时静止区域在长周期背景图像中再生长的区域小于此区域在短周期背景图像中再生长部分，则判定此静态前景区域为鬼影；反之，则此静态前景区域为遗留物。

图3　基于区域生长的鬼影检测流程图

图4为区域生长方法分类的具体过程示意图。(a)和(b)分别为第2143帧物体被移动图像和当前帧，(c)是长周期背景图像，(d)是短周期背景图像，(e)是获得的暂时静止区域二值图，(f)和(g)分别是对(e)在长周期背景图像和短周期背景图像进行区域生长后的效果二值图。我们可以清楚的从图3中看到(f)的区域面积明显小于(g)中的区域面积，因此判定区域为鬼影。反之，则为遗留物。

图4　区域生长方法分类例子

3.2鬼影背景更新

慢速更新的混合高斯背景学习率低(即长周期背景模型)，以至于突然离开的物体不能及时更新，造成鬼影会被持续检测到，从而影响整个监控系统的处理效率，且当有新目标经过未更新区域时将无法检测到目标。因此，检测到鬼影要及时更新背景图像，进行鬼影抑制。本文采用中值滤波背景更新法，主要步骤如下：

1) 建立一个缓冲器存放连续K帧视频图像。

2) 对缓冲器中图像的每个像素点颜色值按从大到小排序，取每一个像素点在缓冲器中的中值。

3) 鬼影区域用得到的像素中值填充，对于非鬼影区域则根据背景更新公式渐变更新。更新公式如下：

Bt(x,y)=(1-α)Bt-1(x,y)+αM(x,y)

(5)

当检测到鬼影时，用存储的连续样本图像快速填充鬼影区域；对于非鬼影区域，中值滤波更新方法实现背景更新。

4实验结果与分析

4.1实验结果

根据本文算法，在VS2010编程环境下，内存为2 GB，主频为2.0 GHz的PC机上，对PETS2007数据集和采集的实验监控视频做测试。图5采用PETS2007中的视频，视频中由于作为背景的包裹被移动后，背景的未及时更新会持续检测到鬼影,使用本文方法检测鬼影及背景更新结果，其中(a)为长周期背景图像，黑色包裹在背景中，包裹移动后由于未及时更新则为错误的背景，(b)为短周期背景图像，(c)为第2143帧，黑色包裹被移动，(d)是根据本文鬼影检测算法，在第2351帧检测到的鬼影(黑色方框内的区域)，(e)采用本文提出的背景更新法得到的正确长周期背景图像。实验2是室内监控视频，同实验1对作为背景的包裹移动产生的鬼影做检测和抑制，结果见图6所示。

图5　实验1结果图

图6　实验2结果图

4.2对比分析

本文研究了文献[4]基于三帧差法的鬼影抑制方法，该方法处理速度快，但得到的运动目标轮廓效果不好，且当运动物体轮廓复杂时，得到目标轮廓不是封闭的，背景填充效果不好，不利于背景更新，因此背景更新后的效果并不好。图7为两种方法的更新效果对比，视频是一名男子突然走动，导致出现鬼影，(a)是初始帧，(b)是三帧差法得到的运动目标轮廓，可见轮廓没闭合，且部分轮廓没检测到，背景无法填充，(c)是三帧差法更新后的背景图，其中黑色方框内为更新部分，其他部分无法更新，(d)是本文预处理后得到的背景图，可见更新效果好。

图7　三帧差法效果图

本文也研究了文献[5]基于颜色直方图相似性鬼影检测方法，该方法主要是通过比较背景图像和当前帧的鬼影区域的颜色直方图相似性来检测鬼影。图8中采集的视频光照环境较暗且包裹颜色也较暗，情况较复杂不易检测，分别采用文献[5]方法与本文算法进行对比分析，基于颜色直方图相似性的方法，得到的直方图相似度仅为0.578，漏检，标记为白色，而本文算法则可以准确地检测出鬼影，标记为黑色，如图8所示。由此可见，基于颜色直方图相似性方法鬼影受环境影响较大，检测准确率不高。

图8　直方图相似性法与本文方法鬼影检测结果对比图

文献[6]为基于轮廓匹配的鬼影检测法，在简单场景中，检测效果较好，但在背景轮廓也较复杂的场景下会误检。如图9所示，轮廓较复杂的场景，其中(a)为初始背景帧，(b)是第517帧将包裹拿走，(c)为基于轮廓匹配方法检测结果，轮廓匹配相似度小于设定阈值，产生误检，(d)为本文方法检测结果。

图9　轮廓匹配法与本文方法检测结果对比图

同时，基于颜色相似性方法和基于轮廓匹配的方法，不能处理遮挡情况，但本文方法可不受遮挡影响。如图10所示，(a)为单背景模型采用的背景图像，也为双背景模型中的短周期背景图像，(b)为第2143帧物体被移走，第2673帧人遮挡了移动物体位置，(c)和(d)表明基于颜色直方图法和基于轮廓匹配法都检测错误，而本文方法利用长短周期背景图像，未与当前帧匹配，因此可正确检测，如(f)所示。

图10　遮挡情况下三种方法的效果对比图

5结语

从上面的分析比较中可以看出，三帧差法的背景更新效果受帧处理步长及轮廓复杂度的影响，更新效果并不好。基于颜色直方图相似性分类法受光照等环境影响较大，适用于背景颜色效果好的场景。基于轮廓匹配方法受背景信息影响较大，适用于背景轮廓较简单的场景。且两种方法均不能处理遮挡问题。而本文提出的基于区域生长的分类方法针对双背景模型鬼影检测，检测准确率高，环境适应性强，能处理遮挡问题，背景更新效果好。

参考文献

[1] Avidan S.Support vector tracking[J].IEEE Trans on Pattern Analysis and Machine Intelligence,2004,26(8):1064-1072.

[2] Learnedmiller E G,Sevillalara L.Distribution fields for tracking[C]//Proc of IEEE Conference on Computer Vision and Pattern Recognition,2012:1910-1917.

[3] Oron S,Barhillel A,Levi D,et al.Locally orderless tracking[C]//Proc of IEEE Conference on Computer Vision and Pattern Recognition,2012:1940-1947.

[4] 胡小冉,孙涵.一种新的基于ViBe的运动目标检测方法[J].计算机科学,2014,41(2):149-151.

[5] 李晓娟,李佳田,何育枫.目标相似度量的鬼影抑制方法[J].计算机应用研究,2014,31(3):926-928.

[6] 王伟嘉,刘辉,莎莉,等.滞留与偷窃物体实时检测与分类算法[J].计算机应用,2007,27(10):2591-2594.

[7] Stauffer C,Grimson W E L.Adaptive background mixture models for real-time tracking[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.IEEE Computer Society,1999:246-252.

[8] Tian Y L,Lu M,Hampspur A.Robust and Efficient Foreground Analysis for Real-time Video Surveillance[C]//Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.CVPR 2005,2005:1182-1187.

[9] Li X,Zhang C,Zhang D.Abandoned objects detection using double illumination invariant foreground masks[C]//20thinternational Conference on Pattern Recognition,2010:241-250.

GHOSTING SUPPRESSION METHOD BASED ON DUAL BACKGROUND MODEL

Yan ShuoChen Keshan

(SchoolofMechanical,ElectronicandControlEngineering,BeijingJiaotongUniversity,Beijing100080,China)

AbstractAiming at the problem of ghosting detection and suppression under dual background model, we propose following methods: preprocessing, ghosting detection based on regional growing and ghosting suppression based on background update. Preprocessing is our first step so that we can restrain the ghosting occurring in first frame and build an accurate background. Then, we detect the ghosting by using different sizes of regional growing of the ghosting in current frame and in background frame. Finally, we update the background for the background image containing the ghosting object, and rapidly restore the background to restrain the recurrence of it. Results of experiment show that these methods can accurately detect ghosting with good effect of background update, and can fast suppress ghosting.

KeywordsGhosting detectionRegional growingBackground update

收稿日期：2014-12-03。闫硕，硕士，主研领域：目标检测，目标识别。陈科山，教授。

中图分类号TP391.41

文献标识码A

DOI:10.3969/j.issn.1000-386x.2016.05.040