基于像素自适应分割背景建模的鬼影去除算法

魏 伟 朱栋华

(沈阳建筑大学信息与控制工程学院 沈阳 110168)

基于像素自适应分割背景建模的鬼影去除算法

魏 伟 朱栋华

(沈阳建筑大学信息与控制工程学院 沈阳 110168)

针对基于像素的自适应分割检测算法在建立背景模型时容易产生鬼影的问题,根据背影视觉提取算法中相邻像素点拥有相近像素值的空间分布特性,将待定的前景像素值与邻域像素值的差值通过加权比较其与自适应阈值的大小,来确定该像素点是前景像素点还是鬼影像素点。若为鬼影像素点则判定为背景像素点,并更新其背景模型。通过对前景像素点的二次判断,达到迅速去除鬼影的目的。实验结果表明,改进后的算法相比于原算法能更快速地去除鬼影。

鬼影去除;像素自适应分割;背景建模;运动目标检测

1 引 言

运动目标检测算法[1]可以对视频中感兴趣的目标进行实时的检测、识别,是进行视频后续智能处理的重要依据。通过检测可以将运动目标从视频序列的图像背景中分离出来,能否准确地检测出监控场景中的运动目标直接影响后续目标跟踪和行为分析等的效果。因此,作为计算机视频处理基础环节的运动目标检测具有非常重要的意义。

基于像素的自适应分割(Pixel-Based Adaptive Segmenter,PBAS)检测算法[2]是Hofmann等在2012年提出的。该算法结合样本一致性背景建模(Sample Consensus,SACON)和视觉背景提取(Visual Background Extractor,VIBE)两种算法的优势,并进行了一些细微的改进,在检测性能上优于SACON和VIBE。但PBAS算法在背景建模初期容易产生鬼影,虽然原算法利用变参数的更新率进行调节,但效果并不明显。鬼影持续时间长、对前期检测影响大的问题仍需要进一步研究解决。

目前已有不少对鬼影判别方法研究的成果,如 Cucchiara等[3]利用时空差分方程近似计算前景像素点的光流,通过确定每个前景点集的平均光流来区别运动目标和鬼影;Cheung等[4]利用Kalman滤波更新背景进而区分出运动目标和背景,通过检查前景点集的帧差是否小于阈值来判断鬼影;吴亮等[5]提出基于直方图匹配的鬼影检测算法,利用了鬼影点集边缘像素与邻近背景区域像素分布相似而与运动目标点集相反的基本特性。以上方法大部分都涉及到阈值选取的问题,适应性较差。本文受Barnich等[6]的研究成果启发,利用相邻像素点具有相近像素值的空间分布特性,得出鬼影像素值应与背景像素值相近这一理论,并据此提出了基于加权阈值判断的鬼影去除算法,具有较强的自适应性。实验表明,与原算法及其他鬼影检测算法相比,该算法能更快速地去除鬼影。

2 PBAS算法

PBAS检测算法构建了像素的无参数模型。与VIBE算法相比,它引入控制论的思想和背景复杂程度的度量方法,使前景判断阈值和背景模型更新率可随背景复杂程度自适应变化。主要步骤如下:

(1)建立背景模型

收集前N帧的像素以及梯度幅值,利用下列公式建立背景模型:

(2)检测前景

计算样本集合中满足匹配条件的样本个数,若当前像素值I(xi)与背景模型中样本值Bk(xi)的距离小于给定的阈值R(xi),则记为一个匹配。如果匹配个数小于最小值#min,则将前景分割掩模F(xi)记为1表示前景,否则为背景。公式如下:

(3)更新背景模型

对于被判定为背景点的像素,要对该像素对应的PBAS模型及其邻域像素的PBAS模型更新。

设定更新率为T(xi),即某像素点被判定为背景点后,有1/T(xi)的概率更新其背景模型及邻域模型。用当前像素值I(xi)随机替换背景模型Bk(xi)中的一个值;用当前的邻域像素值V(yi)来随机替换邻域背景模型Bk(yi)中的一个值。

(4)选取自适应调整判断阈值R(xi)及更新率T(xi)

3 基于加权阈值判断的鬼影去除算法

鬼影出现是运用背景差分法进行运动目标检测时经常遇到的问题。当对背景初始化建模时,运动目标可能处于背景中,它们运动后会产生鬼影;当场景中运动目标由运动变为静止后再开始运动,也会产生鬼影;背景中遗留的物体或者停止运动的运动目标也会产生类似鬼影的情况。PBAS算法采用前N帧像素以及梯度幅值作为背景模型,虽然建模较快,但初始化过程会导致鬼影的产生。原 PBAS算法试图利用变参数的更新率T(xi)进行调节,但效果并不明显,容易将前景目标错误地当成背景点来建模,导致当前景目标离开后,伪背景点无法与真正的背景点相匹配,背景点被误判断为前景点,从而产生鬼影。若不能解决该问题,将对跟踪和识别等后续工作带来致命的影响。

3.1 基本思想

根据Barnic等[6]提出的理论:由相邻像素点的时空一致性原则,相邻的背景模型值也应具有相似的时空分布。鬼影点与其邻域背景模型的匹配程度高,表明其为真正的背景点,即可与前景点区别开来。本算法计算鬼影像素值与其8邻域像素值的RGB空间色差的平均值,若小于自适应最小值域#min,则认为其是前景;否则当作背景来处理,并及时更新背景模型。这样便可以对鬼影起到很好的抑制作用。

由于鬼影区域与周围的背景模型具有相似的颜色像素值,在鬼影区域与背景模型的临界像素点中,这些临界的背景像素值更趋向于匹配真实的背景图像,而不是向着鬼影区域扩散。这表明鬼影像素值向背景像素值的转变是单向不可逆的,从而保证了算法的有效性。

首先利用背景模型B(xi)对输入像素值I(xi)进行目标检测,通过判断阈值R(xi)的比较,若判定为背景则以1/T(xi)概率更新其背景模型及邻域模型;若判定为前景,则进行鬼影检测,再次进行判定:若为前景,则直接输出;若为背景,则更新背景模型,方法与目标检测部分相同。与PBAS算法相结合,鬼影检测算法流程如图1。

图1 基于PBAS算法的鬼影检测算法流程图Fig.1 The flowsheet of ghost detection algorithm based on PBAS algorithm

3.2 检测过程

(1)建立色差模型

由于前景物体边界所呈现出的颜色通常与其周围背景模型中储存的背景样本差异很大,因此采用码本模型[8](见图2):以圆锥模型计算色差代替原来的几何距离计算方法,效果更加显著。各计算公式为:

其中,Xi为输入像素点;Vi为码字集合。

图2 码本模型Fig.2 Codebook model

图3 Xt的8邻域色差模型Fig.3 Eight neighborhood color model ofXt

(2)求色差的平均值

由于计算机对每一帧图片的扫描都是由上至下、由左至右的顺序,我们可以认为在处理像素点Xt时,S1、S2、S3、S4这四个色差代表的像素点已经过处理,即便是鬼影像素点,此时也已经被处理为背景点,并更新其背景模型。因此这四个邻域像素点置信度较高;此时后面四个点并未判断,不能简单的把这四个点当作背景点处理,否则有可能引起误判。在这里我们引入加权求平均值的方法,对置信度较高的S1、S2、S3、S4这四个点引入一个高权值,其余四个点引入一个低权值。公式如下:

(3)自适应阈值判定鬼影像素点

在判定阈值时,采用自适应阈值,阈值大小与样本集的方差成正比,样本集方差越大,说明背景越复杂,判定阈值应该越大。令最小判断阈值

其中,

(4)更新背景模型

经过本文算法,鬼影像素值被二值化为前景像素值或背景像素值。若为前景像素值,则直接输出;若为背景像素值,此时更新其背景模型,以便进行后续鬼影像素点的判断。通过对前景像素值的二次判断,达到了快速去除鬼影的目的。

4 实验结果

本文的实验环境为结合 OpenCV2.4.8的VS2010C++,运行在SONY笔记本电脑上,处理器为i5,2G独立显卡。视频场景来自IBM人类视觉研究中心的视频序列。视频的帧率为25帧/秒,视频图像大小均为352×288像素。分别将本文改进算法与原PBAS算法及其他鬼影算法相比较,以此来说明本算法的性能。

4.1 本文改进算法与原 PBAS 算法的比较

在视频场景1中(如图4所示),当视频运行到105帧的时候,采用PBAS算法可以明显地看到鬼影的存在。第476帧的时候本文的改进算法相比原算法对鬼影的抑制起到了很好的效果。第698帧时原算法仍有鬼影的存在;本文的改进算法已经完全去除了鬼影带来的影响,而PBAS算法在第1294帧的时候才基本去除鬼影。

由表1中两个算法平均每帧处理时间可知,本文的改进算法在处理时间上并没有显著的增加,完全满足实时性的要求。

表1 两种算法处理速度对比Table 1 Comparison of the processing speed about two algorithms

图4 本文改进算法与原PBAS算法的鬼影处理效果对比Fig.4 Comparison of the improved algorithm and the original PBAS algorithm on treatment efficiency of ghost

4.2 本文算法与其他鬼影判别算法的比较

在视频场景2中(如图5所示),将本文改进算法与Cucchiara等[3]采用的光流法及吴亮等[5]采用的直方图匹配判别鬼影的方法作对比。提取视频第480帧和690帧两幅图像,可以看出光流法对鬼影的抑制能力最弱,从第480帧到690帧的间隔时间里,鬼影并没有得到有效改善,而且对光照的变化也很敏感;与光流法相比,基于直方图匹配的鬼影检测算法有明显的改善,但是对缓慢运动或停止运动的目标比较敏感,可以明显看出图像右下方的进车栏杆在起降后被划为背景;而本文提出的改进算法则解决了这些问题,从第690帧的图像可以看出,本文算法高效地提取出了前景。

图5 本文改进算法与其他鬼影检测算法的比较鬼影处理效果对比Fig.5 Comparison of this improved algorithm and other ghost detection algorithms on treatment efficiency of ghost

本文引用Elhanian等[9]在图像处理领域使用最广泛的测试二值分类性能的正确分类百分比函数(PCC),如公式(12):

其中,TP是正确分类为前景像素点的个数;FP是被错误分类为前景像素点的背景像素点个数;TN是正确分类为背景像素点的个数;FN是被错误分类为背景像素点的前景像素点个数。引用Van Droogennroeck等[7]的经验值,当本文算法的最小判断阈值#min为[20,40]时有良好的匹配效果。经过对数据的反复比对,在本文中令置信权值,利用Matlan仿真可以看出此时判断鬼影的准确率在85%以上,如图6所示。

图6 本文算法的准确率曲线Fig.6 The curve of accuracy on this algorithm

针对以上2段视频,将本文改进算法与其他两个鬼影检测算法进行对比实验,列出了3种不同检测算法的性能,如表2所示。从实验结果可以看出,本文改进算法的鬼影检测率与其他算法相比有明显的提高。

表2 不同鬼影检测算法的检测性能比较Table 2 Comparison of different ghost detection algorithm on detection performance

5 总 结

通过对PBAS前景检测算法进行比较系统的研究,发现其在背景建模后对鬼影抑制效果不佳,不能很快地去除鬼影。针对这个问题,本文提出了一种基于加权阈值判断的鬼影去除算法。该算法可以更迅速地去除鬼影带来的干扰,使下一步对目标的跟踪更加精确。与原算法及其他鬼影检测算法在鬼影去除时间与效果、算法处理时间及准确率等几个方面的比较结果表明,本文算法在保证实时性的同时去除鬼影的效果更加理想,鬼影的检测率更高,实用性更好。未来本文算法也可以作为计算机视觉公司对目标进行提取时的通用算法,并有望在设计智能视频监控系统时得到广泛的应用。

[1] 万卫兵,霍宏,赵宇铭.智能视频监控中目标检测与识别[M].上海:上海交通大学出版社,2010: 44-45.

[2] Hofmann M,Tiefennacher P,Rigoll G.Background segmentation with feednack:the pixel-nased adaptive segmenter[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops,2012:38-43.

[3] Cucchiara R,Grana C,Messimo P,et al.Detecting moving onject,ghosts,and shadows in video streams [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2003,25(10):1337-1342.

[4] Cheung SC,Kamath C.Ronust nackground suntraction with foreground validation for urnan traffic video[J].EURASIP Journal on Applied Signal Processing,2005,14(1):1-11.

[5] 吴亮,周东翔,范才智,等.基于直方图匹配的鬼影检测算法 [J].计算机工程与科学,2008, 30(7):57-60.

[6] Barnich O,Van Droogennroeck M.ViBe:a universal nackground suntraction algorithm for video sequences[J].IEEE Transactions on Image Processing,2011,20(6):1709-1724.

[7] Van Droogennroeck M,Paquot O.Background suntraction:experiments and improvements for ViBe[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops,2012:32-37.

[8] Kim K,Chalidanhongse TH,Harwood D.Realtime foreground-nackground segmentation using codenook model[J].Real-Time Imaging,2005, 11(3):172-185.

[9] Elhanian SY,El-Sayed KM,Ahmed SH.Moving onject detection in spatial domain using nackground removal techniques-state-of-art[J].Recent Patents on Computer Science,2008,1(1):32-54.

A Ghost Removal Algorithm Based on Pixel-Based Adaptive Segmenter

WEI WeiZHU Donghua
(College of Information and Control Engineering,Shenyang Jianzhu University,Shenyang110168,China)

It is pronanle that ghost would ne produced when nackground model is estanlished with pixel-nased adaptive segmenter algorithm. According to the theory that adjacent pixel points have similar pixel values in spatial distrinution in VIBE algorithm, the difference of foreground pixels was computed which are judged in the first time and the neighnorhood pixel. Then the difference and adaptive threshold value were compared through weight to determine whether the pixel is foreground pixel point or ghost which will ne judged as nackground pixel. At last the nackground models would ne updated. Through twice judgments of the foreground pixels, the ghost would ne removed quickly. The experiment results show that the improved algorithm removes the ghost faster than the original method.

ghost removal； pixel-nased adaptive segmenter； nackground model； motion detection

TP 391.41

A

2014-04-18

:2014-08-12

魏伟(通讯作者),硕士研究生,研究方向为控制理论与控制工程,视频运动目标检测与跟踪,E-mail:secretnlr@163.com;朱栋华,硕士生导师,研究方向为智能控制技术,建筑智能化与节能控制技术。