视频前景提取算法研究

李键+丁学明

摘 要：为了改善常用视频前景提取算法提取到的前景目标存在噪点、空洞，以及边缘不够平滑等缺点，提出对提取到的前景目标图片先进行中值滤波去除噪声与背景波动的干扰，再对图片进行开运算，以减少目标空洞并平滑目标边缘的改进方法。在静态背景下选用单高斯模型和RPCA方法、在动态背景下选用混合高斯模型方法，并加上提出的改进方法进行对比试验。实验结果表明，提出的方法能很好地解决常用算法存在的上述问题，充分证明了该方法的有效性。

关键词：视频前景提取；开运算；中值滤波

DOIDOI：10.11907/rjdk.172848

中图分类号：TP312

文献标识码：A 文章编号：1672-7800（2018）002-0053-03

0 引言

近年来，随着城市化的快速推进，城市人口急剧增加，各种治安突发事件层出不穷，交通事故也显著增多，给城市治安带来了很大压力。监控摄像头能帮助记录不法事件，从而有效减少违法事件的发生。因此，现在各大城市都在完善摄像头监控的部署，以加强对治安、交通的管控。而且随着文明城市建设等政策的推进，人们的安防意识不断加强，学校、办公楼、工厂等场合的摄像头也呈指数型增长。未来随着城市化的进一步推进及各个行业规范管理的落实，监控摄像头的数量还将继续增长。

面对大量监控摄像头，若每个摄像头都指派专人监守在视频画面前，会耗费大量人力物力，给各行业带来了不小的成本开销。并且当监守人员疲劳过度或出現其他身体不适时，可能会造成漏报、误报等情况，从而造成很大损失。警察在侦察破案时，需要查看监控视频获取犯罪分子行踪，若监控视频数据量很大，从视频中获取有用信息将耗时又费力，甚至会延误破案时机。因此，采用智能的视频处理技术协助人们处理这些海量的视频数据是非常必要的。视频前景提取技术是视频处理中的一种常用技术，通过提取视频中有效的目标前景，去除背景干扰，若视频帧中无目标情景则可判定为无效帧，从而对视频进行筛选，可达到减少工作量的目的。

1 视频前景提取

视频前景提取是计算机视觉领域中的一个重要研究方向，其目的是将视频中运动的、人们关心的目标与背景分离，以提取视频中的有用信息。目前关于提取前景目标的算法很多，最常用的就是帧差法[1]，可通过前后帧的差得到运动信息，如Ridder[2]提出一种基于卡尔曼滤波的目标前景提取模型，Elgammal[3]提出一种无参数的前景提取算法，KaewTrakulPong[4]提出关于背景建模的前景提取方法，Davis[5]提出一种关于历史运动图的方法。但这些算法在视频前景提取上还有很多不足，存在提取的目标边缘比较粗糙、噪点多、目标物存在空洞等问题。

本文选取了目前在视频前景提取中效果较好的几种方法，针对上述算法存在的不足作相应优化，并分别在静态和动态背景下进行了实验，分析各算法的优劣以及各算法适用的场景。

2 静态背景

当相机视角固定，摄像机稳定拍摄，此时获得的视频背景为静态，此过程只有目标相对摄像机的运动，可采用背景建模法[10-12]。该方法的基本思路是先获得背景模型，再利用当前帧与背景模型作差。若像素差值超过了设定阈值，则认为该像素属于运动区域，相反则属于背景区域。本文采用单高斯模型与RPCA两种静态背景下的常用方法进行试验。

2.1 单高斯模型

假设图像中的像素（a，b）处的灰度值Xa，b都是相互独立且服从唯一正态分布，即：

μa，b表示点（a，b）处的像素均值，σ2a，b表示（a，b）处的像素方差。如果某个像素点的概率小于阈值，则判定该点为背景点，否则为前景点。当像素点被判定为前景点时，背景保持不变，当像素点被判定为背景点时，更新公式如下：

2.2 RPCA

在进行背景建模时，可以将每一个视频帧的像素值变成一个列向量保存在数据矩阵D中。在静态背景情形下，背景很稳定，背景帧之间具有很大的相似性，因此由静态背景像素组成的矩阵具有低秩特性[6]。同时由于目标前景是短时移动的物体，占据的像素比例较低，所以只有前景像素组成的矩阵具有稀疏特性。

RPCA是一种鲁棒主成分分析（Robust PCA）[7]，是背景分离中的一个常用算法。其考虑的是这样一个问题：数据矩阵包含结构信息，也包含噪声，可以将这个矩阵分解为两个矩阵相加，一个是低秩的，因为内部有一定的结构信息，造成各行或列间线性相关。另一个是稀疏的，因为其中含有噪声，而噪声是稀疏的。

视频的数据矩阵D可看作是这两个矩阵的叠加，即D=A*+B*，其中A*是前景像素组成的稀疏矩阵，B*是静态背景像素组成的低秩矩阵，所以在此问题中对静态背景建模的过程就是低秩矩阵B*的恢复过程。因此，需要将视频数据矩阵表示成一个稀疏矩阵和一个低秩矩阵的和，则鲁棒主成分分析可以表示为以下的优化问题：

由于rank和L0范数在优化上存在非凸、非光滑特性，放松条件L0-范数至L1范数，用核范数代替秩，优化问题近似为一个凸优化问题：

通过求解该优化问题，得到动态背景矩阵B*的解，进而得到背景模型。

2.3 实验结果及分析

选取机场、大厅、办公室、行人、烟5个场景的视频进行试验，其中机场环境下拍摄的监控视频中包含了动态电梯背景，前景目标提取效果如图1所示。从实验效果图可以看出，RPCA模型对动态信息更加敏感，能提取到更多细节信息，整体表现优于单高斯模型，而单是对于含有动态背景的机场视频，其提取效果较差。由此可见，在静态背景下，RPCA效果较好，但RPCA不适用于动态背景的情况。

前景目标分割评价方法IOU交并比可反应目标分割的准确率，将单高斯模型或RPCA方法分割出的前景目标与实况取交集比上它们的并集，即为目标分割的准确率。5个场景两种模型前景目标提取准确率如表1所示。endprint

3 动态背景

相机视角固定，摄像机稳定拍摄，背景动态呈现多模态，例如：水面波纹、树枝摇摆、窗帘旗帜飘扬等这些情况下需要多分布模型来共同描述背景像素值的概率分布。混合高斯模型[8-9]利用多高斯成分描述像素在时间域上的分布，解决了单高斯模型仅适用于单一场景的问题，对复杂场景具有一定的鲁棒性，能很好地运用在动态背景情形下。

在此基础上，针对上述算法提取的前景存在噪点、空洞等不足进行了改进。首先对混合高斯模型处理后的视频帧图像，利用中值滤波再次去除背景波动带来的干扰，再利用开运算平滑前景目标边缘，并减少前景目标空洞。

3.1 混合高斯模型

假设背景图像中的每一个像素在时间域上的分布由K个高斯分布构成的混合模型表示。像素j的值为xj概率为：

根据高斯分布建立的背景图模型，按照优先级次序将像素值xj分别与高斯分布逐一匹配，若没有高斯分布与之匹配，则判断该点为前景点，反之则为背景点。

3.2 实验结果与分析

本文选取了一个含有动态背景的视频作为实验数据，其中运动的人为有效前景目标，波动的水纹是动态背景。在此选取动态背景监控视频的第6、12、18、24、30、36、40、48帧展示前景目标提取效果，如图2所示。其中，图2（b）利用混合高斯模型提取的前景目标中仍含有少量背景干扰，在此基础上先利用中值滤波技术减少背景干扰，效果如图2（c）所示，再运用开运算平滑目标边缘并减少空洞，效果如图2（d）所示。从图中可以看出，混合高斯模型能很好地提取动态背景视频中的前景目标，改进方法能有效解决提取的前景目标含有噪点，以及目标边缘不平滑、含有空洞等问题。

4 结语

从实验中可以看出，RPCA在静态背景下效果很好，能捕捉到很多細节，对动态信息很敏感，但这个优点在动态背景下则成了缺点；单高斯模型速度快，但在处理静态背景前景提取时效果不如RPCA；混合高斯模型在处理动态背景时效果稳定。通过中值滤波可以消除图像中的噪点，让提取的前景图片目标更清晰；开运算能够补齐目标中的空洞，平滑目标边缘，让目标轮廓感更强。上述实验结果验证了改进方法的有效性。

参考文献：

[1] MIGLIORE D A， MATTEUCCI M， NACCARI M. A revaluation of frame difference in fast and robust motion detection[C]. Proceedings of the 4th ACM international workshop on Video surveillance and sensor networks. Santa Barbara， California， USA： ACM，2006：215-218.

[2] RIDDER C， MUNKELT O， KIRCHNER H. Adaptive background estimation and foreground detection using kalman-filtering[C]. Multimedia Signal Processing （MMSP）， 2013 IEEE 15th International Workshop on，1995：390-395.

[3] ELGAMMAL A， HARWOOD D， DAVIS L. Non-parametric model for background subtraction[J]. Lecture Notes in Computer Science，2000，1843：751-767.

[4] KAEWTRAKULPONG P， BOWDEN R. An improved adaptive background mixture model for real-time tracking with shadow detection[J]. Video-based surveillance systems，2002，1：135-144.

[5] DAVIS J W， BOBICK A F. The representation and recognition of human movement using temporal templates[C].Computer Vision and Pattern Recognition， Proceedings，1997 IEEE Computer Society Conference on. IEEE，1997：928-934.

[6] E J CAND`ES， X LI， Y MA，et al.Robust principal component analysis？[J]. Journal of the ACM （JACM），2011，58（3）：11.

[7] Q ZHAO， D MENG， Z XU，et al.Robust principal component analysis with complex noise[C].Proceedings of the 31st International Conference on Machine Learning （ICML-14），2014：55-63.

[8] STAUFFER C， GRIMSON W E L. Adaptive background mixture models for real-time tracking[C].Computer Vision and Pattern Recognition， IEEE Computer Society Conference on. IEEE，1999：246-252.

[9] ZIVKOVIC Z. Improved adaptive Gaussian mixture model for background subtraction[C].Pattern Recognition， Proceedings of the 17th International Conference on. IEEE，2004：28-31.

[10] 代科学，李国辉，涂丹，等.监控视频运动目标检测减背景技术的研究现状和展望[J].中国图象图形学报，2006（7）：919-927.

[11] 王丹.基于背景建模的运动目标检测与分割算法[D].西安：西安电子科技大学，2015.

[12] PICCARDI M. Background subtraction techniques： a review[C].IEEE International Conference on Systems， Man and Cybernetics. IEEE，2005：3099-3104.endprint