一种自适应码书模型背景更新算法

赵 谦，周 勇，侯媛彬，刘树林

(西安科技大学a.通信与信息工程学院;b.电气与控制工程学院，陕西 西安 710054)

责任编辑:任健男

1 现有检测算法简介

在智能视频监控领域，运动目标的检测是信息提取的一个关键步骤，也是更高层次分析如目标跟踪、目标分类和行为理解的重要基础［1］。因此，如何从视频序列中快速准确地提取运动目标，是许多研究者所关注的一个问题。经过多年的发展，提出了一些有效的算法［2－5］，解决了智能监控中一些难题，能适应比较复杂的环境。其中，码书模型［4］就是一种常见的背景建模方法，众多研究者提出了改进的码书模型［6－7］。这些改进的算法有效地解决了码书模型中的一些不足，提高了码书模型的有效性和鲁棒性，然而对于码书模型的自适应更新却很少论述，但是背景建立之后，如何保持背景的稳定性，让背景长时间可靠工作也是一件及其重要的事情，在实际应用中这可能比建立一个完美的背景更值得关注。

无论是传统的码书模型背景更新方法，还是后来的一些改进算法，它们都是基于单个像素在时域上考虑。这种基于像素时域分布的模型更新方式没能充分利用空域信息，不能区分出真正的背景变化。在任何应用场景中，背景与前景目标是两个相对的概念，背景模型的更新应与前景目标的定义相关。在文献［8］中曾提到运动稀疏的概念，现有的目标检测算法大多是基于物体的运动性，如何处理运动信息不足的目标值得研究。现有的大部分算法在背景更新的过程中也存在有运动信息不足和物体只有局部运动的问题。如图1所示，一个孩子坐在地板上，身体有微小变化或只是移动了身体的部分，一段足够长时间后会有部分融入到背景中，现有的方法只能检测到运动的部分，对于检测到的部分已经失去整体性，不仅没有太大意义，而且会影响后面对图像的高层次理解。

上述情况的出现是由于背景更新过程中对背景的判断与背景定义的偏差，忽略了前景物体的整体性。本文针对此类问题对现有算法进行改进，一方面分析像素的时域信息，同时也在分析像素空间联系的基础上考虑物体的整体性，而且该算法能更好地实现背景模型的自适应更新，在背景更新过程中辅助前景的检测。

图1 运动目标局部运动的检测

2 传统码书模型背景更新和图像分割

2.1 传统码书模型的更新原理

针对复杂多变的背景，Kim等人［4］提出了码书模型，为每个像素建立一本码书，每本码书又包含多个码字ci(i=1，2，…，l)来描述背景，是一种无参数的背景建模方法。其中每个码字由以下参数组成:νi=(Ri，Gi，Bi)和aux=i;含 3 个分量的 νi表示码字的RGB颜色值 和 是码字对应像素的最小和最大亮度值;fi是码字出现的频率;λi表示码字相邻2次出现的最长时间间隔;pi和qi分别表示码字第一次和最后一次出现的时间。由于监控场景的复杂多变，模型需要不断更新来适应场景的变化，例如物体的移入移出、物体的周期性运动等。这时就需要一种能够自适应地更新背景模型的算法，防止出现运动目标的虚检和漏检。

传统码书模型背景更新是建立在对背景和前景区分的基础上，把整个过程分为背景和前景分别处理，背景部分会按照背景训练时的方式更新，对于前景部分则建立一个前景码书模型，不断地检测前景码书中码字的变化，将依据一定的条件来添加或剔除背景码书中的码字，使其适应不断变化的监控场景。通过时间阈值来判断物体的融入和移出，如果停留时间超过门限，相应的码字频率增加，目标就会融入背景;如果超过一定的时间没有访问背景码书中的码字，就将该码字删除。传统的背景更新算法可以很好地处理一些简单场景的变化，对于一些复杂的变化显得不足，例如，一辆汽车走了一段时间后停下来，然后慢慢调转方向朝另一个方向驶去。由于汽车本身的面积较大，而且车身颜色相近，所以对每个像素根据一段时间内出现的次数来判断是否为背景很容易出现误判，需要联合空间信息来判断。

2.2 传统码书模型背景更新存在的问题

传统码书模型背景更新是以像素为单位，孤立地分析像素点在时间域上的统计信息，只能处理一些简单的情况，存在以下的不足:

1)更新时需要遍历每一个前景码书，而大部分的前景码字都不是潜在的背景，浪费大量时间用于查找，影响检测实时性。

2)监控场景是复杂多变的，背景的更新仅用一个时间阈值来决定，不能很好地适应背景的变化，而且一个统一的时间阈值很难确定。

3)孤立地考虑每个像素，忽略彼此联系和像素的空间信息，没有考虑物体完整性。

第1点中的不足表现在没能区分真正的前景和可能成为背景的前景，能成为背景的前景占的比例很少，现有的算法要访问所有的前景码字，这样不但没有必要还浪费了大量的时间，有必要利用物体的空间信息将潜在的背景分开，只处理前景中这部分码字。第2点和第3点中，如果时间阈值过大，则更新速度过慢，模型不能及时反映出背景的变化而导致误检;如果过小，更新速度过快，会使运动较慢、面积较大或纹理较均匀的目标部分融入背景，造成目标检测不完整。对于上文中提到的由于局部运动造成将目标分成背景和前景两部分的现象，现有算法也无法处理。由以上分析可知，传统码书模型对背景的更新方式不能有效地自适应背景变化，为了更好地解决上面的问题，引入像素的空间信息，通过对前景的分割获得目标的整体信息。

2.3 脉冲耦合神经网络的图像分割

提取出目标整体信息的方法有多种，经过实验对比我们选用基于猫视觉皮层模型的脉冲耦合神经网络(Pulse Coupled Neural Net，PCNN)来进行图像的分割［9］。基于PCNN的图像分割是一种基于图像像素相似强度临近相似性的图像分割方法，并有自适应图像分割的特点。然而其对图像的二值分割又极大地削弱了图像的层次性，视频中目标的分割不同于单幅图像的分割，视频帧中常会有噪声的干扰和光线的变化。为此，本文对PCNN方法进行了改进，提出了基于PCNN的多值分割方法，既保留PCNN对图像分割的优良特性，又有效保留图像本身的层次性，使其更适合视频图像的分割。图2是图像分割的效果图。从图中可以看到，该方法可以很好地对视频图像进行分割，效果满足本文的要求。

图2 PCNN图像分割效果

3 改进的码书模型背景自适应更新

本文的背景更新方法是在传统码书模型的基础上加入了空间信息，即考虑运动目标的整体性，通过对视频图像的分割，提取出运动目标空间信息。目标空间轮廓信息的提取是在前景检测完成后进行的。首先，对前景目标进行标记，找到每个运动目标的形心，用矩形框将目标框起来。然后，返回当前帧中矩形框的位置，对矩形框中的目标利用PCNN算法进行图像分割，提取出目标的空间轮廓信息Li(t)。根据运动目标的空间信息是不断变化的，而背景的空间信息却很少变化，可以将目标分为真正的前景和潜在的背景。将所获得的轮廓信息与前一帧图像中相应目标的轮廓信息Li(t－1)对比，如果轮廓信息有较大差别，说明目标是前景，则不将该目标归入到潜在的背景中;如果轮廓的变化不大，目标有可能是潜在的背景或是受到噪声的干扰，需要继续检测该目标的空间轮廓信息，几帧之后再进行检测，这样既减少了噪声的影响，也有效地避免了运动缓慢物体的误检。经过上述判断后，目标的空间轮廓信息变化仍不大，此时对目标范围内的前景像素进行计时。对于是否融入背景不是单一考虑时间阈值还要联合像素的空间整体性，快速地将整个目标融入背景。只有局部运动的物体，虽然有一部分由于长时间的静止会融入到背景中，但从整体考虑来看还是属于运动目标，所以在空间轮廓变化判断时，不再将这部分融入到背景，而是把该部分和运动的部分看作一个整体，当作前景来处理，从而可以有效地避免把目标分割成一部分是前景、一部分是背景。基于空间信息的码书模型背景更新步骤如下:

1)训练得到的背景模型M，新建立一个前景码书模型H。

5)将前景H中停留时间足够长的码字移入到背景M中。M←M∪{hi|hi∈H，fi≥Tadd}。

6)删除背景M和前景H中长时间没有访问的码字。

7)从步骤2)重复进行。

经过上述的步骤就可以在快速前景检测的同时，自适应地进行背景的实时更新。其中α表示两帧之间同一个像素的空间信息之差绝对值门限，它有助于消除噪声和光照的影响，更准确地反映空间信息的变化，一般取值为10～15。空间相似度阈值β，描述整个物体的变化程度，一般取值0.85～0.95。Tadd表示目标融入背景的时间，Tdel表示背景移除目标的时间，两个值都可以根据具体的情况和场景来选择。

4 实验结果与分析

为了测试算法的性能，本文选择了复杂的室外环境为场景来进行实验，并重点针对条件多变的情况下和目标运动信息不足时背景的自适应更新。本文采用的第1段视频序列来自PETS(IEEE International Workshop on Performance Evaluation of Tracking and Surveillance)2001 Dataset 1 Camera 1 Image。实验测试平台为:CPU酷睿双核1.73 GHz，2 Gbyte内存，Windows7操作系统。测试代码在MATLAB7.6上编译运行，其中参数设置为α=10，β =0.9 。

1)室外复杂条件下背景更新

物体进入背景后静止，如果一段时间后仍然不变需要将其融入到场景中，而要完全融入到背景中需要1.5～2倍的Tadd时间，如图3所示。对于比较复杂的运动，单靠时间阈值去判断就会出现错判，如图4所示，一辆车缓慢的移入到背景中然后慢慢地掉转方向朝另一个方向行驶。由于车辆缓慢运动而且车身纹理相似，图4d中可以看到车辆区域内有部分融入到背景中，可以用增大Tadd的方法来解决这部分问题，但是对于要融入背景的物体将要增加更多的时间才能融入，造成大量的虚检目标，影响真正前景目标的检测。本文中在考虑目标整体性的基础进行背景的更新，从图4e中可以看到在不改变Tadd的前提条件下，很好地解决了该问题，而且通过对比图4b和图4c可以发现融入的速度更快。

图3 目标融入背景(Tadd=50)

2)运动信息不足条件下背景更新

下面一段测试视频2中，两个人进入场景后停下来，只有身体的部分在运动，而且运动信息不是连续的，然后在一个小范围内活动。在文献［11］中也提到过该类问题，在前景检测时没能很好地处理该类问题，应用本文提到的算法可以在背景更新时解决这类问题。下面针对这一问题用本文的算法和文献［4］进行对比，如图5所示。从对比测试的结果来看，本文的算法能更好地处理这一类问题。

3)时间耗费分析

下面主要对本文算法的时间耗费进行分析。与传统码书模型相比，增加的时间耗费主要在目标的空间信息提取部分，但是这里仅仅提取了视频图像中运动目标的空间信息，而且本文算法与传统算法相比不再更新处理非潜在的背景码字，在一般情况下大部分时间和大部分前景都不需要处理，只在很少的时间才考虑场景的更新，这样就减少了前景码字每次更新这部分时间。通过与传统算法对比，用视频2进行测试，背景平均码字为1.146个，背景更新完成后本文平均码字为1.267个，传统平均码字为2.573个，减少了背景的平均码字数，提高了系统效率。

图4 复杂条件下背景更新(Tadd=300，背景训练200#)

5 总结

本文提出了一种自适应的码书模型背景更新算法，主要致力于快速准确地更新背景模型，以及在目标运动信息不足时有效处理背景，同时辅助前景目标的检测。通过引入空间信息来联合控制模型更新，不仅提高了信息利用率，更重要的是显著改善了检测效果，提高模型对背景变化的适应能力。在背景稳定更新的条件下，减少了背景更新的时间，提高了模型对背景变化的响应速度，保证目标检测的完整性。其背景更新效果的鲁棒性和准确性已经在实验中得到证实。

图5 运动信息不足条件下的实验效果(Tadd=500，图5c中没有去除阴影，图5b中阴影慢慢融入背景)

本文算法的有效性和准确度有赖于运动目标空间信息的正确提取。研究中只利用了空间位置信息，且没有做阴影去除处理，这在一定程度上影响了算法效果。如果能结合目标纹理特征将更准确地提取空间信息，效果可能会更好。

［1］代科学，李国辉，涂丹，等.监控视频运动目标检测减背景技术的研究现状和展望［J］.中国图象图形学报，2006，11(7):919－927.

［2］STAUFFER C，GRIMSON W.Learning patterns of activity using real time tracking［J］.IEEE Trans.Pattern Analysis and Machine Intelligence，2000，22(8):747－767.

［3］ELGAMMAL A，HARWOOD D，DAVIS L.Non－parametric model for background subtraction［C］//Proc.the 6th European Conference on Computer Vision，Part II.London:Springer－Verlag，2000:751－767.

［4］KIM K，CHALIDABHONGSE T H，HARWOOD D，et al.Real－time foreground－background segmentation using codebook model［J］.Real－Time Imaging，2005，11(3):167－256.

［5］HEIKKILA M，PIETIKAINEN M.A texture－based method for modeling the background detecting moving objects［J］.IEEE Trans.Pattern Analysis and Machine Intelligence，2006，28(4):656－662.

［6］徐成，田睁，李仁发.一种基于改进码本模型的快速运动检测算法［J］.计算机研究与发展，2010，47(12):2149－2156.

［7］李波，袁保宗.基于码书和纹理特征的运动目标检测［J］.信号处理，2011，27(6):912－917.

［8］LIU Feng，GLEICHER M.Learning color and locality cues for moving object detection and segmentation［C］//Proc.CVPR.Miami.［S.l.］:IEEE Press，2009:320－327.

［9］KUNTIMAD G，RANGANATH H S.Perfect image segmentation using pulse coupled neural networks［J］.IEEE Trans.Neural Networks，1999，10(3):591－598.

［10］徐正光，鲍东来，张利欣.基于递归的二值图像连通域像素标记算法［J］.计算机工程，2006，32(24):186－188.

［11］LIU Yazhou，YAO Hongxun，GAO Wen.Nonparametric background generation［J］.Journal of Visual Communication and Image Representation，2007，18(3):253－263.