分块思想和码本模型的运动检测算法

陈财雄，陈晓竹，范振涛

（中国计量学院 信息工程学院，浙江 杭州 310018）

运动目标检测是机器视觉应用领域中一个重要研究内容，广泛应用于及视频监控、交通自动监控、行人检测、人群密度估计等方面.对于静止像机序列，目前的技术可以稳定地检测出运动目标.但是，在复杂背景环境下，如有摇晃树木和灯光等动态因素存在时，背景在拍到的视频中都可能不断发生微小的动态变化，现有技术就很难准确地检测运动物体.本文针对这种静止摄像机下，存在动态变化的复杂背景，提出了一种新颖的运动物体检测算法.

针对不同的场景，很多学者已提出多种背景建模的方法，常用的有帧差法［1］、光流法［2］、混合高斯模型［3］（MOG）、核密度估计模型［4，5］和码本模型［6，7］等.这几种方法各有利弊，譬如，帧差法算法简单、计算量小，适用于动态环境，但其检测精度不高，抗噪性能差；光流法具有较高的准确性，但计算相当复杂，不适合实时检测；混合高斯模型和核密度估计模型需要消耗较大的内存，且计算量大，难以达到实时性的要求，故而不能应用在大量采样的背景模型下；而文献［6，7］证明了基于单像素点的码本模型在检测效果上相对于前几种算法有比较大的提升.此后，研究者们对码本模型进行了各种改进.文献［8，9］在码本模型中加入了高斯分布因素来判断码字是否匹配的问题，虽然保证了检测精度，同时也增加了计算复杂度.文献［10］将码本模型简化为Box，虽然减少了内存开销，但也降低了检测精度.文献［11，13］将码本模型应用在复杂的场景中，能够较完整地提取出运动目标，但检测速度一般，抗干扰能力差.因为码本模型的建模技术是基于单个像素点的方式，尤其是在复杂的背景下，一旦因干扰使某一些像素点发生变化时，容易造成误判，这使其检测结果会存在空洞问题，甚至使检测结果分成几个部分.

考虑到实际监控过程中的实时性要求，并提高目标提取的精确性，本文从 H.264［14，15］视频编码技术中得到启发，利用分块的思想对每一宏块（某一像素及其邻域像素）而不是每一个像素建立起一个码本以描绘背景中感兴趣的状态，消除因单个像素扰动而产生的误检，从而提高了算法的速度和准确度.

1 背景建模

码本模型是针对连续的图像序列的各个像素点进行背景建模以试图描绘背景中的状态，其算法流程如图1.该算法流程先对序列的前几帧进行训练，接着建立两层背景模型，然后通过滤波器删除代表前景的冗余码字，同时更新两层背景模型.最后将一个像素的采样值和模型中对应的码字进行比较，如果两个值接近，就判断为背景，否则判断为前景.

图1 算法流程Figure 1 Algorithm process

1.1 码本定义

定义X＝｛x1，x2，…，xN｝是训练序列中长度为N 的 RGB矢量集合，其中xt＝（Rt，Gt，Bt）为某一像素点上的RGB矢量，N＝图像总的像素数.定义C＝｛c1，c2，…，cL｝为包含了L 个码字的码本.每一个像素点对应一个码本，但码字数量不一定相同.每个码字ci，i＝1，…，L，包含了一个矢量vi＝）和一个六元组auxi＝＜minIi，maxIi，fi，lamdai，pi，qi＞.其中各成员含义如下：

minI，maxI：所有属于该宏块的像素中的最小和最大亮度平均值；

f：该宏块对应的码本中码字被匹配成功的次数；lamda：没有被匹配的最大时间间隔；

p，q：第一次和最后一次码字匹配成功的时间.

1.2 颜色区分度和亮度范围确定

因为在RGB颜色空间中，背景的亮度值沿着以码字为主轴，从低到高，如图2的颜色模型.

图2 颜色模型Figure 2 Color model

对于当前新输入的像素xt＝（Rt，Gt，Bt）、码字ci和矢量），有公式（1）的三个等式

颜色区分度δ计算如公式（2）

同时为了检测亮度变化，本文定义了亮度变化的下限Ilow和上限Ihigh使得待检测物体的亮度变化范围限制在阴暗边界和高亮边界之间，即［Ilow，Ihigh］.对于每个码字，定义亮度变化范围如公式（3）

式（3）中：一般0.4＜α＜0.7，1.1＜β＜1.5；当α取值越小时，亮度变化范围越大.

定义亮度判别函数如公式（4）

2 分块思想描述

码本模型［6，7］所描述建模方法在计算像素变化时并没有考虑它相邻的像素，为了考虑到周围的像素，同时消除因单个像素点引起的背景扰动或光照变化或运动目标自身引起的背景变化等等.本文将建立一个多元模型，它把基本的像素独立模型扩展为包含了相邻像素的亮度的基本场景.

由于基于单个像素的背景建模，单个像素点所包含的信息量过少，抗干扰能力差.因此，可以采用分块的建模方法，事实上，对没有目标的区域，图像本身的结构具有相对的稳定性.因此，在目标提取过程中仅对单像素进行分析会产生大量冗余信息，不可避免地会对算法的实际执行效率产生影响.而对相邻的多个像素进行整体处理是为了减小计算冗余、提高执行效率的一种途径，由此，本文提出了一种基于图像块的多像素背景建模算法.假设一幅完整图像的分辨率大小为M×N，如图3所示，在背景建模阶段，本文将其分为多个2×2宏块，建立码本模型实际上是在宏块级上进行的.以宏块为基本单位，对每一个宏块中的各个像素点进行采样后求得该宏块像素均值和亮度均值，均值的计算按照公式（5）.

图3 数字图像（M×N）Figure 3 Digital image（M×N）

式（5）中：r（i，j）、g（i，j）、b（i，j）分别是图像在（i，j）处的r、g、b三个分量的像素值分别为以（i，j）为左上角坐标的2×2宏块中r、g、b三个分量的像素均值，I为该宏块的亮度均值，BLOCK定义为4，是指该宏块包含了4个像素.

然后根据颜色区分度和亮度范围这两个判定准则为每一个宏块聚类出码字集，即码本.根据背景不同，每个宏块的采样值不尽相同，所以对应的码字数量也不一定相同.

假设一副图像的分辨率大小是320×240，共76800个像素点，如果采用原始码本算法，则共需要建立76800个码本，平均每个码本含有4个码字，则共需要76800×4＝307200个码字，每个码字又占28字节，则共需要占用8.203MB空间.而引入分块思想后，仅需要8.203MB／4＝2.051MB.这不仅节省了内存占用空间，而且在前景检测阶段，本要遍历每个码字，从而判断出前景或背景.而现在只需要对每一个宏块进行判断，理论上，匹配速度可提高4倍以上.由于每一帧图像中相对于背景模型来说大部分是背景，只有极少数是前景，因此，如何加快匹配速度，提高实时性是进一步需要研究的重要课题.

3 前景检测

在运动目标检测阶段，为了将前景目标从背景环境中分离出来，首先将输入序列中的每一个宏块与背景模型中的各个码字进行比较，满足匹配公式的为背景，找不到匹配码字的为前景，对于视频中的每一帧的任意块像素x，检测结果用如公式（6）

其算法流程如下公式：

II）对于背景模型中的所有码字，若存在码字cm与x满足下列匹配公式的两个条件：

其中ε为检测阈值，需要针对具体的场景作适当的调整.

4 实验评估

为了评估本文改进的算法，本实验环境采用处理器：AMD Athlon（速龙）64X24000＋；显卡：NVIDIA（英伟达）GeForce 8500GT （G86）；内存：1GBytes；操作系统：微软 Windows 7旗舰版Build 7600.软件平台为 Visual C＋＋6.0，同时利用开源机器视觉库OpenCV1.0.序列视频采用室内外两种（所拍摄的场景不包括雨、雪等天气较差的环境），图像分辨率是320×240，包括不规则的背景扰动、局部光线变化.针对混合高斯模型、原始码本算法和本文提出的改进后码本算法进行多次实验比较，各自取得数据的平均值，得到表1和表2如下：

由于实时视频序列的帧间时间差是在40ms以内，即1秒钟播放25帧以上的视频是流畅的.从表1和表2中的数据可以看出，本文提出的改进码本算法是实时性最好且占用内存最少的算法.另外值得注意的是，相对于原始码本算法来说，改进后的码本算法处理速度是原始码本算法的3～4倍，占用内存也降了一半左右，这已经能满足大多数实际应用场景中对系统实时性的要求了.

表1 各算法处理速度Table 1 Processing speeds of referred methods

表2 各算法内存使用情况Table 2 Memory usage of referred methods

为了证明文中提出的算法在复杂场景下仍然具有较好的检测效果，笔者对各算法在室内外的场景下都进行了检测效果的对比.其中，室内场景是在夜晚时用型号为USB PC Camera－168的摄像头从室内捕获的，包括灯光闪烁的干扰、局部光线变化，共513帧；室外视频来自PETS2001［16］中的一段典型的测试视频，除包括摇曳在风中的树干扰，还存在局部光线变化，共2002帧.这两个视频主要用来检验算法的鲁棒性和抗噪能力.图4、图5中分别给出了一组室内和一组室外的检测结果.

从图4、图5中可以看出，不管是在室内还是室外，混合高斯的效果最差，而码本算法在检测精度上较好.但是，混合高斯将一些噪点（灯光作用或者摇曳在风中的树等）误判为前景；原始码本算法却遗留空洞问题，其原因主要是对每个单像素点建立模型，没有考虑到邻域像素点.而改进后的码本算法在检测精度上最好.因此，本文提出的改进码本算法改善了原始码本单像素点扰动产生的误检，基本不受外界因素的影响，不仅消除树叶周期性的影响，而且适应灯光的周期性变化，能够提取出完整的运动目标.

5 结 语

本文主要针对静止摄像机下，复杂动态背景对运动物体检测产生的影响进行研究，提出一种改进码本算法.总体思想是在原始码本模型的基础上融入了分块思想，使得能够快速完整地检测出运动目标，并且消除了基于单一像素点方式导致的弱抗干扰能力，在保持较高的目标检测率的情况，大大提高了系统的运行效率.该算法主要有以下特点：计算复杂度低，检测速度快，占用内存小；能处理好灯光效果，局部光线变化，并能抑制树木摇动对检测的影响；可提取完整的运动目标，鲁棒性好.实验结果验证了该方法是有效的，在保证检测一定精度的同时提高了实时性，能满足实际实时性的需求，可以考虑在嵌入式系统上实现该算法.最后，本文尚未对雨雪等天气较差下的运动目标检测进行深入研究，在未来工作中将考虑恶劣天气情况，以达到更好的检测效果，为实际的智能视频监控提供更好的方法.

［1］WREN C R，AZARBAYEJANI A，DARRELL T，et al.Pfinder real－time tracking of the human body ［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1999，19（7）：780－785.

［2］HORN B K P，SCHUNCK B G.Determining optical flow［J］.Artificial Intelligence，1981，17（123）：185－203.

［3］STAUFFER C，GRIMSON W.Adaptive background mixture models for real－time tracking［C］／／Proceedings of the IEEE International Conference on Computer Vision and Pattern Recognition.USA：IEEE Computer Society，1999：246－252.

［4］ELGAMMAL A，HARWOOD D，DAVIS L S.Non－parametric model for background subtraction［C］／／Proceedings of the 6th European Conference on Computer Vision－Part II Dublin.Ireland：IEEE Computer Society，2000：751－767.

［5］MITTAL A，PARAGIOS N.Motion－based background subtraction using adaptive kernel density estimation［C］／／Proceedings of the IEEE International Conference on Computer Vision and Pattern Recognition.USA：IEEE Computer Society，2004：302－309.

［6］KIM K，CHALIDABHONGSE T H，HARWOOD D，et al.Real－time foreground－background segmentation using codebook model［J］.Real－Time Imaging，2005，11（3）：172－185.

［7］KIM K，CHALIDABHONGSE T H，HARWOOD D，et al.Background modeling and subtraction by codebook construction［C］／／Proceedings of the IEEE International Conference on Image Processing.Singapore：IEEE Computer Society，2004：3061－3064.

［8］LI Y B，CHEN F，XU W，et al.Gaussian－based codebook model for video background subtraction［C］／／Proceedings of the 2nd International Conference on Natural Computation.Xian：ICNC，2006：762－765.

［9］田 峥，徐 成，杨志邦，等.智能监控系统中的运动目标检测算法［J］.计算机工程，2011，37（4）：1－4.

［10］TU Q，XU Y P，ZHOU M L.Box－based codebook model for real－time objects detection ［C］／／Proceedings of the 7th World Congress on Intelligent Control and Automation.Chongqing：WCICA，2008：7621－7625.

［11］FANG X Y，HE B，LUO B，et al.An improved codebook model for detecting moving object under complex dynamic background［C］／／Proceedings of the 3th International Conference on Digital Image Processing.Chengdu：ICDIP，2011：1107－1112.

［12］HUAN R H，WANG Z H，TANG X M，et al.Moving target detection under complex background based on code book［C］／／Proceedings of the 3th International Conference on Computer Science and Automation Engineering.Shanghai：CSAE，2011：203－207.

［13］SHAH M，DEND J，WOODFORD B.Enhanced codebook model for real－time background subtraction ［C］／／Processing of the International Conference on Neural Information.Shanghai：ICONIP，2011：449－458.

［14］ITU－T Recommendation.ITU－T Recommendation H.264｜ISO／IEC 11496－10AVC ［S］.Geneva：ITU－T，2003.

［15］张久玲.H.264／AVC视频编码的预测算法研究［D］.秦皇岛：燕山大学，2011：15－59.

［16］IEEE International Workshop on Performance Evaluation of Tracking and Surveillance.visualsurveillance.org［EB／OL］.（2012－03－01）［2001－12－04］.http：／／www.visualsurveillance.org.