基于多特征融合的运动目标检测

翟济云， 周 鑫， 王从庆

(南京航空航天大学自动化学院，南京 211106)

基于多特征融合的运动目标检测

翟济云， 周 鑫， 王从庆

(南京航空航天大学自动化学院，南京 211106)

提高目标检测算法在复杂场景下的检测鲁棒性是目前计算机视觉领域的一个重点、难点问题。传统的运动目标检测都是基于目标的单一特征，提出一种融合颜色特征和纹理特征的背景建模方法，并将其运用于运动目标检测。首先对基于颜色的高斯混合模型加以改进，减少了传统高斯混合模型的计算量，然后将高斯混合模型与LBP纹理模型用D-S证据理论进行融合。实验结果表明，两个特征的融合有很好的互补作用，并且能够实时、准确地检测出运动目标。

运动目标； 目标检测； 高斯混合模型； LBP纹理模型； D-S证据理论

0 引言

复杂动态场景下的运动目标检测是目前研究的一个热点和难点问题[1]，因为背景和前景的运动经常同时存在于检测图像序列中，例如背景中随风飘动的树叶、云、雨、雾等运动物体。目前，运动目标检测算法主要有光流法[2-3]、帧间差分法[4]和背景建模法[5-7]等。其中:光流法计算复杂度高，光流场的计算非常容易受到噪声、光照变化和背景扰动的影响;帧间差分法一步检测出的目标轮廓很难达到理想效果，目标运动较快

在目前基于背景建模的运动目标检测工作中，典型的有高斯混合模型(Gaussian Mixture Model,GMM)。早期,WREN等人提出了高斯模型[8]，在此基础上,STAUFFER和GRIMSON提出了更能真实反映多峰概率模型的高斯混合模型[5]。传统的GMM对每个独立的像素点建立模型，只模拟了单个像素点在时间序列上的分布，并没有考虑像素点之间的关联性。在实际情况下，图像中的像素间存在着空间域上的关联性[9]。ELGAMMAL等人[10]基于局部邻域像素点采用非参数的核密度估计方法建立模型,但此背景建模方法需要对全图像像素点进行计算，计算代价大，耗时比较严重。此外，GMM依靠单一的颜色信息进行背景建模，虽然对背景扰动有一定的抑制作用，但不能很好地适应光线变化。针对这个缺点，HEIKKIL等人提出了基于LBP (Local Binary Pattern)纹理特征的背景建模方法[11],但是该方法对纹理区别不大的运动目标检测效果不佳[12]。

基于以上分析，本文采用GMM和LBP纹理模型相融合的建模方法。首先对GMM加以改进，提高其运算速度，然后将GMM和LBP纹理模型用D-S证据理论进行融合。本文的背景建模方法有两个优点：1) 解决了传统GMM计算量庞大的问题；2) 纹理模式考虑了像素点之间的关联性。该方法结合了空间域和时间域的背景建模方式，并且解决了GMM对光照变化敏感的缺点。

1 快速的高斯混合算法

在现有的GMM中，为了能处理复杂的场景，取得较好的检测效果，希望GMM中高斯函数的个数K越多越好。每获得一个新的视频帧，图像中每个像素点的所有高斯函数参数都要进行更新，这样会带来大量的计算，影响算法实时性。而图像中出现的运动目标都是由一系列像素点组成的区域，所以可以将一幅图像分成多个图像块，用GMM对每个图像块进行建模，这样就大大减少了图像处理的时间成本。例如，把一幅图像分成多个N×N的图像块，令X表示图像块M的像素值，定义为

(1)

式中，I(p)表示图像块M中点p处的像素值。

1.1 背景模型建立

(2)

(3)

1.2 模型更新

(4)

(5)

(6)

(7)

(8)

1.3 概率计算

(9)

2 基于LBP纹理模式的背景建模

局部二值模式(LBP)最早是由芬兰科学家OJALA等人[13]提出的，是对纹理特征简单而有效的描述方法，用一个二进制数来量化图像中每个像素点与其领域内其他各像素点灰度值之间的差异，从而说明图像的纹理特征。LBP定义为

(10)

按照前面介绍的LBP算子，以邻域有8个灰度值为例，会有28即256种不同输出。如果纹理描述的区域比较小，会造成LBP纹理直方图过于稀疏，直方图很容易受到轻微变化的影响，从而使直方图失去统计意义。基于以上考虑，OJALA又提出了统一化LBP算子(Uniform LBP)[14]，将二进制数值看成首尾相接的一串数，其中,0与1的变化次数不大于2，满足此条件的二进制模式为统一化模式(Uniform Patterns)，例如111 11111，11000011和00000011等。所以在计算LBP直方图的过程中，只需要考虑满足统一模式的LBP值，对于非统一模式的LBP值只需集中到一起，无需关注其统计意义。一般来说，保留的统一化模式的LBP值反映了重要的纹理信息，而那些非统一化模式的LBP值中过多的转变往往由噪声引起，不具有良好的统计意义。经过上述统一化处理，大大减少了LBP的特征数目，减少了算法计算量。例如邻域点数p=8时，输出值可以减少到(p-1)p+3=59个。

2.1 背景模型建立

2.2 模型更新

将N个纹理模式直方图按照它们的权重从大到小排序。在当前帧中，对于新的图像块，提取它的纹理模式直方图Vt，并与N个纹理模式直方图按式(11)逐一进行相似度计算，即

(11)

式中,p为LBP直方图的条目数。dLBP是计算出两个直方图共有部分，若dLBP=1，则表示两个直方图完全一致。设定一个相似度阈值Td，取值0.6～0.7最佳，若dLBP>Td，说明Vt与纹理模式直方图模型中第i个模型相匹配，对直方图模型及权重进行更新

Hi,t+1=αHi,t+(1-α)Vt

(12)

ωi,t+1=(1-α)ωi,t+Mi,tα

(13)

式中,α是学习率。当第i个LBP纹理直方图与Vt匹配时，Mi,t的值为1，否则为0。如果N个纹理模式直方图中没有一个与Vt匹配，则将纹理直方图模型中权重最小的纹理模式直方图模型用Vt替代，并赋予一个较小的权重。

2.3 概率计算

3 基于D-S证据理论的前景判别

D-S证据推理建立在一个辨别框架的基础上，该辨别框架为一个非空集合Θ，由假设空间的所有元素组成，且各元素之间相互独立，将该非空集合Θ的所有子集组成的幂集记为2Θ,可以给出如下D-S证据理论的定义。

将辨别框架中某一个子集表示为A，该子集的基本信任指派函数为m(A)，其范围为[0,1]。m(A)表示证据支持子集A发生的程度，其满足

。

(14)

信任函数Bel(A)表示决策者对命题A的总信任度，其定义为

(15)

设在辨别框架Θ上有两个基本信任指派函数m1,m2，并分别含有焦元A1,…,An和B1,…,Bn，它们的组合运算为m=m1⊕m2，m为组合产生的新的证据体。

(16)

用D-S证据理论将GMM与LBP纹理模型进行融合。A指当前图像块属于背景模型这个事件，则m(A)表示支持事件A发生的程度，dGMM和dLBP表示两个证据体m1和m2，根据D-S组合规则，m(A)为

(17)

如果m(A)大于阈值T，则当前图像块为背景，否则记为前景。

4 实验结果

在本文中，高斯混合模型的个数K和LBP纹理直方图个数N均取5，两个权值更新率α都为0.005。对多次实验结果进行比较，权值阈值T1和T2均设为0.7时，建立的背景模型最佳。阈值T设为0.8，能很好判别当前图像块是否为背景。

为了验证本文算法，对两组视频序列进行背景建模和运动目标检测。视频1是对行人进行目标识别;视频2的情况比视频1更复杂，是对森林中烟雾进行识别，烟雾在运动的过程中会不断扩散，而且形状也在不断变化，对算法的检测性能要求比较高。实验结果如图1、图2所示。

图1 对行人进行目标识别Fig.1 Results of pedestrian testing video

图2 对烟雾进行目标识别Fig.2 Results of smoke testing video

除了定性的比较实验之外，本文还进行了定量的比较实验，根据运动目标检测领域和背景建模领域经典的评价方法，分别统计了本文所提出算法的检测结果和基于GMM背景建模检测结果中的漏检数和虚警数。其中：漏检数是指前景被检测为背景的像素个数；虚警数是指背景被检测为前景的像素个数。通过人工的方法标记测试序列中每一帧的前景和背景像素，然后与检测算法的结果进行比较，计算出两种方法在每个测试序列上的平均漏检数和虚警数。实验结果如表1所示。从表1可以看出，本文所提算法在综合考虑虚警数和漏检数的情况下，取得了比基于GMM背景建模方法更好的效果。

表1 目标检测算法定量比较

从实验结果还可以发现，当背景中有摆动的树枝为动态背景时，该干扰信息对目标的提取影响非常大，单纯的GMM处理结果不理想，会出现很多误判。在光照变化比较明显的情况下，基于颜色特征的GMM背景建模对光照变化敏感，前景检测结果会出现很多误检。本文采用的算法能较好地消除原本静止物体发生运动时产生的残影，有效地消除周期性变化的动态背景干扰信息，并且利用LBP对光照变化不明显的特点弥补GMM背景建模的缺点，可以减少前景目标的误检，较为准确地检测出运动物体。另外,值得一提的是算法的处理速度，使用原始的混合高斯模型处理速度约为600 ms/帧，而使用本文算法，处理速度在90 ms/帧左右，这样每秒可以处理10帧以上，基本上可以达到实时的要求。

5 总结

本文在对复杂场景进行背景建模和运动目标检测时，考虑了相邻像素之间的共生关系，提出了一种将GMM背景建模和LBP纹理建模结合的运动目标检测算法，该算法有以下几个优点：1) 对图像进行分块处理，相对于传统的混合高斯背景建模，不仅考虑了相邻像素之间的关系，而且提高了算法的处理速度，满足了快速性和实时性要求;2) 算法结合了颜色特征和纹理特征，能够在动态背景中较好地分辨目标运动物体与干扰信息，取得了比传统混合高斯模型更好的处理效果。

[1] 胡学友，陶亮，倪敏生.基于混合粒子的目标跟踪[J].计算机应用,2011,31(6):1602-1604.

[2] MITICHE A,WANG Y F,AGGARWAL J K.Experiments in computing optical flow with gradient-based,multi-constraint method[J].Pattern Recognition,1987,20(2):173-179.

[3] LUCAS B D,KANADE T.An iterative image registration technique with an application to stereo vision[C]//The 7th International Joint Conference on Artificial Intelligence, 1981:674-679.

[4] WANG L,HU W M,TAN T N.A survey of visual analysis of human motion[J].Chinese Journal of Computers, 2002,25(3):225-237.

[5] STAUFFER C,GRIMSON W E L.Adaptive background mixture models for real-time tracking[C]//Proceeding of Computer Vision and Pattern Recognition,Fort Collins, Colorado,1999:246-252.

[6] JIANG P,QIN X L.Robust foreground detection with adaptive threshold estimation[J].Journal of Image and Graphics,2011,16(1):37-42.

[7] LIU G Y,LIU G D.Method for moving objection detection based on mixture Gaussian models[J].Computer Engineering and Applications,2009,45(24):180-182.

[8] WREN C,AZARBAYEJANI A,DARRELL T,et al.Pfinder:real-time tracking of the human body [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1997,19(7):780-785.

[9] 郭立君，刘曦，赵杰煜，等.结合运动信息与表观特征的行人检测方法[J].软件学报,2012,23(2):299-309.

[10] ELGAMMAL A,HARWOOD D,DAVIS L S.Background and foreground modeling using nonparametric kernel density estimation for visual surveillance[J].Proceeding of IEEE,2002,90(7):1151-1163.

[11] HEIKKILA M,PIETIKAINEN M.A texture-based method for modeling the background and detecting moving objects[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2006,28(4):657-662.

[12] 肖德贵，辛晨，张婷，等.显著性纹理结构特征及车载环境下的行人检测[J].软件学报,2014,25(3):675-689.

[13] OJALA T,HARWOOD I.A comparative study of texture measure with classification based on feature distribution[J].Pattern Recognition,1996,29(1):51-59.

[14] OJALA T,PIETIKAINEN M,MAENPAA T.Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(7):971-987.

[15] LI B,CHEN Y M,ZHANG L.Moving objects detection method based on texture[J].Computer Engineering and Application,2008,44(7):100-102.

AMovingTargetDetectionMethodBasedonMulti-featureFusion

ZHAI Ji-yun, ZHOU Xin, WANG Cong-qing

(Nanjing University of Aeronautics and Astronautics,Nanjing 211106,China)

To improve the robustness of target detection under complex scene is an important and difficult challenge in the field of computer vision.The traditional moving target detection is based on the single feature of the target.In this paper,a new background modeling algorithm is proposed for object detection based on both color feature and texture feature.Firstly,the traditional color-based Gaussian mixture model is improved and the computation cost is reduced.Then the improved Gaussian mixture model is fused with the LBP texture model by D-S evidence theory.The experimental results show that the fusion of two features can be complementary.The proposed algorithm can detect the moving targets more rapidly and accurately compared with the traditional algorithm.

moving target; target detection; Gaussian mixture model; LBP texture model; D-S evidence theory

翟济云,周鑫,王从庆.基于多特征融合的运动目标检测[J].电光与控制，2017，24(7)：23-27.ZHAI J Y,ZHOU X,WANG C Q.A moving target detection method based on multi-feature fusion[J].Electronics Optics & Control,2017,24(7):23-27.

TP391.4

A

10.3969/j.issn.1671-637X.2017.07.005

2016-06-06

2017-04-17

国家自然科学基金(61573185)

翟济云(1991 —),女，江苏南通人，硕士生，研究方向为图像处理。时目标轮廓会被扩大，目标运动较慢时可能无法得到目标边界。因此，本文考虑采用背景建模法，该方法对运动目标提取的信息相对完整。