基于多模态背景模型和霍夫森林的红外目标跟踪

， ，，

(1.上海航天控制技术研究所，上海 201109; 2.西北工业大学 航天学院，西安 710072)

0 引言

目标跟踪是计算机视觉研究领域的一个重要分支，广泛应用于视频监控、行为和事件分析和精确制导等方面，跟踪过程中光照变化、外观形变和背景遮挡等因素对其造成了极大的影响。近年来，基于判别式模型的算法在目标跟踪领域获得了广泛的应用[1]，通过训练分类器将跟踪问题转化为目标和背景的分类过程，以初始跟踪矩形框内的目标样本作为正样本，矩形框外的区域作为负样本，通过特征提取和分类求解预测目标在下一帧的位置。由于目标形状的多变性，以矩形框作为跟踪区域不可避免的会引入大量的背景信息，使模型更新的过程中误差逐步积累，造成跟踪框的漂移。相较于可见光目标跟踪而言，红外目标分辨率和信噪比较低[2]，更易受背景杂波影响，因而迫切需要一种对目标模型更为精确的表征。部件级的目标表观模型在应对形变和部分遮挡带来的目标外观变化时仍能保持一定的鲁棒性，Felzenszwalb[2]等提出的可形变部件模型(Deformable Part Model，DPM)在物体检测领域取得了巨大的成功，但DPM模型需要待检测物体类别的数据集进行离线训练，较难应用于在线通用目标的跟踪。Kwon and Lee[4]等提出的基于目标部件拓扑结构的跟踪模型在目标发生大量形变时取得了较好的效果，但引入的蒙特卡洛采样使算法的实时性较差。Gall J[5]等对图像进行分解，构建霍夫森林将图像块映射成对目标重心位置的投票实现目标检测。Godec M[6]等将霍夫森林进一步扩展至目标跟踪领域，将grab-cut粗分割和目标区域采样进行结合，避免背景区域引入的杂波信息对目标样本造成的干扰。由Gall J[5]和Godec M[6]等提出的跟踪算法在目标和背景区分度比较明显的场景中取得了较好的跟踪效果，由于红外场景中目标边缘模糊，纹理信息缺乏，与背景区域形成了一定的耦合性，直接将上述算法应用于红外目标跟踪时，难以对目标进行精确定位。

本文在上述算法的基础上，引入背景建模的思想，将目标和背景的特征信息整体融入跟踪框架，对霍夫森林跟踪算法进行改进。基于局部二值模式 (Local Binary Pattern)描述符来表示背景纹理，同时引入光度不变性灰度特征，应对整体光照的变化，使得背景模型对局部或整体亮度的扰动均有一定的鲁棒性。背景建模提供区域信息作为精确采样的基础，前景区域和背景区域分别作为正负样本集代入霍夫森林进行样本训练，获取高置信度的样本区作为目标跟踪区域，保证了模型更新的准确度和跟踪的稳定性。

1 特征描述

1.1 LBP局部纹理特征

LBP(local binary patterns，局部二值模式)是度量图像局部纹理特征的算子，在计算机视觉的诸多领域得到了广泛的应用[7]，它的计算如下式所示，其中(xc,yc)为中心像素的坐标，ip为第p个邻域像素的灰度值，ic为中心像素的灰度值，s(x)为符号函数。

(1)

(2)

以图 1为例，在中心像素65的3*3邻域内，相邻的8个像素分别与其进行比较，若大于中心像素则相应位置值为1，反之则为0，最后形成的8位二进制序列即为中心像素的LBP值。

图1 LBP局部纹理特征

1.2 光度不变性灰度特征

Kyungnam Kim[8]等通过改变光照条件，观测由于亮度改变而发生的像素值变化，主要表现为观测像素值与颜色模型中原点间连线方向的改变，故提出将像素值在颜色空间中的夹角作为前景和背景的判断依据，

(3)

(4)

(5)

(6)

1.3 特征距离测度

通过LBP局部纹理特征和光度不变性灰度特征对图像进行描述后，进一步地需要对图像不同区域间的相似性进行度量，定义LBP局部纹理特征如式(7)所示，其中Dtext(LBPa,LBPb)代表区域a和区域b之间的局部纹理特征距离。

(7)

(8)

(9)

基于纹理特征距离和光度特征距离建立特征距离测度如式(10)所示，分别计算像素x在时刻t与上一帧k模式的纹理特征距离和光度特征距离，其中λ为距离融合系数。

(10)

2 多模态背景建模

(11)

(12)

(13)

(14)

(15)

图2 基于多模态背景建模提取的区域

3 霍夫森林

霍夫森林是随机森林和霍夫投票算法的结合[5]，在随机森林的学习框架的基础上融合目标的位置信息通过广义霍夫变换进行投票，构建决策树对图像块进行训练[10]。

3.1 随机森林

(16)

U(S)=|S|·Entropy{ci}=|S|·

(-clogc-(1-c)log(1-c))

(17)

(18)

Obj(tk)={U(S)，D(S)}

(19)

(20)

3.2 霍夫投票

p(E(x)|I(y))=p(E(x)，c(y)=1|I(y))=

p(E(x)|c(y)=1,I(y))·p(c(y)=1|I(y))=

p(d(y)=y-x|c(y)=1,I(y))·p(c(y)=1|I(y))

(21)

p(E(x)|I(y);T)=

(22)

(23)

(24)

4 红外目标跟踪

基于多模态背景模型和霍夫森林的红外目标跟踪的算法整体流程如图 3所示，首先基于建立的特征描述子提取红外图像特征，然后通过计算各区域序列的特征距离和背景模式列表确定匹配的背景模式，进而由背景建模提取前景区域和背景区域。以背景模型提供的区域信息为基础进行区域采样，在前景区和背景区分别采集图像块作为正负样本集送入随机森林进行训练，训练过程中根据图像块的类别信息和位置信息对决策树进行构建，最终训练完成的决策树叶结点记录了霍夫投票所需的信息，通过统计不同图像块对目标中心进行概率投票的值得到目标置信度图，置信度图反映了目标处于不同位置的概率，最后根据置信度图完成目标区域定位。

图3 红外目标跟踪算法流程图

5 实验结果分析

实验硬件系统为Intel(R) Core(TM) i3-4030U 1.90 GHz的CPU，4 GB内存，操作系统为Windows 7，运行软件为Visual Studio 2010。实验采用OTCBVS(Object Tracking and Classification in and Beyond the Visible Spectrum)红外公开数据集中的行人序列进行测试分析，图像分辨率为320*240。通过对跟踪结果的定性分析和定量分析，对本文提出的算法与Godec M[6]提出的基于霍夫森林的跟踪算法进行比较。

选取跟踪序列中部分帧的跟踪结果对算法的性能进行分析，图4为第16帧的目标区域置信度分布对比，左图为原始的基于霍夫森林的跟踪算法置信度分布，图中的高亮区即为算法的高置信度区。从左图中可以看出，经过霍夫投票后的目标置信度图受背景杂波影响，高置信度区分布较分散，部分背景区域也覆盖于高置信度区域内。图 4的右图为本文提出的融入背景建模后置信度区的分布图，对比第16帧的目标实际位置(见图 5中的第16帧跟踪结果)，可以看出经过背景建模后，置信度分布图排除了大量背景杂波的干扰，高置信度区域得到了有效的收缩，将关注区更集中于目标区域。

图5分别为第16、33和82帧的跟踪结果，左侧为原始算法的跟踪结果，右侧为本文提出改进算法后的跟踪结果。从左侧的跟踪结果中可以看出当目标靠近背景中的高亮干扰源时，由于背景杂波的灰度分布特征与目标本身的灰度分布存在一定的相似性，原始算法易将其误认为目标区，并错误地将其引入到了后续的模型更新过程中，造成后续跟踪过程的漂移。右侧的跟踪结果中，经过背景建模后霍夫投票的置信度分布图排除了背景中的干扰源，较好地保留了目标的区域信息，将高概率区集中于目标本身，跟踪区域能够更有效地锁定目标。

定义跟踪误差为每帧目标中心标注位置(xgt,ygt)与跟踪的目标位置(xt,yt)之间的欧氏距离，如式(25)所示，跟踪误差曲线如图 6所示，其中加*号曲线为本文提出的算法。从原始算法的误差跟踪曲线中可以看出原始算法的跟踪误差波动范围较大，进一步地对误差曲线进行分析，可以看到原始误差曲线有两处较明显的波峰，是因为目标向背景中的高亮区域靠近，原始算法将背景中的这部分干扰区域和目标同时锁定(见图 5左侧的跟踪结果)，造成跟踪误差曲线的波动。相较于原始算法，融合背景建模后误差曲线(图 6中加*号曲线)有了明显下降，原先的误差曲线两处较大的波动也得到了有效的抑制。

图4 目标区域置信度图

图5 部分帧跟踪结果

(25)

图6 跟踪误差曲线

6 结论

本文针对红外目标跟踪过程中背景杂波和目标形变对目标跟踪引起的干扰，提出了一种基于多模态背景模型和霍夫森林的红外目标跟踪算法，通过特征描述和多模态背景建模提取背景区域和前景区域作为霍夫森林的训练输入，通过区域分块采样和在线样本更新，获得目标信息的鲁棒表征。由霍夫投票输出对目标中心的投票概率图，生成目标区域分布置信度图，最后根据置信度图完成目标区域定位。相较于基于矩形框对目标进行跟踪的算法，本文提出的算法提高了对目标区域定位的准确性，通过背景建模和目标区域分解较好地保留了目标的结构和形状信息，避免了模型更新时过多地引入背景杂波对跟踪过程造成的影响。实验结果表明在背景杂波和目标形变对目标跟踪造成一定程度干扰的情况下，所提算法仍能保持跟踪的稳定性。

参考文献：

[1] Wang N, Shi J, Yeung D Y, et al. Understanding and diagnosing visual tracking systems[A].Proceedings of the IEEE International Conference on Computer Vision[C]. 2015: 3101-3109.

[2] 杨福才, 杨德东, 毛 宁, 等. 基于稀疏编码直方图的稳健红外目标跟踪[J]. 光学学报, 2017, 37(11): 1115002.

[3] Felzenszwalb P F, Girshick R B, McAllester D, et al. Object detection with discriminatively trained part-based models[J]. IEEE transactions on pattern analysis and machine intelligence, 2010, 32(9): 1627-1645.

[4] Kwon J, Lee K M. Tracking of a non-rigid object via patch-based dynamic appearance modeling and adaptive basin hopping monte carlo sampling[A].Computer Vision and Pattern Recognition[C]. 2009. CVPR 2009. IEEE Conference on. IEEE, 2009: 1208-1215.

[5] Gall J, Lempitsky V. Class-specific hough forests for object detection[M].Decision forests for computer vision and medical image analysis. Springer London, 2013: 143-157.

[6] Godec M, Roth P M, Bischof H. Hough-based tracking of non-rigid objects[J]. Computer Vision and Image Understanding, 2013, 117(10): 1245-1256.

[7] 董恩增, 苏丽娅, 付艳红, 等. 融合颜色纹理特征的自适应粒子滤波跟踪算法[J]. 计算机测量与控制, 2014(4):68.

[8] Kim K, Chalidabhongse T H, Harwood D, et al. Real-time foreground-background segmentation using codebook model[J]. Real-time imaging, 2005, 11(3): 172-185.

[9] Yao J, Odobez J M. Multi-layer background subtraction based on color and texture[A].Computer Vision and Pattern Recognition, 2007. CVPR’07. IEEE Conference on[C]. IEEE, 2007: 1-8.

[10] 鲁奉军, 王世刚, 赵文婷, 等. 基于可判别叶子的霍夫森林目标跟踪算法[J]. 吉林大学学报 (信息科学版), 2016(1): 86-91.