基于背景加权的联合颜色纹理直方图跟踪算法

黄清泉，陈 亮，庞 亮，张翼鹏

(1.解放军理工大学 通信工程学院，江苏 南京 210007； 2.中国人民解放军91202部队，辽宁 葫芦岛 125000；3.南京炮兵学院 作战实验中心，江苏 南京 210007)

基于背景加权的联合颜色纹理直方图跟踪算法

黄清泉1，陈 亮1，庞 亮2，张翼鹏3

(1.解放军理工大学 通信工程学院，江苏 南京 210007； 2.中国人民解放军91202部队，辽宁 葫芦岛 125000；3.南京炮兵学院 作战实验中心，江苏 南京 210007)

针对在背景与目标颜色相近以及复杂场景中跟踪不准确的问题，提出一种改进的背景加权Mean Shift (均值漂移) 跟踪算法，在目标颜色直方图中加入纹理特征，并将局部背景信息引入目标特征直方图中，以排除复杂背景的影响。实验证明，本文提出的算法在应对复杂背景及遮挡时比经典的Mean Shift算法以及背景加权Mean Shift算法更有效，且拥有不错的运行效率。

Mean Shift；颜色纹理直方图；背景加权

0 引言

运动目标跟踪一直是计算机视觉领域的热点问题， Mean Shift算法以其迭代次数少、调节参数少、实时性好、易于工程实现等优点广泛应用于各实时跟踪系统[1-2]。Cheng Y等[3]于1995年首次将Mean Shift(MS)算法[4]运用到模式识别，此后，Mean Shift 被广泛用于目标跟踪。但由于Mean Shift算法本身使用单一的颜色直方图表示目标特征，且使用了掺杂有背景信息的矩形目标模板，当目标处于背景与前景颜色相似的环境时，极易陷入局部最优，往往导致跟踪目标丢失。

为解决复杂场景中跟踪精度低的问题，Comaniciu[5]等提出了背景加权颜色直方图MS算法(Background-Weighted Histogram Mean Shift， BWH-MS)，在直方图中融入局部背 景信息，以降低背景特征对目标的影响。Ning Jifeng等[6]证明了BWH-MS算法没有真正实现将背景信息引入目标模型中，并未达到实际效果，并在BWH-MS算法基础上提出一种改进的背景加权(Corrected Background-Weighted Histogram, CBWH) MS跟踪算法，提高了算法在复杂场景的鲁棒性。

纹理信息是受背景颜色以及光照影响较小的特征，在跟踪时加入纹理信息可以提高跟踪的稳健性。局部二值模式(Local Binary Pattern，LBP)[7]和它的变形[8]局部三值模式(Local Ternary Pattern，LTP)，由于描述纹理特征时能力突出，有较高的计算效率，从而被广泛应用于跟踪系统[9]。参考文献[10-11]提取目标纹理及颜色直方图，跟踪能力有所提升。以上基于颜色纹理的跟踪算法虽然一定程度上提高了复杂场景的跟踪效果，但都没有考虑背景对目标定位的干扰。

为有效地解决以上问题，本文在CBWH-MS算法的基础上提出了一种联合R、G、B颜色和LBP纹理混合特征直方图描述目标，并使用背景加权的MeanShift算法。实验显示，本文改进的方法不仅在背景干扰大时跟踪精度更高，而且对于复杂场景的鲁棒性更强，同时具有较好的计算效率。

1 经典Mean Shift算法

Mean Shift算法是通过人机交互的方式在起始帧通过鼠标划定一个矩形目标区域，计算区域中像素点的各特征值在特征空间中的概率，得到目标模型；在后续帧中可能出现目标的候选区域得到目标候选模型；然后引入Bhattacharyya系数对目标模型和候选目标模型进行相似性度量，通过求Bhattacharyya系数的最大值得到目标的当前位置，实现对目标的跟踪。

1.1 目标模型

(1)

1.2 候选目标模型

(2)

1.3 目标模型和候选模型的相似性度量

(3)

式中，权重系数wi为：

(4)

在当前帧中不同的候选区域计算得到不同的候选模型，使得Bhattacharyya系数最小的候选区域即是本帧中目标的位置。MS算法就是在新的帧中确定一个候选位置，使得Bhattacharyya系数最大。

2 融合背景信息的颜色纹理直方图均值漂移跟踪算法

2.1 LBP纹理特征

LBP拥有旋转不变性、灰度不变性，是高效的局部纹理特征描述符，多被应用于特征识别、纹理分类等领域。LBP计算图像中各像素与其相邻像素的灰度值并进行比较，比较结果用二进制模式表示以描述纹理，计算公式为:

(5)

其中，目标像素的局部区域用P和R表示，P是邻域内像素的数目，R是中心像素与相邻像素的距离；gp是圆心为像素点(xc,yc)、半径为R的邻域内P个像素点的灰度；gc是中心像素点(xc,yc)的灰度。函数s(x)定义为：

(6)

但由式(5)表示的LBP不具有旋转不变性，并不适合用来对目标姿势改变下进行特征建模。对于这一缺点，参考文献[12]给出了一种改进的LBP，定义为：

(7)

其中，

(8)

2.2 联合纹理颜色直方图

(9)

(10)

(11)

2.3 基于背景权重的颜色纹理特征概率分布

由于跟踪目标通常使用矩形区域表示，不可避免地包含了一些背景信息，为了减少背景信息的干扰，本文将背景权重引入颜色纹理特征，重新定义目标模型和候选目标模型。

新的目标模型为：

(12)

新的候选目标模型为：

(13)

(14)

(15)

如果ρ<ε，表明背景变化较大，则更新背景模型：

2.4 颜色纹理直方图的背景加权MS算法

改进算法的步骤如下：

(2)赋值k←0；

(5)根据式(3)计算新位置y1；

改进后算法流程如图1所示。

图1 改进后算法流程图

3 实验结果

为验证本文改进算法的性能，挑选了几段标准的测试视频进行测试，并与只基于颜色直方图的传统MeanShift跟踪算法(MS)以及基于背景加权的颜色直方图跟踪算法(CBWH-MS)对比。在图2、图3中由上至下依次为经典MS算法、CBWH-MS算法、改进的颜色纹理直方图的背景加权MS算法的跟踪结果。

如图2所示，选取行人经过电线杆的视频作为测试视频，测试改进算法在遮挡情况下的鲁棒性。在经过电线杆以后，由于目标被遮挡，MS算法以及CBWH-MS算法难以区分遮挡环境中的目标，降低了跟踪效果。而改进算法能很好地定位到目标，说明改进算法相比于上述两种算法，在遮挡情况下具有更强的鲁棒性。

如图3所示，选取快速晃动的玩具猫的视频作为测试视频，测试改进算法在复杂背景下的抗干扰性及计算效率。在玩具猫快速运动的过程中，MS算法受到复杂背景的影响，难以从环境中区分出目标，跟踪效果不是很好； CBWH-MS算法加入了背景信息，但跟踪效果次于改进算法，说明融合了纹理特征的改进算法能够提高在复杂环境中的跟踪鲁棒性。同时，改进算法能够对快速运动的目标进行实时跟踪，具有实时性。

对三种算法的计算性能进行了比较，结果如表1所示，可以看出，本文算法效率低于经典的MS算法，但与CBWH-MS算法的效率相持平，能够满足实时性的要求。

图2 行人遮挡的跟踪

图3 复杂背景下的跟踪

算法平均每帧运行所需时间/sMS算法0.13CBWH-MS算法0.19本文改进算法0.21

4 结论

本文提出了一种颜色纹理混合直方图的背景加权均值漂移跟踪算法，融合了传统的RGB颜色直方图以及基于LBP表示的纹理特征。为降低背景对跟踪的影响，部分性地加权背景信息，从而提高背景复杂环境中的跟踪效果。相比于只基于颜色直方图的传统MeanShift跟踪算法(MS)以及基于全部背景更新的颜色直方图跟踪算法(CBWH-MS)，改进算法在背景复杂的场景中具有较好的计算效率，且能够对目标进行更有效、更准确的跟踪。

[1] 陈东岳，陈宗文．基于特征显著性的均值漂移鲁棒目标跟踪[J].上海交通大学学报,2013,47(11):1807-1812.

[2] 王宇雄，章毓晋，王晓华．4-D尺度空间中基于Meanshift的目标跟踪[J].电子与信息学报，2010,32(7):1626-1632.

[3] Cheng Yizong. Mean shift mode seeking and clustering [J]．IEEE Transactions on Pattern Analysis and Machine Intelligence, 1995, 17(8):790-799．

[4] FUKUNAGA K,HOSTELLERL D. The estimation of the gradient of a density function with applications in pattern recognition[J]. IEEE Transactions on Information Theory, 1975, 21(1): 32-40．

[5] COMANICIU D,RRAMESH V,Meer P. Real-time tracking of non-rigid objects using mean shift[C].IEEE Conference on Computer Vision and Pattern Recognition,2000: 142-149．

[6] Ning Jifeng, Zhang Lei, ZHANG D, et al. Robust mean shift tracking with corrected background-weighted histogram[J]. IET Computer Vision, 2010, 6(1):62-69.

[7] HEIKKIA M,PIETKAINEN M,SCHMID C.Description of interest regions with local binary patterns[J].Pattern Recognition, 2009, 42(3):425-426．

[8] TAN X,TRIGGS B.Enhanced local texture feature sets for face recognition under difficult lighting conditons[J]. Image Processing, 2010,19(6):1635-1650．

[9] 张红颖，胡正．融合局部三值数量和色度信息的均值漂移跟踪[J].电子与信息学报，2014, 36(3):624-630.

[10] 李冠彬，吴贺丰.基于颜色纹理直方图的带权分块均值漂移目标跟踪算法[J].计算机辅助设计与图形学学报，2011,23(12):2059-2066.

[11] 戴渊明，韦巍，林亦宁.基于颜色纹理特征的均值漂移目标跟踪算法[J]．浙江大学学报(工学版)，2012,46(2):212-217.

[12] HEIKKIA M,PIETIKAINEN M. A texture-based method for modeling the background and detecting moving objects[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2006, 28(4): 657-662.

A robust tracking combined with texture feature and back-ground-weighted color histogram

Huang Qingquan1, Chen Liang2, Pang Liang2, Zhang Yipeng3

(1.College of Communication Engineering, PLA University of Science and Technology, Nanjing 210007, China;2. Unit 91202 of PLA, Huludao 125000, China; 3. Operational Experiment Center,Nanjing Artillery Academy, Nanjing 210007, China)

In order to achieve accurate tracking in complex scenes and similar background color with objectives, this paper proposed an adaptive tracking combined background-weighted with color-texture histogram on the basis of Mean-Shift algorithm. Color-texture feature histogram are used to describe target characteristics while incorporating local background information for the sake of eliminating the interference of complex background. Experimental results show that the proposed method is more efficient in dealing with complex background and occlusion than the traditional Mean-Shift algorithm and Corrected Background-Weighted Mean-Shift algorithm, and it has good computational efficiency.

Mean Shift; color-texture histogram; background-weighted

TP391.41

A

1674-7720(2016)01-0056-04

黄清泉，陈亮，庞亮，等.基于背景加权的联合颜色纹理直方图跟踪算法[J].微型机与应用，2016，35(1)：56-59，70.

2015-09-02)

黄清泉(1993-)，通信作者，男，硕士研究生，主要研究方向：多媒体信息处理。E-mail:554834712@qq.com。

陈亮(1974-)，男，博士，教授，主要研究方向：多媒体信息处理、网络信息处理技术。

庞亮(1990-)，男，硕士，主要研究方向：语音信号处理。