基于Meanshift和粒子滤波的目标跟踪方法

徐　眯, 徐成鸿, 舒　军

(1武汉理工大学 自动化学院，武汉 430070；2湖北工业大学，武汉 430068)



基于Meanshift和粒子滤波的目标跟踪方法

徐眯1, 徐成鸿2, 舒军2

(1武汉理工大学 自动化学院，武汉 430070；2湖北工业大学，武汉 430068)

摘要：Meanshift是一种目标跟踪的有效算法。但是，当光照条件变化快或目标被遮挡的时候表现很差。与之相比，基于粒子滤波的目标跟踪有一个很好的表现，但是跟踪速度比Meanshift慢很多。由于使用单个算法的限制，本文提出了一种基于Meanshift和粒子滤波相结合的新的算法。此种方法构建了反馈系统，Meanshift技术被用于初始跟踪，当Meanshift的跟踪结果不可信时，通过粒子滤波来提高跟踪效果。RGB颜色直方图用于表征图像的特征，Bhattacharyya系数来衡量目标模型与候选模型的相似度。通过对不同视频的跟踪实验证明，提出的这种方法在目标发生移变、旋转、缩放时都能很好的表现，而且实现了一个满意的跟踪速度。

关键词：目标跟踪；Meanshift；粒子滤波；算法融合

0引言

目标跟踪是对图像序列中运动目标进行定位的过程，跟踪方法的研究一直是智能视频监控、交通管理、人体行为分析和人机感知接口等领域研究的关键和难点问题。目标跟踪的挑战主要集中在光照变化、复杂背景干扰、目标特征不稳定和易被遮挡等方面。现有的目标跟踪算法可以分为确定性跟踪算法和随机性跟踪算法两大类。确定性跟踪算法通常可以转化为最优化问题，即寻找目标的最优匹配。典型的如Meanshift算法[2-8]，采用的是“峰值”跟踪思想，即它总是寻找最相似的区域，具有高实时性。但仍存在目标与背景相似、光照条件变化快或目标被遮挡的情况下不能保证跟踪鲁棒性的问题。随机性跟踪算法是目标状态估计算法，如粒子滤波算法[6-9]，其成功用于目标跟踪的主要原因在于采用多个粒子，有效地表达了跟踪的不确定性，并且能够很好地处理非线性、非高斯跟踪问题，容易实现。但是其计算量大，会大大降低跟踪速度，且存在粒子退化及不能实时跟踪的问题。

为了解决上述跟踪中存在的问题，研究者利用这两种算法的优点，做出了相应的融合。马丽等[ 12]首先判断运动目标是否被遮挡，无遮挡时用Meanshift算法，若遮挡发生转换为粒子滤波方法，判断遮挡消失后恢复Meanshift算法。这种方法在一定程度上减少了计算量，但每次跟踪都需要判断遮挡或是遮挡结束，计算比较费时。由于背景干扰的存在，判断遮挡本身就不一定准确，在非遮挡情况下完全依赖于Meanshift 跟踪算法，在Meanshift 跟踪不准确的情况下依然会跟丢目标。

本文针对Meanshift跟踪算法能快速收敛的特性和粒子滤波跟踪算法准确度高的特点，研究如何结合这两种算法能更好地发挥各自的优点，使得跟踪效果较单独使用其中一种算法有非常明显的提高。首先简单描述了Meanshift 算法和粒子滤波算法，然后给出本文提出的跟踪方法的思想及其主要实现步骤，最后通过实验结果验证了所提出算法的实时性和鲁棒性。

1MEAN-SHIFT

Meanshift 算法[2-8]是一种基于非参数的核密度估计理论，在概率空间中求解概率密度极值的优化算法。在目标跟踪中，通过目标检测或手工确定目标，计算其在特征空间中的直方图，用相同的方法计算核函数加权下的目标窗口的直方图分布及当前帧对应候选模型窗口的直方图分布，选择两个直方图间的Bhattacharyya系数来衡量目标模型与候选模型的相似度，那么跟踪的目标就是在当前帧寻找使得Bhattacharyya最大的位置y。

其中，h是核函数窗口的大小，K(‖·‖2)为核函数。若{xi}i=1,…,nh为候选模型归一化的像素位置，b(xi)表示处位置xi像素的RGB颜色索引值，则特征u=1…m在候选模型中的概率定义如下:

C与Ch是归一化系数。

bahattacharyya系数定义如下：

2粒子滤波

结合Figure1，粒子滤波的跟踪流程如下：

(1)初始化。随机的生成N个具有相同概率的粒子在目标可能位于的区域。这里初始化15个粒子展示一下。

(2)计算每个粒子的权重。以每个粒子为中心形成不同的候选区域，计算描述目标直方图与候选区域的直方图相似程度的bahattacharyya系数，值越大，被赋予的权重越大。展示被初始化的15个粒子的置信系数。

(3)标准化权重。确保所有粒子权重的和等于1。

(4)输出阶段。根据每个粒子的权重和位置，计算目标最可能位于的新的位置。

(5)重采样。移除权值小的粒子，权值大的粒子被分成多个粒子，可见③确保粒子的总数仍然是N。

(6)如果继续跟踪，跳转到(2)，否则跳出

Figure 1. ①,② 和③代表通过跟踪一帧X的粒子变化，④，⑤和⑥代表帧X+1粒子的变化

3提出的算法

粒子滤波最关键的步骤是重采样，因为我们在这个阶段需要计算每个粒子的置信系数，在不同的情况下有不同的计算置信系数的方法，我们提出的方法是这样计算的。

假设一帧中粒子的分部如Figure 2。靠近这个图中心的黑色矩形框是根据前帧计算出来的跟踪结果，现在以它为模型。对于一个粒子，得到一个以这个粒子为中心并且大小和模型一样的区域，如图中位于右上角的灰色矩形框。比较两个区域的直方图，并计算表现两个区域相似度的Bahattacharyya系数 ，可以采用这个系数描述粒子的置信系数，最后归一化粒子的权重。

Figure 2　靠近这个图中心的黑色矩形框是根据前帧计算出来的跟踪结果，而位于此图右上角的灰色矩形框是用来与前者比较的

提出的结合Meanshift和粒子滤波进行跟踪的主要步骤如下：

(1) 初始化目标模型A。

(2) 从视频中读取一帧。

(3) 首先基于Meanshift进行跟踪。

(4) 计算跟踪结果，并定义区域为候选区域B.

(5) 计算描述区域A与B的相似程度的Bahattacharyya系数Ba(A,B)。

(6) 如果Ba(A,B)不小于事先设定的阀值C，意味着跟踪结果是可信的，通过直方图融合更新模型A，然后转到2)；否则继续。

(7) 如果单独基于Meanshift的跟踪不可信，在区域D中采用粒子滤波算法，D的中心与B相同，长度与宽度是B的两倍。

(8) 计算跟踪结果，通过直方图融合更新模型A, 转到2)。

(9) 如果跟踪结束，跳出。

4实验与分析

为了证实本文提出的方法的优越性，进行了一系列的目标跟踪实验。如下给出了两组两者的比较实验。实验结果显示本文提出的方法相比单独使用Meanshift或粒子滤波具有更高的可信度。

在Figure 3和4中，分别给出了Meanshift和提出方法对一辆快速移动的小车的跟踪结果。我们的摄像机跟随着小车的移动，所以我们拍摄的小车存在旋转，而且它的比例也发生了变化。跟踪结果显示：提出的方法在目标发生平移、旋转、缩放时有很好的表现，而Meanshift算法不能准确地跟踪目标，在第240帧时几乎要跟丢目标。

Figure 3　仅用meanshift方法跟踪一辆快速移动、旋转、缩放的车的结果

Figure 4　本文提出的方法跟踪一辆快速移动、旋转、缩放的车的结果

在另一个例子如Figure5和6，我们想要跟踪的人的穿着与道路的颜色非常接近。跟踪结果显示本文提出的方法对目标颜色与背景颜色相似的情形具有很好的鲁棒性，然而单独使用粒子滤波进行跟踪会跟丢目标。

Figure 5　用粒子滤波方法跟踪一个衣服颜色与背景非常相似的人的结果

Figure 6　本文提出的方法跟踪一个衣服颜色与背景非常相似的人的结果

以上实验结果可以得出：传统的Meanshift算法由于仅用颜色直方图描述图像的特征，存在目标颜色与背景相似时不能准确跟踪的缺陷，且当目标运动较快时，由于模板不能实时更新，很容易跟踪失败。粒子滤波的不足在于粒子退化以及实时性跟踪。实验结果显示本文提出的方法克服了以上不足，在目标发生移变、旋转、缩放、目标颜色与背景相似时都能很好的表现，较单独使用Meanshift或粒子滤波更高效、更精确。

5结束语

本文首先提出了一种结合meanshift和粒子滤波的新算法，然后分别对两种跟踪算法进行了研究，对影响跟踪效果的一些主要原因进行了描述，最后实施了提出的新方法。通过不同视频的跟踪实验证明，提出的这种方法在目标发生移变、旋转、缩放时都能很好的表现，而且实现了一个满意的跟踪速度。

由于LBP纹理特征[2]具有光照和旋转不变性，在未来的研究中通过结合颜色特征和LBP纹理特征可能实现一个更鲁棒性的跟踪效果。

参考文献:

[1] Ling Li，Yang Li，Yuan Luo，Research on Key Algorithm of Human Motion Tracking for Intelligent Rehabilitation System[C]. Proceedings of 24th Chinese Control and Decision Conference,2012:1288-1292.

[2] Xiang Zhang,Yuan Ming.An Improved Mean Shift Tracking Algorithm Based On Color And Texture Feature[C]. Proceedings of the 2010 International Conference on Wavelet Analysis and Pattern Recognition, 2010: 38-43.

[3] Du K, Ju Y, Jin Y. MeanShift tracking algorithm with adaptive block color histogram[C].IEEE Transactions on Special Fund for Basic Scientific Research in the Central University, 2012:2692-2695.

[4] Jiawei He,Yingyun Yang,Multi-iterative Tracking Method using Meanshift Based on Kalman Filter[C].IEEE,2014:22-27

[5] Intekhab Alam, Object Tracking in Video Sequences Using Information Fusion Principles[C]. IEEE Trans. On 5th Computer Science and Electronic Engineering Conference,2015:146-151.

[6] Da Tang,Yu Jin Zhang,Combining Mean-shift and Particle Filter for Object Tracking[C]. International Conference on Image and Graphics,2011:771-776

[7]张颖颖，王红娟，黄义定.基于meanshift和粒子滤波的行人目标跟踪方法[J].计算机与现代化，2012:40-43

[8]马丽，常发亮，乔谊正. 基于均值漂移算法和粒子滤波算法的目标跟踪[J].模式识别与人工智能， 2006, 19(6) :787-793．

[9] Kyuseo Han, Johnny Park ,Avinash C. Kak, Robust Tracking of Articulated Human Movements through Component-based Multiple Instance Learning with Particle Filtering[C]. IEEE,2011:847-853.

[10] Wu lianhui, Zhang Guoyun, Guo Longyuan ,Study The Improved CAMSHIFT Algorithm to Detect the Moving Object in Fisheye Image[C]. IEEE Trans. On International Conference on Mechatronic Sciences,2013:1017-1020.

[11]M.Mehta, C.Goyal, M.Srivastava and R.Jain, Real-time Object Detection and Tracking: Histogram Matching and Kalman Filter Approach[C]. The 2nd International Conference on Computer and Automation Engineering, 5: 796-801, 2010.

[12]C.Y Liu and N.H.C Yung, Scale-Adaptive Spatial Appearance Feature Density Approximation for Object Tracking[C]. IEEE Transactions onIntelligent Transportation Systems, 1: 284-290, 2011.

Object Tracking Method Based on Mean-shift and Particle Filter

XU Mi1, XU Cheng-hong2, SHU Jun2

(1.School of Automation， Wuhan University of Technology，Wuhan 430070, China；2.Hubei University of Technology, Wuhan 430068, China)

Abstract:Meanshift is an effective algorithm for object tacking. However, it has a poor performance when the illumination condition changes fast or the tracking target are shadowed. By contract, particle filter based object tracking has a better tracking performance, but the tracking speed is much slower compared to mean-shift. Owing to the limitations of the use of a single algorithm, a novel object tracking method based on both meanshift and particle filter is proposed in this paper. A system with feedback has been constructed by the proposed method, in which the mean-shift technique is used for initial registration and the particle filter is called to improve the performance of tracking when the tracking result with meanshift is unconvincing. RGB color histogram is exploited as image feature and Bhattacharyya coefficient is used for measuring the similarity between object model and candidate regions. Tracking experiments on various videos show that the proposed method performs well and achieves a satisfying tracking speed when targeted objects go through shift-variant, rotation and scaling.

Key words:object tracking; mean-shift; particle filter; algorithm fusion

收稿日期：2015-11-25

基金项目：湖北省教育厅科学技术研究计划优秀中青年人才项目资助(Q20121409)

作者简介：徐眯(1990-)，女，湖北仙桃人，硕士研究生，研究方向为控制科学与工程。

中图分类号：TP391

文献标识码：A

文章编号：1674-344X(2016)02-0022-05