基于卡尔曼和图像信息量的Mean Shift改进跟踪算法

王梦斐，王 沛，马 燕，张 倩

(上海师范大学 信息与机电工程学院，上海 200234 )

基于卡尔曼和图像信息量的Mean Shift改进跟踪算法

王梦斐，王 沛，马 燕，张 倩

(上海师范大学 信息与机电工程学院，上海 200234 )

Mean Shift算法在目标实时跟踪领域取得了广泛的应用，但是对于速度过快或尺度变化大的目标跟踪存在较大的缺陷。提出了一种基于Mean Shift和Kalman预测带宽的自适应跟踪算法。该算法提出以Kalman预测目标在下帧中的中心位置作为Mean Shift迭代初始位置；同时引入图像信息量度量方法以适应目标的尺度变化。实验结果表明，改进的跟踪算法能很好地跟踪尺度变化的目标，跟踪效果很好。

视觉跟踪；均值漂移；信息度量；卡尔曼

在计算机视觉中，基于视频的目标跟踪是一项关键技术，它是对视频序列中运动的目标进行检测、提取、识别和跟踪的过程。在智能监控、人机交互、视频检索、车辆监控等方面有着广泛的应用[1]。

Mean Shift跟踪算法[2-3]最初是由Fukunaga提出的一种无参概率密度估计方法，用于数据聚类，Comaniciu等将其应用到实时目标跟踪领域中。Mean Shift算法具有快速匹配的特性，因其简单、鲁棒、计算负荷小等特点在目标跟踪中被广为采用。

传统的Mean Shift算法使用的目标跟踪框大小是固定不变的，由目标初始大小确定固定的带宽。但是当跟踪目标尺度发生变化时，如果带宽保持不变，就会导致跟踪目标偏差或丢失。因此一个自适应窗口算法就很有必要。文献[4]对核窗宽进行±10%的修改，Bhattacharyya系数最大时的带宽即为最佳窗口带宽，此方法比较适合目标物体变小的情况。文献[5]将尺度空间理论运用于Mean Shift算法，带宽可以实时更改，但在复杂背景下的跟踪效果不佳且计算量大。

本文针对在Mean Shift算法中尺度固定不变的跟踪窗口不能有效地跟踪存在明显尺度变化的目标，引入图像信息量和Kalman滤波的方法，提出一种改进的带宽自适应跟踪方法。实验结果表明，改进算法取得较好的效果。

1 Mean Shift算法

Mean Shift算法[6]是在一个给定的条件下连续的迭代过程，首先对第一帧目标模型初始化，确定初始窗口及其大小，计算核函数加权下跟踪窗口内的直方图分布，然后计算后续图像帧的候选目标模型，以相似性函数最大来得出关于目标的Mean Shift向量，按照收敛性，不断迭代计算Mean Shift向量，使目标跟踪窗口沿相似度变化最快的方向移动，直到满足给定的收敛条件为止，从而实现跟踪目标。

2 自适应优化算法

2.1 Kalman目标运动估计

标准的Mean Shift跟踪算法是将前一帧的目标位置作为当前帧迭代的初始位置。如果跟踪目标运动速度较快或者目标尺度变化较大，极有可能出现跟踪目标丢失或误定位的问题。

为了解决跟踪目标丢失或误定位的问题，可以采用某些特定的方法来描述跟踪目标的运动特征及运动轨迹，从而提高算法的有效性。本文采用Kalman滤波算法，其作为一种有效的估计方法，被广泛应用在跟踪领域中[7]。采用Kalman滤波对跟踪目标的位置进行预测，将得到的运动目标位置估计值作为Mean Shift算法的初始迭代位置，然后在其邻域内寻找最佳匹配位置，在减小了运算量的同时，提高了算法的准确性。

2.2 图像信息量度量

Marr视觉理论[8]中指出，视觉处理得到的初始简图中要素的数量可作为一个很好的信息度量标准，其中的要素包括斑点、边缘、端点还有棒。并且已有文献根据这一理论[9]定义了两类特征点，因此，图像的信息量可以用图像中特征点的数量来衡量。根据图像信息量的理论，选择如图1a所示的汽车作为跟踪实验对象，对每帧图像内的汽车划定统一大小的矩形框使汽车正好全部包含在框内，并统计矩形框内的信息量。最后根据统计所得到的信息量，给出了随着汽车尺寸变小，信息量变化的关系，如图1b中曲线①。

图1 汽车试验示意图

由曲线①可知，当汽车从大变小时，即汽车与观察点的距离由近到远时，矩形跟踪框内信息量的变化趋势是由大变小的。图中曲线存在小幅波动，是因为跟踪物体周围存在干扰因素，但是误差在允许范围之内。因此，可以利用信息量大小的变化情况来自动更新跟踪窗口的大小。

图1b中曲线①②分别为原始跟踪窗口内的信息量与对跟踪窗口乘以0.8后信息量的变化关系。由曲线②可知，在跟踪窗口的宽度和高度变小之后，信息量的数值开始有增大的趋势，在经过中间一段相对平稳的过度后，最后缓慢下降。这是由于最初0.8倍大小的跟踪窗口并没有包含完整的跟踪目标，如图2a所示，所以它只含有货车的部分信息量。随着货车由近到远，由大变小，信息量会逐渐上升直到较小的跟踪窗口也刚好把货车包含在内，如图2b所示。最后，货车继续远去，在较小的跟踪窗口的信息量也会下降。

图2 信息量与目标大小的对应关系

根据原始跟踪窗口和缩小后跟踪窗口信息量的变化，可以得到如图3所示的关系。

图3 跟踪目标变小时信息量比值示意图

图3为两种信息量的比值，由此可知，当跟踪框内的跟踪目标尺寸变小时，两种信息量的比值的整体变化趋势是逐渐下降的。而如果跟踪窗口内的目标尺寸变大时，则如图4所示。

图4 跟踪目标变大时信息量示意图

图4中曲线①②分别为原始跟踪窗口内的信息量与对跟踪窗口乘以0.8后信息量的变化关系。

由上述分析可知：目标尺寸的变化和信息量的变化是存在一定关系的。因此可以得到如下尺度更新的方法。假如满足I1/I2-I3/I4>0，则目标尺寸可能减小，更新尺度比例为S，否则判断目标尺寸可能增大。具体计算如下

(1)

式中：I1，I2分别为当前帧在原始跟踪窗和乘以0.8系数中的信息量；I3，I4分别为目标变化下一帧后在原始跟踪窗和乘以0.8系数中的信息量。参数α，β的作用是分别是消除背景对信息量的影响，可根据不同的应用具体设定，计算得到跟踪窗口尺度变化的比例S后，就可以更新跟踪窗口的宽度W和高度H为

W=W(1+S)

(2)

H=H(1+S)

(3)

2.3 基于Kalman-MeanShift的自适应跟踪算法

本文所采用的基于图像信息量、Kalman及MeanShift窗口自适应跟踪算法的步骤为：首先确定起始搜索窗口的中心点位置。在开始连续的(k-1)帧中，将跟踪目标中心点位置的运动轨迹作为Kalman滤波器的观测值，用Kalman滤波器计算第k帧跟踪目标的位置，作为MeanShift目标的起始位置，MeanShift会在这个位置的附近区域递归寻找跟踪目标的最优位置，再以这个位置作为Kalman滤波器的观测值，继续进行计算。

具体的自适应跟踪算法流程如图5所示。

3 实验及结果分析

为了验证上面所提出的跟踪算法，分别进行了本文所提出的窗口自适应算法和采用标准的MeanShift算法进行视频跟踪实验。程序在MATLAB编程环境下调试，并在i5 2.0GHzCPU、2Gbyte内存的计算机上调试通过。

图6、图7给出两组图像序列，采用彩色图像序列对提出的目标跟踪算法进行了实验验证，分别验证跟踪目标变大与变小的情况，图像初始化是在第一帧中手工完成的。

其中，图6a和图7a为采用标准的MeanShift算法的跟踪结果；图6b和图7b为采用本文所提出的窗口自适应跟踪算法的跟踪结果。从图中可以看出，当跟踪目标变化尺度较大时，标准的MeanShift算法的跟踪框内不是包含了除跟踪目标以外的信息就是没有完全包含跟踪目标。当跟踪时间较长时，极有可能出现跟踪目标丢失或者误定位等问题。而本文所提出的跟踪算法，可根据跟踪窗口内图像信息量的变化进行跟踪窗口的尺度变化，来适应跟踪目标的尺寸变化，保证了跟踪的精确性。

图5 自适应跟踪算法流程

图6 运动目标变小时跟踪结果

图7 运动目标变大时跟踪结果

图8和图9是运动目标像素变化曲线。从图中可以看出，加入Kalman的Mean Shift与原算法相比，像素变化更加平稳，抖动性小。更重要的是，结合图7所示，加入Kalman的Mean Shift算法跟踪框的中心点位置更加逼近跟踪目标的中心点位置。

本文提出了一种新型的窗口自适应跟踪算法，改善了传统的Mean Shift跟踪算法中窗口不变的不足。加入Kalman滤波来初步预测跟踪目标的中心位置，在减少运算量的同时防止由于目标运动过快而造成的目标丢失。并通过论证图像信息量与目标尺度的关系加入了尺度更新项目，提高了跟踪的准确性。

图8 目标x轴坐标变化曲线

图9 目标y轴坐标变化曲线

[1]杨戈，刘宏.视觉跟踪算法综述[J].智能系统学报，2010，5(2)：95-105.

[2] YILMAZ A，JAVED O，SHAH M.Object tracking：a survey[J].ACM Computing Surveys， 2006，38(4)：13.

[3]COMANICIU D，RAMESH V，MEER P.Real-time tracking of non-rigid objects using mean shift[C]//Proc.IEEE Conference on Computer Vision and Pattern Recognition，2000.[S.l.]：IEEE，2000：142-149.

[4]COMANICIU D，RAMESH V，MEER P.Kernel-based object tracking[J].IEEE Trans.Pattern Analysis and Machine Intelligence，2003，25(5)：564-577.

[5]COLLINS R T.Mean-shift blob tracking through scale space[C]//Proc.IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2003.[S.l.]：IEEE，2003：234.

[6]顾幸方，茅耀斌，李秋洁.基于Mean Shift的视觉目标跟踪算法综述[J].计算机科学，2012，39(12)： 16-24.

[7]王文江，黄山，张洪斌.一种基于Mean Shift和Kalman预测的带宽自适应跟踪算法[J].计算机工程与科学，2013，35(5)：87-92.

[8]SONKA M，HLAVAC V，BOYLE R.Image processing，analysis，and machine vision[M].Toronto：Thomson，2008.

[9]WANG Z Y，CHENG Z X，TANG S J.Information measures of scale-space based on visual characters[J].Chinese Journal of Image and Graphics，2005(10)：922-928.

Improved Mean Shift Tracking Algorithm Based on Kalman and Image Information Measure Method

WANG Mengfei，WANG Pei，MA Yan，ZHANG Qian

(CollegeofMechanicalandElectronicEngineering，ShanghaiNormalUniversity，Shanghai200234，China)

Mean Shift algorithm is widely used in high real-time field of target tracking.However，it cannot adapt to the size change of the target or locate accurately when the target is moving fast.In this article，a bandwidth-adaptive tracking algorithm based on Mean Shift and Kalman prediction is proposed.The Kalman filter is used in the algorithm to predict the positions of fast moving objects in the successive frame，which are as the initial positions for Mean Shift tracking.Also，the information measure of multi-scale image in scale space is used to differentiate the scale.The experimental results indicate that the improved algorithm can adapt to the size change of the target and the tracking result is improved.

visual tracking；Mean Shift；information measure；Kalman

国家自然科学基金项目(61373004)

TP391.41

A

10.16280/j.videoe.2015.05.011

2014-02-14

【本文献信息】王梦斐，王沛，马燕,等.基于卡尔曼和图像信息量的Mean Shift改进跟踪算法[J].电视技术,2015，39(5).

王梦斐(1989— )，女，硕士生，主研图像处理、视频跟踪。

责任编辑：时 雯