联合Kalman和自适应Mean-Shift稳健相关视频跟踪方法

李静，刘丽萍，车进（宁夏大学物理电气信息学院，宁夏银川750021）

联合Kalman和自适应Mean-Shift稳健相关视频跟踪方法

李静，刘丽萍，车进
（宁夏大学物理电气信息学院，宁夏银川750021）

相关视频跟踪器存在计算量大、模板漂移、对机动目标，杂波影响大以及遮挡情况无法跟踪的问题，而Kalman滤波能通过利用相关跟踪器的输出结果来预测目标在下一帧里在图像中的坐标，可以在高概率的小范围内对目标进行搜索，以大幅减小计算量和杂波的影响。然后，当跟踪器由于受到杂波或遮挡的影响而提供了错误的测量信息时，跟踪的性能将大幅下降。大量研究表明，Mean-Shift跟踪器具有运算速度快和跟踪性能好的特点，而当目标柱状图和待选图像区域相近时，其跟踪性能也将大幅下降，甚至无法进行跟踪。为了解决该问题，结合上述3种思想提出了一种改进的、稳健的视频目标跟踪方法，并通过理论分析和仿真结果表明了算法的有效性和优越性。

目标跟踪；模板漂移；遮挡；Mean-Shift；Kalman滤波

【本文献信息】李静，刘丽萍，车进.联合Kalman和自适应Mean-Shift稳健相关视频跟踪方法［J］.电视技术，2015，39（10）.

视频目标跟踪的目的是为了持续得到目标在视频图像帧中的位置［1］，在商业和军事方面均具有重要意义［2-3］，尽管国内外已经有很多相关研究［4-5］，杂波、遮挡、目标复杂运动、旋转以及外形的快速变化等原因导致了这依然是一个研究难点。针对于此，本文结合相关跟踪，Kalman滤波和自适应Mean-Shift等方法，提出了启发性方法来实现对目标的稳健跟踪。并在以下几个方面均提出了创新性思想：1）依据Mean-Shift结果，实现了在相关跟踪结果和Kalman预测结果之间的自适应选择；2）自适应更新跟踪模板以适应目标变化；3）依据当前帧图像的相关峰值来自适应的选择门限；4）自适应更新Mean-Shift搜索窗口大小以适应目标大小变化等方面。并通过理论分析和仿真结果验证了算法的有效性。

1　Kalman相关跟踪器

Kalman相关跟踪器中，跟踪模板可采用目标子图像，同时目标外观模型可由边缘增强的模板来表示，相应的搜索窗口也是采用边缘增强之后的，以获得更加相似的测量结果。边缘增强包含如下步骤：高斯平滑以消除图像噪声影响、图像梯度处理、归一化和门限化处理［6］。算法中的搜索窗口大小不是保持不变的，而是在Kalman滤波的辅助下进行动态更新。基于此，跟踪器计算量得到较大改善，且能将大部分杂波拒绝到跟踪窗口之外，以得到更好的跟踪性能［7］。同时确认目标大小也是进行目标有效和稳健跟踪的重要方面，可通过如下两个步骤完成：1）在搜索空间中将比目标小10%到大10%的模板与目标进行关联，从而关联度最大的模板大小即为新的模板大小［7-9］；2）利用最匹配矩形调整算法来调整模板以使得目标一直处于模板中央并解决模板漂移问题［10］。进而，利用归一化相关在下一帧图像的搜索窗口内进行模板匹配，相应峰值的位置即为目标在搜索窗口中的位置，且当相关值峰值大于门限值时相应的匹配认为是成功有效的。则进行下一步目标模板更新。

1.1模板更新方法

好的模板更新方法需要解决目标漂移和更新停滞问题，即需要满足：1）最大程度地包含目标的改变；2）包含尽可能小的背景；3）当模板由于背景和噪声像素的影响而更新缓慢现象时，更新方法具有恢复模板以得到更好目标表示的能力。在本文方法中，由用户选择的第一个目标被认为是最真实的，因此在整个跟踪过程中被保留在缓存中，表示为T1。Tn表示第n-1帧图像中得到的最新模板，其包含目标最大的改变。可知Tn包含噪声、背景、突然光照变化或者目标模糊强度的变化。因此上一步模板Tn-1也需要保存在缓存中，以便判断Tn的更新是正确的或者当更新判定为错误时，将Tn恢复为Tn-1。在第n帧图像中，通过如下步骤来得到更好的模板表示：

将Tn和Tn-1均在搜索窗口中进行相关搜索，得到相应的峰值C（n）peak和C（n-1）peak，当C（n）peak≥C（n-1）peak时，认为最后一次更新是正确有效的，且Cpeak=C（n）peak；否则，用Tn-1替代Tn，且Cpeak=C（n-1）peak。且对于第2次更新的情况，T1在搜索窗口中进行相关，相应的峰值表示为C（1）peak。相应的更新过程可表示为

式中：0＜ω≤1，本文选取ω=0.25。相应的模板更新可表示为

式中：oldCpeak为上一帧图像相关峰值，0≤γ≤1，0≤σ≤1，0≤δ≤1，λ＞0；t为自适应门限。本文中各个参数取值为：σ=0.035，δ=0.3，λ=3。

1.2门限自适应选取方法

固定门限方法被用在大量文献中［6-8］，该方法对于所有的视频帧图像均采用固定的门限而不考虑每帧图像里的相关信息，因此这种方法对于目标机动出现的子图像快速变化的情况会失效。相关峰值间接提供了目标变化的启发式信息，以便提出自适应的门限值。例如，当前的归一化相关峰值为0.85，表明了其值很有可能在下一帧图像中变小，因此对于即将到来的一帧图像，门限应该设置比当前小。基于此，自适应方法利用当前的目标匹配信息来设置门限，而不是采用统一固定的门限值。为了避免自适应门限值太小的情况，本文对门限设置了下限，则门限选择可表示为

式中：0.1≤τ≤0.17，0＜tl＜1，该范围表示目标在下一帧图像中可能产生最大17%的变化，该取值由经验获得，且通过试验发现可很好地适用于慢速或快速机动的目标。本文取值为τ=0.12，tl=0.65。

2　基于Kalman滤波的遮挡处理

当在跟踪场景中，目标隐藏在其他物体之后时，称遮挡发生，这对于所有的视频跟踪都是一个至关重要的问题。相关峰值可作为遮挡发生的指示器，因为在遮挡突然发生时，其值也会突然变小。当峰值小于门限时，则停止模板更新，且认为相关跟踪器输出的目标位置已经没有信任价值。而在此之前，Kalman滤波预测的目标位置则可当成目标当前位置，且滤波器状态依据自己的预测进行更新，同时门限值逐步减小。这是因为在遮挡期间目标的变化并没有合并到模板中，因此相关峰值可能变得小于门限。进一步，考虑到遮挡期间目标速度和运动方向存在变化的可能性，动态生成的搜索窗口也应逐渐变大。过程中，模板直接与各帧图像相关而不是Kalman相关滤波得到的结果，直到匹配峰值超过门限。

3　自适应快速Mean-Shift方法

Mean-Shift依靠其聚合与模式寻找能力被广泛应用于图像分割和跟踪领域，它是一种迭代方法，通过随机产生中心点位置，查找邻居点的均值，进而将中心点移动到找到的均值点的位置，方法终止于位置变化很小或者达到一定的迭代次数［11］。为了找到邻居点的加权均值，需要有一个核函数来对邻居的各个点进行加权。对于归一化核函数，图像积分技术可用于快速计算均值漂移［11］。连续两幅图像的变化往往表征了目标的移动区域，且在跟踪场景中，该区域可认为是目标的可能候选，其Mean-Shift方法可用来找到两幅图像中的差别区域。基于此，Beleznai等人提出了基于归一化框架的快速Mean-Shift方法来进行人物检测和跟踪［11-12］。本文采用该方法，并进行了框架大小自适应的改进。此外，本文仅计算搜索窗口的变化而不是整个搜索窗口，通过这种方式，保持了搜索窗口的大小不变，而其差异通过对现在的搜索窗口和前一帧搜索窗口做差得到，可避免不同图像里的异常点和过大的运动区域。从而，计算过程变得更加有效和快速，因为这个方法中均值漂移仅在搜索窗口中计算。跟踪模板大小通过如下两种方法保持自适应：1）将从比当前模板小10%到大10%的模板与搜索空间进行相关，得到最大相关峰值对应的模板即为新的模板［5，11-12］。2）利用最佳匹配矩形调整（BMRA）对模板进行重采样以保持模板大小不变，并让目标处于模板的中央。该方法将模板分割成9个互不重叠的区域，计算每个区域内的能量大小，并通过投票方法得到最优匹配矩形［12］。

4　联合相关和Kalman滤波的自适应框架快速Mean-Shift方法

Kalman滤波是一个测量跟踪器，基于当前和之前图像里目标的位置，可用来预测目标在下一帧图像中的位置，并进一步根据目标实际位置来进行更新，它采用迭代的工作方式，在很少的步骤内收敛于稳定状态。当滤波器的预测值与实际测量之间的差距大于某一个门限时，表明跟踪结果为不可信。这可能是以下两种情况导致：1）相关跟踪器由于杂波、图像模糊或遮挡等原因提供了错误的目标测量信息；2）目标突然改变了运动方向（如目标迅速反向或者突然加速的情况），这时候由相关跟踪器提供的目标测量并没有问题，并由于其得到的相关峰值大小没有明显的减小，而没能及时发现情况发生。为了解决这个问题，决定采用Kalman的预测值还是相关跟踪器得到的测量，本文加强了相关跟踪，Kalman滤波和自适应快速Mean-Shift算法的结合力度：计算每帧图像中，相关跟踪得到的测量值与Kalman的预测值之间的差值，当差值大于某一门限值时，则计算当前与前一个搜索窗口的差异，并根据这个差值采用快速Mean-Shift算法来得到一个目标的位置，并选择相关的测量和Kalman的预测位置中离该位置更接近的一个作为目标的新位置。进而，在这种情况下，目标模板并没有得到更新，且搜索窗口大小会不断增加，因此可有效避免目标超出搜索窗口的几率。综上可得本文提出算法的流程如图1所示。

图1　本文算法流程图

5　实验结果与分析

为了验证算法的有效性，本文对两段视频，分别采用本文算法，以及经典的Mean-Shift算法进行了跟踪对比。

5.1实验一目标无遮挡视频

由图2和图3的仿真结果可以看出，当目标在跟踪过程中距离越来越近使得目标越来越大时，采用传统的Mean-Shift无法正确地调整搜索窗口大小，选取正确的模板，存在误跟踪情况。而本文算法能很好地适应目标大小的变化，保持对目标的正确跟踪。表1从数据上反应了两种算法的差别，即经典Mean-Shift算法和本文算法。表中数据表明了两种算法对应帧序列的实际目标中心位置与跟踪算法所得到的目标中心位置之间的距离（Δ）。从表1可以发现，本文算法的距离差（Δ）明显小于经典算法，跟踪效果更好。

5.2实验二目标存在遮挡视频

由图4和图5的仿真结果可以看出，当视频存在目标遮挡情况时，传统的Mean-Shift算法会造成目标跟踪的丢失，而本文算法则能在目标被遮挡时通过扩展搜索窗口大小，保证目标留在搜索窗口内，从而在遮挡之后依然保持模板正确，实现对目标的正确跟踪。表2从数据上显示了本算法的优越性。

图2　本文算法跟踪结果（实验1）

图3　经典Mean-Shift算法跟踪结果（实验1）

表1　两种算法实际目标中心与跟踪目标中心距离对比（实验1）

表2　两种算法实际目标中心与跟踪目标中心距离对比（实验2）

6　小结

本文结合相关跟踪器、Kalman滤波和快速Mean-Shift等技术提出了一种自适应视频跟踪算法，该算法有效地实现了在遮挡和目标大小变化等复杂情况下的视频跟踪。理论分析和仿真结果表明算法的有效性和优越性，算法具有较高实际应用价值。

图4　本文算法跟踪结果（实验2）

图5　经典Mean-Shift算法跟踪结果（实验2）

［1］丁磊，宫宁生，俞克强.改进的Mean-Shift跟踪算法在车辆跟踪上的应用［J］.电视技术，2013，37（5）：183-186.

［2］YILMAZ A，JAVED O，SHAH M.Object tracking：a survey［J］.［3］蒋巍，张健，曾浩.基于智能视频监控系统的运动目标检测和跟踪［J］.电视技术，2012，36（5）：110-114.

ACM Computing Surveys（CSUR），2006，38（4）：13-20.

［4］刘晴，唐林波，赵保军，等.改进的Mean-Shift目标跟踪算法［J］.系统工程与电子技术，2013，35（6）：1318-1323.

［5］LUCAS B D，KANADE T.An iterative image registration technique with an application to stereo vision［C］//Proc.7th International Joint Conference on Artificial Intelligence.San Francisco：IEEE Press，1981：674-679.

［6］AHMED J，JAFRI M N，SHAH M，et al.Real-time edge-enhanced dynamic correlation and predictive open-loop car-following control for robust tracking［J］.Machine Vision and Applications，2008，19（1）：1-25.

［7］吴佳家，高钰，李敏，等.基于均值漂移和卡尔曼滤波的跟踪算法研究［J］.计算机技术与发展，2014，24（1）：5-9.

［8］COMANICIU D，RAMESH V，MEER P.Kernel-based object tracking［J］.IEEE Trans.Pattern Analysis and Machine Intelligence，2003，25（5）：564-577.

［9］COLLINS R T.Mean-Shift blob tracking through scale space［C］// Proc.IEEE Computer Society Conference on Computer Vision andPatternRecognition.LosAlamitos：IEEEPress，2003：234-240.

［10］AHMED J，JAFRI M N.Best-match rectangle adjustment algorithm for persistent and precise correlation tracking［C］//Proc.International Conference on Machine Vision.Islamabad：IEEE Press，2007：91-96.

［11］李武，侯志强，魏国剑，等.跟踪框自适应的尺度变化目标跟踪算法［J］.山东大学学报：工学版，2014，44（2）：28-34.

［12］BELEZNAI C，FRUHSTUCK B，BISCHOF H.Human detection in groups using a fastMean-Shift procedure［C］//Proc.International Conference on Image Processing.Singapore：IEEE Press，2004：349-352.

Joint Kalman and Adaptive Mean-Shift Based Robust Correlative Visual Tracking Algorithm

LI Jing，LIU Liping，CHE Jin
（School of Physics and Electronic Information Engineering，Ningxia University，Yinchuan 750021，China）

Correlation tracker has the problem of computation intensive（if the search space or the template is large），template drift and may fail in case of fast maneuvering target，occlusion suffered by it and clutter in the scene.By using the output results of correlation tracker，Kalman filter can predict the target coordinates in the next frame. Thus，the target may be searched within a small range with a high probability.In this way，the amount of calculation and the influence of clutter can be sharply reduced.However，if wrong measurement vector is provided to the tracker due to the clutter or the occlusion inside the search region，the performance of tracking will fell sharply. Fast operation speed and good tracking results has shown to Mean-shift tracker in the literature，but it may fail when the histograms of the target and the candidate region in the scene are similar.In order to deal with the mentioned problems，an improved robust visual target tracking method based on the three above ideas is proposed，andthe algorithm is showed effectively and superiorly through the theoretical analysis and simulation results.

object tracking；template drift；occlusion；Mean-Shift；Kalman filter

TN941.1

A

10.16280/j.videoe.2015.10.005

时雯

2014-07-22

国家自然科学基金项目（61162020）