改进的核相关滤波目标跟踪算法

谢维波, 夏远祥, 刘文

(华侨大学 计算机科学与技术学院， 福建 厦门 361021)

改进的核相关滤波目标跟踪算法

谢维波, 夏远祥, 刘文

(华侨大学 计算机科学与技术学院， 福建 厦门 361021)

提出一种基于核相关滤波的尺度和旋转自适应跟踪算法.首先,利用核相关滤波确定目标的中心位置;然后,使用特征点匹配的方式估计目标的尺度变化和旋转角度.在特征点匹配过程中，使用前、后两次光流匹配消除不稳定特征点；计算特征点对的权重分布，从而估计出目标的最佳尺度和角度；判断当前目标是否受到遮挡，进而使用更合理的方式更新特征点集和目标模型，进一步提高算法的鲁棒性.实验结果表明:文中算法不仅能在一定程度上处理目标外观变化问题，而且跟踪的实时性较好.

视频跟踪； 核相关滤波； 尺度计算； 角度计算； 遮挡检测

目标跟踪是计算机视觉领域中最具挑战的问题之一，在视频监控、机器人等领域[1-9]有着广泛的应用.近年来，基于相关滤波的跟踪算法[1-4]凭借其较快的速度在跟踪领域取得了不错的效果.Henriques等[4]提出基于核相关滤波(kernelized correlation filter，KCF)的跟踪算法，在跟踪目标时有不错的效果.然而,当目标尺度发生变化或旋转时，目标模型不能充分描述目标的表观特征，而容易跟踪失败.本文在KCF跟踪算法的基础上，通过引入特征点匹配的方法对目标尺度和角度进行估计，实现目标的尺度、角度自适应跟踪.

1 核相关滤波模型

传统的相关滤波跟踪算法被视为线性岭回归模型,即

(1)

式(1)中：xi为输入;yi为相应的标签;w为相应的系数.这种模型在处理非线性问题上会受到限制，通过使用核方法[10]，可以解决非线性问题.Henriques等[4]通过引入岭回归和循环矩阵将相关滤波器核化，则训练模型阶段的表达式为

(2)

(3)

2 目标尺度估计和旋转角度估计

根据特征点之间相对距离和相对角度的变化估计目标的尺度和角度，同时,通过计算特征点对的权重分布提高估计的准确度，并提出了一种遮挡检测机制，以提高算法的鲁棒性.

2.1 前、后向光流匹配

根据特征点估计目标的尺度和角度，因此，如何匹配到稳定的特征点就变得尤为重要.文中算法采用耗时较少FAST特征子[11]检测图像特征点，并使用256维的BRIEF[12]描述子对其进行描述.

2.2 遮挡检测

在跟踪视频的初始帧中，初始目标框人为选定，则首次匹配的特征点集Ms是跟踪目标的稳定描述，称为稳定特征点集.设t帧时匹配的特征点集为M′，数量记为Nt=|M′|.当目标被遮挡时，Nt将会变得很小.因此，文中算法根据稳定特征点的数量Ns=|Ms|和t帧时匹配特征点集的数量Nt的比值来确定跟踪目标是否被遮挡，即

2.3 特征点对的权重分布

(5)

(6)

式(6)中：m为t帧时活动特征点集中特征点的个数;h为带宽参数;k为高斯核函数.

2.4 目标最佳尺度估计

(7)

式(7)中：‖·‖为欧氏距离.

考虑特征点对的权重，则尺度伸缩系数为

(8)

则t时刻的目标框的宽度和高度分别为

当目标未被遮挡时，更新目标尺度；否则，无需更新.则目标框的宽度和高度分别为

2.5 目标旋转角度估计

当跟踪目标在平面内旋转时，正确匹配的特征点之间的相对方向也会发生旋转，并且和目标旋转角度一致.因此，文中算法根据前、后两帧特征点之间相对角度的变化估计目标框的旋转角度.

图1 特征点对的角度变化示例Fig.1 Examples of pairwise angular change between keypoints

(13)

考虑特征点对的权重，则t帧时角度变化为

(i,j).

(14)

式(14)中：m为活动特征点集中特征点的个数.在文中算法中，当目标被遮挡或角度变化αt小于阈值αd时，跟踪框的角度变化无需更新.则t帧时目标框的角度为

实验中,首帧目标框的角度θ1为90°.

3 文中跟踪算法

3.1 基本原理

3.1.1 确定目标的位置 文中算法将跟踪目标分成确定目标位置和确定目标尺度、角度两部分.目标状态用矩形框b=[x,y,w,h,θ]表示，设定目标搜索范围为原目标框大小的2倍.

对于下一帧新的样本z，利用训练好的α，计算傅里叶域的响应值,即

3.1.2 确定目标的尺度变化和旋转角度变化 确定目标的中心位置后，检测并匹配新一帧图像的特征点.根据式(4)判断目标是否被遮挡，根据式(9),(10)，(14)确定目标框的尺度和旋转角度.

3.1.3 确定更新方案 为了更好地适应跟踪过程中目标外观的变化，准确估计当前目标的尺度和旋转角度，需要及时对活动点集、相关滤波模板和目标外观模型进行更新.

a) 动点集更新.首先,检测当前目标是否被遮挡，如果没有发生遮挡，则用当前匹配的特征点集完全替换上一帧匹配的活动点集；如果目标被遮挡，则当前活动点集无需更新，即

b) 波模型和外观模型更新.传统的KCF算法采用固定模式更新滤波模板和目标外观模型，但当目标被遮挡时，这种更新方式会带来误差.为了提高跟踪精度，当目标被遮挡时，停止对滤波模板和外观模型的更新，即

(2)

式(20)中：β为模型更新因子.

文中算法的流程图，如图2所示.

图2 文中算法的流程图Fig.2 Flow chart of algorithm

4 实验结果分析

为了对文中算法性能进行更加准确的评估，使用文献[7]中的10组目标尺度变化和旋转变化的标准视频序列对算法进行测试.同时，与当前主流的跟踪算法DFT[5]，STC[3]和基准方法KCF进行对比.实验中，对比算法来自相应作者的公开代码，并且保留默认的参数设置.文中算法的正则化参数λ和带宽参数h设置为0.01，角度变化阈值αd设为2，模型更新因子β设为0.075.所有实验都在Windows7系统，Corei5-3470 3.20GHzCPU和8GBRAM的台式机上进行，文中算法在Matlab2012和VisualStudio2010平台上实现.

4.1 定性分析

文中算法和对比算法在部分视频序列上的部分跟踪结果，如图3所示.这些视频序列不仅有尺度和旋转问题，还有遮挡(Soccer和Coke)、光照(Dog1，Soccer和Coke)等问题.不同算法的跟踪结果用不同线型的矩形框表示，其中，实线框表示文中算法，线段框表示KCF算法，点框表示DFT算法，点线框表示STC算法.

Dog1视频的部分跟踪结果，如图3(a)所示.由图3(a)可知：在第600帧时，由于跟踪目标由正面转为侧面，目标姿势及相对大小都发生了一定的改变，此时，DFT算法不能很好地跟踪目标，其他算法能跟踪目标，而只有文中算法的跟踪框的角度能随之改变.Deer视频的部分跟踪结果，如图3(b)所示.由图3(b)可知：在第6帧时，由于跟踪目标骤降，DFT，STC跟踪失败；第29帧时，KCF跟踪失败，文中算法一直有着较好的跟踪效果.Soccer视频的部分跟踪结果，如图3(c)所示.由图3(c)可知：在第73帧时，跟踪目标上下剧烈运动，STC算法产生了较大的跟踪偏差；在第192帧时，产生了较大的背景干扰，同时,目标发生了有角度的运动，相对大小也发生了改变，KCF算法逐渐丢失跟踪目标，文中算法仍然有着较好的跟踪效果.Coke视频的部分跟踪结果，如图3(d)所示.由图3(d)可知：在第34帧时，目标由上到右下时，产生了部分遮挡，同时，光线由明转暗且产生了有角度的旋转，DFT产生了较大的跟踪偏差；第77帧时，目标由近至远，尺度发生了变化时，KCF和文中算法仍能很好地跟踪目标.整体看来，文中算法有较好的跟踪精度.

(a) Dog1视频 (b) Deer视频

(c) Soccer视频 (d) Coke视频图3 跟踪算法的性能比较Fig.3 Performance comparison of tracking algorithms

4.2 定量分析

为了验证文中算法的有效性，用帧率、中心位置误差(centrelocationerror，CLE)和距离精度(distanceprecision，DP)3个指标对比其他跟踪算法.其中，帧率用来衡量跟踪速度；平均中心位置误差及距离精度用来衡量跟踪结果的准确度.

4.2.1 跟踪速度 帧率表示每秒运行的帧数，值越大跟踪速度越快.DFT，STC，KCF和文中算法的帧率分别为：13.1，397.4，39.4，79.3帧·s-1.由此可知：虽然需要对尺度和旋转角度进行估计，但文中算法在测试视频序列中仍有较好的跟踪实时性(每秒运行帧数达到15～20，即可视为实时跟踪).

4.2.2 跟踪精度 中心位置误差CLE表示跟踪目标中心位置与标注目标中心位置之间的平均欧式距离，其值越小，表示跟踪精度越高.各算法在视频序列上的目标中心位置误差，如表1所示.

表1 中心位置误差Tab.1 Centre location error

由表1可知：文中算法比其他算法有较低的CLE，在平均CLE上取得了最优的效果.与KCF算法相比，文中算法的CLE平均降低了8.39px.

距离精度DP定义为CLE小于某一阈值的帧数占视频总帧数的百分比.设定阈值为20px.各算法在10组视频序列上的DP，如表1所示.由表1可知：文中算法在平均DP上取得了最优值.相较于KCF算法，平均DP提高了8.2%.

综合以上定性和定量分析可知：文中算法能较好地适应目标尺度及旋转变化，对目标遮挡、光照变化等也具有一定的鲁棒性；另一方面，通过利用快速傅里叶变换将时域运算变换到频域运算，提高了跟踪效率，具有较好的实时性.

5 结束语

在KCF算法的基础上，提出一种利用特征点匹配的方式对目标尺度和角度进行估计的机制.通过与原KCF算法和其他当前主流跟踪算法对比，验证了文中算法对尺度和角度估计的有效性.然而，文中算法仍有不足之处.在实验中发现，当目标具有较大角度旋转时，该算法效果不是很好.同时，因为文中算法是根据特征点匹配估计尺度变化和旋转角度变化，当目标区域特征点较少或目标区域较小时，跟踪效果有限.因此，如何处理目标的较大角度变化问题和特征点较少问题将是下一步的工作.

[1] BOLME D S,BEVERIDGE J R,DRAPER B A.Visual object tracking using adaptive correlation filters[C]∥Proceedings of the International Conference on Computer Vision and Pattern Recognition.San Francisco:IEEE Press,2010:2544-2550.

[2] HENRIQUES J F,CASERIO R,MARTINS P.Exploiting the circulant structure of tracking-by-detection with kernels[C]∥Proceedings of the Europe Conference on Computer Vision.Florence:Springer Press,2012:702-715.

[3] ZHANG Kaihua,ZHANG Lei,LIU Qingshan,etal.Fast visual tracking via dense spatio-temporal context learning[C]∥Proceedings of the Europe Conference on Computer Vision.Zurich:Springer Press,2014:127-141.

[4] HENRIQUES J F,CASERIO R,MARTINS P,etal.High-speed tracking with kernelized correlation filters[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2014,37(3):583-596.

[5] SEVILL L,MILLER E L.Distribution fields for tracking[C]∥Proceedings of the International Conference on Computer Vision and Pattern Recognition.Providence:IEEE Press,2012:1910-1917.

[6] ZHANG Kaihua,ZHANG Lei,YANG Minghusan.Real-time compressive tracking[C]∥Proceedings of the Europe Conference on Computer Vision.Florence:Springer Press,2012:864-877.

[7] WU Yi,LIM J,YANG M H.Online object tracking: A benchmark[C]∥Proceedings of the International Conference on Computer Vision and Pattern Recognition.Portland:IEEE Press,2013:2411-2418.

[8] DANELJAN M,HAGER G,KHAN F S.Accurate scale estimation for robust visual tracking[C]∥Proceedings of British Machine Vision Conference.Nottingham:Springer Press,2014:1-11.

[9] 钟必能,陈雁,沈映菊.在线机器学习跟踪算法的进展[J].华侨大学学报(自然科学版)，2014,35(1)：41-46.

[10] PATNAIK R,CASASENT D.Fast fft-based distortion-invariant kernel filters for general object recognition[C]∥Proceedings of the International Society for Optics and Photonics.San Jose:IEEE Press,2009:725202.

[11] ROSTEN E,PORTER R,DRUMMOND T.Faster and better: A machine learning approach to corner detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2010,32(3):105-119.

[12] CALONDER M,LEPETIT V,STRECHA C,etal.BRIEF: Binary robust independent elementary features[C]∥Proceedings of the Europe Conference on Computer Vision.Heraklion:Springer Press,2010:778-792.

[13] SHI Jianbo,TOMASI C.Good feature to track[C]∥Proceedings of the International Conference on Computer Vision and Pattern Recognition.Seattle:IEEE Press,1994:21-23.

(责任编辑： 黄晓楠 英文审校： 吴逢铁)

Improved Object Tracking Algorithm Based on Kernelized Correlation Filter

XIE Weibo, XIA Yuanxiang, LIU Wen

(College of Computer Science and Technology, Huaqiao University, Xiamen 361021, China)

A scale and rotation adaptive tracking algorithm based on kernelized correlation filter is proposed. Firstly, the algorithm determines the center positon of the object via kernelized correlation filter. Then the algorithm estimates the scale changes and rotation angle of an object using keypoints matching. In the process of keypoints matching, the method eliminates unstable keypoints using forward and backward matching. The next, the algorithm estimates the optimal scale and angle by considering the weight of keypoints. At last, the method detects whether the target is occluded, and then update keypoints set and object model more reasonable, and hence improving the robustness of the algorithm. The results of experiments show that the proposed algorithm not only can handle changes of object′s appearance to a certain degree, but also have high tracking efficiency. Keywords：visual tracking; kernelized correlation filter; scale calculation; angle calculation; occlusion detection

10.11830/ISSN.1000-5013.201703017

2016-05-14

谢维波(1964-)，男，教授，博士，主要从事信号处理、视频图像分析的研究.E-mail:xwblxf@hqu.edu.cn.

国家自然科学基金资助项目(61271383); 华侨大学研究生科研创新能力培育计划资助项目(1400214007)

TP 311

A

1000-5013(2017)03-0379-06