一种改进的TLD算法

杨 萌， 杨 阳， 王 艺， 王亚杰

(1.西北工业大学 机电学院，陕西 西安 710072;2.中航工业 西安自动控制研究所,陕西 西安 710065;3.西北工业 大学电子信息学院，陕西 西安 710072)

一种改进的TLD算法

杨 萌1， 杨 阳2， 王 艺3， 王亚杰3

(1.西北工业大学 机电学院，陕西 西安 710072;2.中航工业 西安自动控制研究所,陕西 西安 710065;3.西北工业 大学电子信息学院，陕西 西安 710072)

针对跟踪算法目标遮挡后易出现跟踪漂移的问题，提出了一种跟踪学习检测(TLD)算法与Kalman滤波相结合的手势跟踪方法。在跟踪器跟踪成功后，加入识别窗的方法进行遮挡判定。产生遮挡后目标模型不再更新，学习器不再更新集合分类器。若是部分遮挡,则由TLD学习器处理；若是严重遮挡,则改由Kalman滤波算法预测目标的运动轨迹。该方法在保留TLD算法长期稳定跟踪、适应摄像机快速运动与复杂背景等优点的基础上，改善了目标遮挡后易出现跟踪漂移的问题。实验表明:提出的改进TLD算法比其他常见跟踪方法具有更加优异的性能。

手势; 跟踪算法; 跟踪学习检测； Kalman

0 引 言

基于计算机视觉的手势人机交互是近年来计算机领域的重要课题,人们希望计算机能够直接理解人的动作以实现自然、简洁的人机交互体验[1]。广义上手势可以分为静态手势和动态手势[2],静态手势是指单个手形姿态，动态手势由一系列手形姿态组成。研究人员就手势这种多关节非刚体的运动跟踪问题提出了很多不同的解决方案[3～5],但这些方法都忽视了跟踪过程中一个常见的问题，即目标遮挡问题。

目标遮挡通常情况下有以下两种：部分遮挡和严重遮挡。部分遮挡指目标被背景遮挡住了一部分，仍有一部分出现在视频帧中，目标的外观由于遮挡而发生了不可预知的形变，此时的目标图像与目标模型的相似度有了较大的区别。严重遮挡意味着目标的大部分区域被背景遮挡，目标的大部分特征都因为遮挡而消失，此时的目标与目标模型有了很大的区别，跟踪算法运行时几乎获取不到有用的目标信息。当然，严重遮挡与部分遮挡的区分不是固定的，此处仅描述了两者的区别。

本文提出了一种跟踪学习检测(TLD)算法与Kalman滤波相结合的改进TLD算法，在跟踪器跟踪成功后，加入识别窗的方法进行遮挡判定。产生遮挡后目标模型不再更新，学习器不再更新集合分类器，若是部分遮挡，则由TLD学习器处理；若是严重遮挡，则改由Kalman滤波算法预测目标的运动轨迹。该方法在保留TLD算法长期稳定跟踪、适应摄像机快速运动与复杂背景等优点的基础上，改进了目标遮挡后易出现跟踪漂移的问题。

1 TLD跟踪算法

TLD跟踪模型[6，7]如图1所示。TLD跟踪算法主要由3个部分组成：跟踪器(tracker)、学习器(learner)以及检测器(detector)。

图1 TLD跟踪模型Fig 1 TLD tracking model

首先，TLD算法使用像素比较的方法得到图像片的特征送入随机森林机器学习算法训练一个目标检测器，通过第一帧图像获得运动目标特征，再对这些特征进行仿射变换来初始化检测器。跟踪器利用目标的运动信息来跟踪目标，这个过程基于Lucas-Kanade光流法。跟踪器和检测器同时运行，估计目标的位置。在线学习模型通过P-N学习的机制不断地更新检测器和跟踪器的数据。同时，跟踪器和检测器也将得到的数据反馈给在线学习模型，以验证数据的精确性，使得到的目标特征更加精确。三者相互作用，将得到的数据整合，最终确定下一帧中目标的位置[8,9]。

2 改进TLD算法

很多研究者都针对目标遮挡问题进行了深入而细致的研究。文献[10]在计算直方图时加入了距离权重，远离质心的像素点权值减小；文献[11]采用数学估计的统计方法对遮挡的情况进行判断，发生遮挡时改用粒子滤波的方法跟踪目标；文献[1]采用Joint Probabilistic Data Associative Filter来判定遮挡。

2.1 遮挡判定

为了准确判断目标被遮挡的情况，本文引入了识别窗和颜色直方图相似度的概念。识别窗的设置如图2所示，白色矩形为跟踪窗，黑色矩形为识别窗，黑色直线为中心分隔线。识别窗的每条边距离跟踪窗至少5个像素。中心分割线将识别窗和跟踪窗分隔为对称的左右两部分。

图2 识别窗设置Fig 2 Identification window setting

判断遮挡时，计算每个部分对应的颜色直方图并做归一化,将归一化处理后的数据分别表示为R(k,t)，T(k,t)。其中,R(k,t)对应识别窗的直方图，T(k,t)对应跟踪窗的直方图，k=1,2对应窗口的左右。考虑遮挡物从左面进入情况，t-1帧时遮挡物进入识别窗，t帧时遮挡物对目标形成了遮挡。通过分析可知,t时刻左跟踪窗与t时刻左识别窗的直方图相似度高于t时刻左跟踪窗与t-1时刻左跟踪窗的相似度。相似度的评价采用Bhattacharyya系数[12]的方法

(1)

(2)

(3)

k=1时，ρ1(k,t)为t时刻左跟踪窗与t时刻左识别窗的直方图相似度；ρ2(k,t)为t时刻左跟踪窗与t-1时刻左跟踪窗的直方图相似度；ρ3(t)为t时刻跟踪窗与t-1时刻跟踪窗的直方图相似度。k=2对应跟踪窗与识别窗的右半部分

ρ1(k,t)<ρ2(k,t),

(4)

ρ3(t)<λ.

(5)

若满足式(4),则判定目标发生了遮挡。若满足式(4)且满足式(5),则认为目标发生了严重的遮挡;考虑到视频帧获取中的偶然性，为了提高遮挡判定的鲁棒性，在判定是否满足式(4)和式(5)时均做3帧重复判定，结果一致才认为真正满足判定条件。其中,阈值范围取0.5≤λ≤0.7，本文取λ=0.7。

2.2 改进TLD算法

结合TLD目标跟踪算法、目标遮挡判定、Kalman滤波算法，本文提出了改进的TLD目标跟踪算法。改进后算法的工作流程如图3所示。

图3 改进的TLD算法流程图Fig 3 Flow chart of improved TLD algorithm

3 实验结果与分析

3.1 实验一

在使用本文手势检测方法检测出的目标手势区域作为输入的基础上，实验一比较本文算法与文献[13]的Semi-supervised tracker(SemiB)算法、文献[14]的MILTracker算法和文献[15]的Struck算法在跟踪目标手势时的准确性、实时性和鲁棒性。

1)手势跟踪的准确性

本文采用平均成功率(average success rate,average SR)(%)作为算法准确性的评价标准。跟踪成功与否的评价标准如式(6)所示

(6)

其中,ROIT为跟踪算法得到的目标区域，ROIG为实际目标区域，score>0.5,则认为本次跟踪成功。跟踪算法平均成功率对比实验结果如表1所示。

表1 跟踪算法平均成功率对比表Tab 1 Comparison of average success rate of tracking algorithm

本文算法实现手势跟踪的准确性实验结果如图4所示，图4(a)表示未出现目标手势，图4(b)表示出现非目标手势，图4(c)表示出现目标手势。

在民族团结进步教育中倡导实现“双主体”模式，提升教育者与教育对象之间的互动性。加强教育者的交互性思维，使教育者与大学生在新式载体中形成积极互动，将大学生的学习、生活同教育主题有机连接起来，将民族团结进步教育内涵与大学生的精神诉求紧密结合起来，引导他们树立正确民族观念的同时建立起理性的思维方法。

图4 手势跟踪的准确性效果图Fig 4 Effect diagram of gesture tracking accuracy

将张开的手掌作为跟踪目标，当图像中没有手势存在时，没有启动跟踪过程；当图像中存在非目标手势时，亦没有启动跟踪过程；只有图像中出现张开的手掌时，本文算法检测到目标手势并开始手势跟踪过程。

2)手势跟踪的实时性

本文采用平均帧率(average frame per second，average FPS)作为算法实时性的评价标准。跟踪算法平均帧率对比实验结果如表2所示。

表2 跟踪算法平均帧率对比表Tab 2 Comparison of average FPS of tracking algorithm

对于分辨率为320×240的图像，本文算法平均帧率达到9.6帧/s。在实际工程应用中，为了进一步提高算法的处理速度，以达到系统实时运行的目的。本文采取了以下两种措施：1)在手势跟踪之前对图像进行降采样；2)手势跟踪的目标矩形由手势检测模块在原图像中检测后，经尺度变换得到。

3)手势跟踪的鲁棒性

跟踪算法实现手势跟踪的鲁棒性对比实验结果如图5所示，图5(a)表示出现目标手势，图5(b)表示目标手势发生显著形变势，图5(c)表示目标手势中出现较大面积的遮挡。实验结果表明:当被跟踪手势出现显著形变、较大面积的遮挡的情况下，本文算法均能稳定跟踪。

图5 手势跟踪的鲁棒性效果图Fig 5 Effect of robust of gesture tracking

从准确性、实时性、鲁棒性三个方面实验结果显示:本文算法在准确性方面是效果最好的；在实时性方面略低于MILTracker，但明显优于SemiB和Struck；在鲁棒性方面，本文算法与Struck都能很好地适应显著形变和较大面积的遮挡，MILTracker和Struck均出现了较大程度的漂移。以上实验结果表明:本文算法能够很好地满足手势跟踪的要求，并在三个性能上表现均衡。

3.2 实验二

实验二比较本文算法与TLD算法在处理遮挡问题上的差异性。图6为TLD算法跟踪结果；图7为本文算法跟踪结果。

在图6和图7中，当目标手势缓慢接近遮挡物的过程中，图(a)表示目标手势完全没有被遮挡，图(b)表示目标手势被部分遮挡，图(c)表示目标手势被严重遮挡，图(d)表示目标手势被完全遮挡，图(e)表示目标手势重新出现。

图6 TLD算法跟踪结果Fig 6 Tracking results of TLD algorithm

图7 本文算法跟踪结果Fig 7 Tracking results of improved TLD algorithm

TLD算法中学习器的存在使得遮挡部分作为正样本的一部分加入样本集合中，因此,能够很好地处理目标被暂时部分遮挡的情况。但当目标长时间遮挡时，学习器的学习过程会使目标模板产生跟踪漂移，跟踪漂移会导致目标物在严重遮挡、完全遮挡(即从视频帧中消失)时跟踪会发生错误。

本文算法中的遮挡判定使得目标手势被遮挡过程中，遮挡物没有通过学习器进入目标模型中，而是持续使用原来的目标模型继续跟踪。当部分遮挡转变为严重遮挡时，改由Kalman滤波器预测目标的运动轨迹。Kalman滤波器正确预测到目标的位置。由于目标模型没有被错误更新，本文算法在目标手势重新出现时准确跟踪到了目标手势。

在重复的5次实验中，结果均表现出了如图6与图7所展示的差异。因此，本文算法与TLD算法相比具有更好的抗遮挡能力。

4 结束语

本文提出了一种TLD算法与Kalman滤波相结合的手势跟踪方法。本文采取了识别窗的方法判定目标受遮挡的情况。在TLD算法的跟踪器跟踪成功后加入遮挡判定过程，产生遮挡后目标模型不再更新，TLD算法中的学习器不再更新集合分类器。若是部分遮挡，则由TLD学习器处理；若是严重遮挡，则改由Kalman滤波算法预测目标的运动轨迹。该方法在保留TLD算法长期稳定跟踪、适应摄像机快速运动与复杂背景等优点的基础上，改进了目标遮挡后易出现跟踪漂移的问题。本文提出的手势跟踪方法与其他一些跟踪方法相比，表现出了更加优异的性能。

[1] 沙 亮.基于无标记全手势视觉的人机交互技术[D].北京：清华大学,2010.

[2] 任海兵,祝远新,徐 光,等.基于视觉手势识别的研究—综述[J].电子学报,2000,28(2):118-121.

[3] Nan X,Zhang Z,Zhang N,et al.VDESIGN:Toward image segmentation and composition in cave using finger interactions[C]∥2013 IEEE China Summit & International Conference on Signal and Information Processing(ChinaSIP),IEEE,2013:461-465.

[4] Isard M，Blake A.CONDENSATION—Conditional density propagation for visual tracking[J].International Journal of Computer Vision,1998,29(1):5-28.

[5] Shan Caifeng,Tan Tieniu,Wei Yucheng .Real-time hand tracking using a mean shift embedded particle filter[J].Pattern Recognition,2007,40(7):1958-1970.

[6] Kalal Z,Mikolajczyk K,Matas J.Forward-backward error:Automatic detection of tracking failures[C]∥2010 20th International Conference on Pattern Recognition(ICPR),IEEE,2010:2756-2759.

[7] Kalal Z,Matas J,Mikolajczyk K.Pn learning:Bootstrapping binary classifiers by structural constraints[C]∥2010 IEEE Conference on Computer Vision and Pattern Recognition(CVPR),IEEE,2010:49-56.

[8] Kalal Z,Mikolajczyk K,Matas J.Tracking-learning-detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(7):1409-1422.

[9] Kalal Z,Matas J,Mikolajczyk K.Online learning of robust object detectors during unstable tracking[C]∥2009 IEEE 12th International Conference on Computer Vision Workshops(ICCV Workshops),IEEE,2009:1417-1424.

[10] Kalal Z,Mikolajczyk K,Matas J.Face-tld:Tracking-learning-detection applied to faces[C]∥2010 17th IEEE International Conference on Image Processing(ICIP),IEEE,2010:3789-3792.

[11] 吴江琴,高 文.基于 ANN/HMM 的手语识别方法[J].计算机科学,1999,26(10):63-66.

[12] 彭宁嵩,杨 杰,刘 志,等.Mean-Shift 跟踪算法中核函数窗宽的自动选取[J].软件学报,2005,16(9):1542-1550.

[13] Grabner H,Leistner C,Bischof H.Semi-supervised on-line boosting for robust tracking[C]∥Proceedings of 10th European Conference on Computer Vision,ECCV 2008—Computer Vision Marseille,France,2008:234-247.

[14] Babenko B,Yang M H,Belongie S.Robust object tracking with online multiple instance learning[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(8):1619-1632.

[15] Hare S,Saffari A,Torr P H S.Struck:Structured output tracking with kernels[C]∥2011 IEEE International Conference on Computer Vision(ICCV), IEEE,2011:263-270.

An improved TLD algorithm

YANG Meng1， YANG Yang2， WANG Yi3， WANG Ya-jie3

(1.School of Mechanical Engineering，Northwestern Polytechnical University, Xi’an 710072，China;2.Xi’an Flight Automatic Control Research Institute,AVIC,Xi’an 710065,China；3.School of Electronics and Information，Northwestern Polytechnical University,Xi’an 710072，China)

To solve tracking drift problem of tracking algorithm,a gesture tracking method is proposed by combining tracking-learning-detection(TLD)algorithm with Kalman filtering.After tracker tracks successfully,blocking out decision is utilized through adding identification window.Target model is no longer updated,when generating blocking out,and ensemble classifiers is not updated by learner.Processed by TLD learner during partial blocking out;target trajectory is predicted by Kalman filtering during severe blocking out.This method not only retains long-term stability of TLD tracking algorithm,and adapt to fast camera motion,but also overcomes tracking drift problem of target blocking out.Experimental results show that the proposed improved TLD algorithm has more excellent performance than other tracking methods.

gesture; tracking algorithm; tracking learning detection(TLD); Kalman

10.13873/J.1000—9787(2014)12—0130—04

2014—09—05

TP 391.4

A

1000—9787(2014)12—0130—04

杨 萌(1985-)，陕西西安人，硕士，助教，研究方向为数字信号处理。