基于Kalman和双级联随机森林的在线目标跟踪算法

李 婷，赵文杰，杨 帅，李 成

(空军航空大学 航空航天情报系，吉林 长春 130000)



基于Kalman和双级联随机森林的在线目标跟踪算法

李 婷，赵文杰，杨 帅，李 成

(空军航空大学 航空航天情报系，吉林 长春 130000)

针对传统的基于检测的在线目标跟踪算法容易产生跟踪漂移的现象，提出了一种新的在线目标跟踪算法。以基于主方向模板特征的双级联随机森林分类器作为检测器，卡尔曼滤波器作为跟踪器。首先利用卡拉曼算法跟踪目标，然后以跟踪的目标位置为中心向外扩展一定的范围作为双级联随机森林分类器的检测区域，利用全局随机森林分类器和局部随机森林分类器进行目标检测，并将检测结果作为Kalman跟踪算法下一帧的观测值。实验结果显示，提出的算法在跟踪大小420×320的图像时，跟踪速度达到24.3 f/s(帧/秒)，目标中心位置误差在30 pixel时，算法准确率可达到80%以上。

视觉跟踪；Kalman滤波；主方向模板；级联随机森林分类器

目标跟踪是视觉领域一个重要的研究课题，但由于在目标跟踪过程中存在各种复杂情形，包括目标的遮挡、相似目标的干扰、目标的快速运动、光照的变化、形变和旋转等，提出一种实时性高、鲁棒性强的跟踪算法仍然是极具挑战性的[1]。为了能够更加准确地表达目标的外观模型，Collin[2]首次提出将跟踪视为二分类问题，强调了背景对目标跟踪的作用；随后Grabner[3]提出了在线Boosting跟踪算法，实现了对目标模型的在线更新，可是如果模板存在误差，容易导致跟踪漂移。针对这一问题，2010年Kalal[4]等人提出了一种新颖高效的目标跟踪架构——基于检测的跟踪算法，该算法将跟踪-检测-学习有效地结合，实现了对单目标的长时跟踪，具有较好的鲁棒性和实时性。算法框架见图1。但是该算法存在以下4点缺陷：1)当目标被完全遮挡时，检测器和跟踪器都无法捕捉到目标，导致跟踪失败[5];2)检测模块采用的扫描窗口方法需要遍历整个图像检测目标，降低了跟踪速度;3)跟踪模块采用的Lucas-Kanade光流法无法适应完全偏离平面的旋转表现，所以当目标出现剧烈运动时，容易跟踪失败;4)当出现相似目标时，算法跟踪效果较差[6]。

图1 TLD算法框架

针对上述缺陷，本文将具有较强预测性的Kalman算法与双级联随机森林分类器结合起来，利用Kalman算法对目标进行跟踪，一方面将具有可靠置信度的跟踪结果作为检测器的正样本输入，防止分类器对错误样本的学习，导致外观模型构建时误差的累积；另一方面以目标位置为中心扩展一定范围作为检测器的检测区域，则有效缩小了检测模块的检测范围，提高算法实时性和检测的准确性。同时双级联随机森林分类器以主方向模板作为检测特征，利用全局随机森林分类器和局部随机森林分类器逐级进行分类，充分考虑了目标的局部和整体信息，具有分类速度快、检测精度高的特点。

1 基于Kalman算法的目标跟踪

卡尔曼滤波器[7]在最小均方误差的准则下，利用一组数学方程采用递归的计算方法对目标的下一状态进行有效的估计，并能根据当前的观测值修正预测结果，是一个不断预测-修正的过程，具有无偏、稳定、最优的特点。因此本文选择其作为跟踪算法，这样在目标发生遮挡、形变等情况时，仍能实现对目标的有效跟踪。

1.1 数学模型

在建立Kalman滤波的数学模型时，假设所有的噪声为高斯白噪声，并且目标在相邻两帧间的运动为匀速运动。在建立Kalam滤波器中的状态向量和观测向量时，本文充分利用了每帧图像中目标中心位置的相关参数，包括目标中心在水平方向的坐标值px和竖直方向上的坐标值py，以及目标在水平方向的速度vx和竖直方向上的速度vy，具体见下式

(1)

Kalman滤波的计算过程如下：

第一步建立目标的状态方程

(2)

第二步预测系统状态的协方差

(3)

第三步计算卡尔曼增益

Gk=PkHT(HPkHT+R)-1

(4)

(5)

最后修正协方差矩阵

(6)

(7)

同时由于状态转移噪声wk-1和观测噪声vk被假设为2个相互独立的零均值高斯白噪声，则状态转移噪声和观测噪声的协方差矩阵分别为Q=10-5I4，R=10-1I2，其中I4为4×4的单位矩阵，I2为2×2的单位矩阵。

1.2 确定检测区域

检测器的搜索策略是基于滑动窗口的扫描机制，往往需要遍历整个图像，这种方法计算量大，如1帧420×320的图像，仅有10%的子窗口为目标，其他90%的子窗口只包含部分目标甚至不包含目标。因此本文充分利用Kalman算法的预测性对检测器的搜索范围进行预估，从而提高检测速度。以Kalman算法的最优估计值为圆心，以2倍的目标半径为半径，确定目标搜索范围。如果在这一范围仍然没有搜索到目标，则将搜索范围扩大1倍。

2 在线目标分类器

双级联随机森林检测器以主方向模板特征[8]为目标的表征特征，同时利用全局检测器(Holistic Detector)和局部检测器(Patch-based Detector)实现对目标全局信息和局部信息的融合，进而实现多层检测[9]，具有检测精度高、运算时间短的特点。方法的主要流程如图2所示。

图2 级联随机森林检测器方法流程图

2.1 分类器训练与更新

对局部随机森林分类器的训练方法与全局随机森林分类器相似，不过选取的样本图像块尺寸更小，并且在考虑图像块主方向模板特征的同时，将图像块中心相对样本目标块中心的位置偏移量加入到分裂函数中。对每棵树单独训练，当满足下列条件时，停止对节点的分裂：1)达到树的最大深度depthmax=15；2)节点中样本数达到最小值nummin=10。

在目标跟踪过程中，目标的外观会不断发生变化，因此外观模型也要做出相应的更新，具体来说就是不断用置信度满足要求的正样本更新随机森林决策树。将Kalman跟踪到的新样本和分类器检测到的新样本加入到决策树的生长过程中。在分类器的学习过程中，如果随机森林的某个分支对应的检测结果是错误样本，表明该分支已经不能表征目标的外观信息，可以对其进行修剪[9]。

2.2 目标检测

检测阶段，利用滑动窗口扫描策略在Kalman算法确定的待检测范围内进行顺序扫描，得到窗口样本S；然后将S放入全局随机森林分类器的T棵树中(全局随机森林中T=10)，得到窗口S在随机森林每棵树中得分的平均值，即score值

(8)

在前n个窗口确定的检测区域映射到第二层高尺度空间，然后利用局部随机森林分类器在高尺度空间进行局部检测。首先利用大小16×16的扫描图像块pm进行扫描，记录每个扫描图像块的位置x及特征信息f，然后才有局部随机森林分类器对每个窗口的扫描图像块进行分类，并计算图像块pm对可能目标中心的投票分值

(9)

其中：DL为图像块pm达到的叶子节点的偏移向量集合，并利用高斯Parzen窗来估计每个图像块偏移向量的投票概率;x-di表示图像块pm的一个投票位置;CL为该叶子节点中正样本比率。对于DL集合，最后在所有图像块都分类完毕后，用每个图像块的score值除以T，得到最终Hough图，通过聚类算法确定目标的最终位置。

3 实验结果及其分析

本文选用了3组不同场景下具有代表性的测试视频Suv，sylvester，trellis，包含了在对目标长时间跟踪过程中可能出现的各种严峻的情形，比如目标部分遮挡或全部遮挡、目标发生二维和三维旋转、光照变化、目标快速运动，以及存在相似目标等。选择经典的TLD[4]和CT[10]跟踪算法作为对比算法，利用OpenCV2.4.9在VisualStudio2010平台上实现。

3.1 评估准则

本文从定性和定量两个方面评估算法的性能，在进行定量分析时采用精度和成功率作为评价指标，对跟踪算法的鲁棒性进行评估。

精确度图:采用精确度图对算法的整体跟踪精度进行评估，其能够显示跟踪的目标位置在给定的实际目标位置的某一阈值范围之内的帧数占总帧数的百分比。为了对每个跟踪器进行具有代表性的精度评分，本文选用阈值等于20pixel时每个跟踪器的精度值进行比较。

鲁棒性评估:在对跟踪算法进行鲁棒性评估时，根据第一帧中的准确位置进行初始化，然后在一个测试序列中运行算法，最后得出平均精确度或成功率的结果报告，即一次通过的评估(One-PassEvaluation，OPE)。

3.2 结果分析

本文算法的实验参数设置为：全局随机森林分类器大小T=10棵树，每棵树最大深度为10，局部随机森林分类器大小为T=15棵树，每棵树最大深度为15。对于其他两种跟踪算法均采用原文中的参数设置。

3.2.1 整体性能

每一个跟踪算法的整体性能以成功率图和精确度图的形式展示在图3中。右上角为排序结果。通过图3可以发现，不管是在成功率图还是在精度图中，本文提出的算法整体性能较优异，这说明本文算法具有较强的鲁棒性。但是在精度图中，本文算法的性能略低于TLD算法，这是由于受Kalman滤波器预测结果的限制，本文算法的检测区域较TLD的检测区域小，降低了跟踪精度。但是本文算法的成功率明显高于TLD和CT算法。

图3 OPE图

3.2.2 基于跟踪序列特性的性能分析

抗遮挡能力：图4为各个跟踪算法在Suv视频序列中的跟踪效果截图。由于TLD算法和CT算法缺少遮挡判断机制，在目标遮挡时，仍然更新目标模型，产生错误的目标样本，所以在目标被遮挡时，跟踪框发生严重漂移；而本文算法在目标发生遮挡时，利用Kalman算法对目标下一帧可能出现的区域进行评估，并且利用获得的目标样本不断更新级联随机森林分类器，实现了对目标稳健的跟踪。

图4 Suv视频序列跟踪结果

处理二维、三维旋转的能力：为了测试本文算法处理目标发生二维和三维旋转的能力，在sylvester视频进行试验，在sylvester视频#600～#699帧中目标发生了各种角度的旋转，图5为各算法跟踪效果截图。结果显示，本文算法的跟踪框能够始终稳定地框定目标。这是由于本文算法选用的目标特征，能够充分考虑特征点位置和方向信息，通过不断地学习目标外观的实时形变信息，并将其应用到目标在线模型的更新中，因此在整个跟踪过程中能够鲁棒地跟踪目标。而TLD算法和CT算法的跟踪框都发生了轻微的偏移。

图5 sylvester视频序列跟踪结果

处理光照变化的能力：选择在trellis视频序列上测试算法应对光照变化的能力。图6为跟踪效果截图。trellis视频中背景的光照变化从弱到强再到弱，在第242帧、296帧、340帧时由于光照的改变，TLD和CT都出现跟踪漂移，而本文算法在(#179，#242，#340，#382)都表现了较强的跟踪鲁棒性。

图6 trellis视频序列跟踪结果

4 结论

本文将双级联随机森林分类器结合到了Kalman跟踪算法中，根据目标这一时刻的运动状态和位置信息，利用Kalman滤波预测出目标下一时刻可能的位置，以该位置为中心，在一定的范围内，采用双级联随机森林分类器进行目标的检测，确定出目标的最终位置，并以此作为Kalman算法在下一帧中的起始位置。通过多个视频数据对本文算法和TLD算法、CT算法进行了测试，实验结果表明本文算法能有效应对跟踪过程中目标的尺度、光照、旋转、方向变化等，具备更高的跟踪精度和更快的运算速度。

[1]WUY，LIMJ，YANGMH.Onlineobjecttracking：abenchmark[C]//Proc.IEEEConferenceonComputerVision&PatternRecognition. [S.l.]：IEEE，2013：2411-2418.

[2]COLLINSTR，LIUY，LEORDEANUM.Onlineselectionofdiscriminativetrackingfeatures[J].IEEEtransactionsonpatternanalysisandmachineintelligence，2005，27(10)：1631-1643.

[3]GRABNERH，SOCHMANJ，BISCHOFH，etal.Trainingsequentialon-lineboostingclassifierforvisualtracking[C]//Proc.InternationalConferenceonPatternRecognition(ICPR).[S.l.]：IEEE，2008：1-4.

[4]KALALZ，MATASJ，MIKOLAJCZYKK.Tracking-learning-detection[J].IEEEtransactionsonpatternanalysisandmachineintelligence，2012，34(7)： 1409-1422.

[5] 吕枘蓬，蔡肖字，董亮. 基于TLD框架的上下文目标跟踪算法[J].电视技术，2015，39(9)：6-9.

[6] 高帆，吴国平，刑晨，等.TLD目标跟踪算法研究[J].电视技术，2013，37(11)： 70-74.

[7]KALMANRE.Anewapproachtolinearfilteringandpredictionproblems[J].TransactionsoftheASME-journalofbasicengineering，1960，82(SeriesD)：35-45.

[8]HINTERSTOISSERS，LEPETITV，ILICS，etal.Dominantorientationtemplatesforreal-timedetectionoftexture-lessobjects[C]//Proc.InternationalConferenceonPatternRecognition. [S.l.]：IEEE，2010：2257-2264.

[9] 向涛，李涛，李旭冬，等. 基于随机森林的层次行人检测算法[J].计算机应用研究，2015，32(7)： 2196-2199.

[10]ZHANGK，ZHANGL，YANGMH.Real-timecompressivetracking[C]//Proc.EuropeanConferenceonComputerVision. [S.l.]：Springer-Verlag，2012：864-877.

李 婷(1991— )，女，硕士生，主要从事视觉跟踪和运动分析方面的研究；

赵文杰(1968— )，女，博士，教授，主要从事光学成像自动目标识别方面的研究；

杨 帅(1992— )，硕士生，主研数字图像处理和目标定位；

李 成(1985— )，博士，讲师，主要从事图像处理方面的研究。

责任编辑：闫雯雯

Online object tracking algorithm based on Kalman and cascaded random forest classifier

LI Ting， ZHAO Wenjie， YANG Shuai，LI Cheng

(DepartmentofAerospaceIntelligence，AviationUniversityofAirForce，Changchun130000，China)

As the traditional online tracking algorithm based on detection is easy to cause the tracking drift， a new online target tracking algorithm is proposed in this paper， where the Cascaded Random Forest with Dominant Orientation Templates is used as a detector， while the Kalman filter is the tracker. First， the Kalman filter is used to track the target， then the holistic detector and patch-based detector is applied to detect the object with the track result as the area center， and the detecting result is used as next frame’s observed value of Kalman tracking algorithm. The experimental results show that in the video sequence of 320 pixel×240 pixel， the speed can keep in 24.3 frame/s， and the object center position error is in 30 pixel， while the accuracy can reach above 80%.

visual tracking； Kalman filter； DOT； cascaded random forest

国家自然科学基金项目(61301233)

李婷，赵文杰，杨帅，等.基于Kalman和双级联随机森林的在线目标跟踪算法[J].电视技术，2016，40(12)：23-27. LI T， ZHAO W J， YANG S，et al. Online object tracking algorithm based on Kalman and cascaded random forest classifier [J]. Video engineering，2016，40(12)：23-27.

TP391

A

10.16280/j.videoe.2016.12.005

2016-05-27