基于颜色直方图概率分布的目标跟踪算法研究

李 宁，汪利庆，李 迅

(武汉工程大学 计算机科学与工程学院，湖北 武汉 430205)

基于颜色直方图概率分布的目标跟踪算法研究

李 宁，汪利庆，李 迅*

(武汉工程大学 计算机科学与工程学院，湖北 武汉 430205)

针对复杂场景中存在受目标相似物干扰造成的跟踪错误问题，改进了基于颜色直方图概率分布的跟踪算法，首先利用卡尔曼滤波器预估目标状态所在区域，可避免目标被遮挡时Cam-shift算法陷入局部最大值，以及目标速度过快时导致跟踪失败的问题。然后利用马尔科夫模型加入方向预测器，在背景干扰下实现颜色特征离散时的目标状态估计，增强检测器对相似目标的辨识能力。通过对多组场景下的目标跟踪实验，结果表明，改进后的跟踪算法提高了跟踪准确度和目标的检测速度，并且很大程度上提高了复杂背景中辨识相似目标的准确度。

目标跟踪；卡尔曼滤波；遮挡；处理速度；目标预估

在跟踪算法研究过程中，目标的不定向运动会产生目标遮挡、非刚性目标结构等变化，使得跟踪算法受到各种程度的影响，甚至会出现目标丢失的情况。当图像的特征信息相对稳定时，目标不发生形变，不管物体怎么移动或怎样旋转，其颜色直方图概率分布相对中心的距离在缩放比例下是确定的。因此，文献中的方法广泛利用颜色直方图和物体特征进行目标跟踪。常用的特征匹配算法有SIFT[1]、KLT[2]，等等，将KTL和SIFT特征结合的匹配算法[3]可提高跟踪过程中的匹配精度，但无法解决光照和相似特征物体的干扰。利用SIFT特征与Mean-Shift结合[4]，由SIFT特征点提供的特征位置信息校正Mean-Shift向量，但匹配特征点与相对位置之间的变化对跟踪结果的影响较大，而且背景区域的特征点对跟踪结果也会产生干扰。颜色直方图特征在目标颜色特征描述略显匮乏，缺少空间信息等，导致跟踪结果精度降低。改进的mean-shift算法[5]是利用目标的颜色概率信息达到连续跟踪目标的效果，时间复杂度低，在简单背景下跟踪结果更精准，能自动调节搜索窗口大小；但受到检测器检测范围的限制，改进的mean-shift算法对移动速度过快的目标跟踪效果较差；并且，由于主要处理颜色直方图反投影形成的二值图像，以获取图像颜色的概率分布信息，对背景复杂和纹理特征丰富的目标跟踪效果较差，很容易受背景中与目标相似的物体的干扰导致跟踪失败。该算法忽略了目标的空间分布特征，所以在背景复杂情况下跟踪算法中需要对目标信息进行预处理。

Cam-shift算法只考虑颜色直方图概率分布，忽略了目标空间特性和背景相似颜色特征的干扰。针对该算法存在的问题，本文在原跟踪算法的基础上进行改进，利用卡尔曼滤波器，建立了目标当前状态的模型，预估目标运动速度，对目标中心点所在区域预估，缩小检测器搜索范围，提高目标局部遮挡时的跟踪精度。针对纹理特征较为丰富的目标检测问题，加入基于马尔科夫模型的方向预测器，实现颜色特征离散情况下的状态估计，能够增强检测器对相似目标的辨识能力，解决背景中复杂的特征相似问题。

1 算法介绍

1.1卡尔曼滤波器

在颜色直方图概率分布的目标跟踪算法中，加入卡尔曼滤波器[6]，对目标状态区域进行预估，预测目标在下帧图像序列中的位置，再由Cam-shift算法测量反馈，对卡尔曼滤波器预测以目标位置为中心的区域进行搜索目标，能有效降低检测器搜索范围并提高算法的抗干扰性和准确性。利用卡尔曼滤波器预估目标下一帧的状态是在误差协方差最小准则中的最佳方法，其实时性高，计算量小，利用实际的目标运动参数对目标状态估计值更新修正。根据算法的检测器搜索区域大小和位置，卡尔曼滤波的状态方程为：

Xk=Ak,k-1Xk-1+WK-1

(1)

式中Xk为在离散时刻K的一个不可观测12×1维状态向量，WK-1为k-1时刻的状态噪声干扰，是独立的零均值高斯白噪声序列，由运动模型可得到的A(K,K-1)是两个时刻之间的状态转移矩阵。利用卡尔曼滤波器得出状态预测方程。Kalman预测器状态预测方程为：

X′(k+1│k)=AX′(k│k-1)+AKk[Zk-HkX′(k│k-1)]

(2)

利用卡尔曼滤波器预测当前目标状态中心位置，以该位置为中心，设定比上一帧输出的目标边界框大4倍的矩形区域，判定该区域为目标出现的区域，再由检测器检测该帧的子窗口中是否有目标。由此来增强对目标运动速度过快和目标被遮挡的跟踪能力，并提高检测器的速度。图1为该过程示意图，C框是由卡尔曼滤波器预估并结合上一帧输出目标边界框给出的当前帧目标所在范围。子窗口A和B与C窗口有重叠，该范围将被检测器检测，子窗口D无重叠范围，将被忽略不再检测。

图1利用卡尔曼滤波器减小检测范围示意图

1.2马尔科夫模型预测

利用马尔科夫模型对目标运动方向预估，有效解决背景中存在两个或两个以上与目标相似情形时的干扰，增强对目标在运动过程中出现遮挡后的辨识能力。马尔科夫模型预测[7]具有时域空间一致性，通过计算上一时刻目标运动方向，有效预测下一时刻的目标运动状态和位置。

在视频帧数据中，目标运动可理解为二维空间中的平面运动，简单划分为垂直方向和水平方向上的运动。分别设计马尔科夫模型预测两个方向上的目标运动趋势。在水平维度上，定义空间状态为0和1,0代表向左方向，1代表向右方向。设定马尔科夫模型当前预测状态只和上一时刻状态及状态转移矩阵相关。目标在t时刻的运动方向状态量和转移矩阵，预测t+1时刻的目标方向为：

(4)

式中p(St=1)和p(St=0)表示目标在t时刻的向右和向左的概率。p(St+1=1)和p(St+1=0)表示预测目标在下一时刻的运动方向的概率。预测目标在下一时刻的运动方向选择概率较大的方向。根据马尔科夫模型预测判定跟踪人体目标的运动方向，根据上一时刻跟踪目标的中心点位置标定当前帧中的一个区域，在下一帧中目标出现在划定的区域内，则符合马尔科夫模型对目标方向的预测。图2为马尔科夫模型对跟踪目标运动方向预测判定，标定检测区域示意图，图2中矩形框表示运动目标在上一时刻的位置区域，在该时刻由马尔科夫模型预测得出运动目标在水平方向向右的趋势。因此，在虚线右侧的区域为检测器检测区域。

图2目标运动方向预测和检测区域示意图

2 改进的CamShift跟踪算法

Cam-Shift算法是改进的mean-shift算法，不断迭代计算均值漂移矢量，直至收敛到概率密度最大的过程，其计算量较小，是颜色特征的非参数核密度估计算法，即连续自适应目标的跟踪算法。原算法对目标快速移动的跟踪，会造成目标与当前搜索区域窗口无法连接，影响目标跟踪，造成跟踪错误甚至目标丢失。本文加入卡尔曼滤波器和卡尔曼模型，对目标状态区域的进行预估，能够使 Cam-Shift算法更容易处理背景复杂的情况下的跟踪问题，对每帧图像序列得到的目标区域位置的预测和更新修正，能有效缩小检测器检测范围，提高检测器处理速度，可得到对目标快速移动更精准的跟踪结果。

跟踪目标出现大面积的遮挡时，利用卡尔曼滤波器计算目标所在区域的预估值，得到目标位置，直到目标不被遮挡。通过Bhattachryya距离d(y)计算不同颜色直方图之间的相似程度，以判断跟踪目标目标被遮挡的时间和程度，计算出的值越小，表示两个颜色直方图越匹配。

利用Bhattachryya距离判断目标是否被遮挡，Bhattacharyya系数ρ(y):

(5)

式中pu(y)是目标模型颜色直方图，qu是当前帧目标子图颜色直方图。

计算Bhattacharyya距离公式d(y):

(6)

设定阈值Tb(本文取Tb=0.5)，若d(y)

针对动态环境中存在与目标相似物体干扰和快速的运动目标跟踪问题，加入卡尔曼滤波器，改进了卡尔曼模型对目标状态区域的预估算法，缩小运动目标检测的空间区域范围来提高运算处理速度，增强目标跟踪的准确性和算法鲁棒性。

图3 改进的自适应跟踪算法框架图

3 实验结果及分析

本文实验是基于Visual Tracking Benchmark[8]的数据基准，采用背景影响较大和运动目标速度快的多组图像系列。对各种场景变化干扰和目标发生形变、遮挡的数据进行实验测试，列出具有代表性的两组实验图像序列结果图对比。在原始的Cam-shift算法基础上改进，利用卡尔曼滤波器对当前时刻目标位置所在的区域预估，再由马尔科夫模型预测运动目标下一时刻的运动方向。针对检测器增加的检测区域改进，排除不符合卡尔曼滤波器和马尔科夫模型预测结果区域的范围。实验对多组场景下的目标跟踪验证，增强了算法跟踪结果准确性和处理速度，并且提高了对场景中的相似目标的辨识能力。

3.1实验结果对比

在足球(football)数据测试中，复杂背景中存在多个人物与目标相似造成干扰，图像序列中目标快速移动和大尺度的形变造成的影响。原跟踪算法对目标发生少许形变跟踪较为准确，但是目标发生大尺度的形变，造成目标跟踪错误(如#186在背景中受相似目标干扰造成目标跟踪错误)。本文改进后的跟踪算法处理速度较快，对目标发生大尺度形变的跟踪结果准确，利用马尔科夫模型预测目标运动方向的必要性，减小了背景相似目标干扰和运动目标较快的影响，跟踪过程中跟踪边界框没有出现偏离中心点和目标丢失等错误情况。图4中#001是图像序列的初始帧和算法跟踪结果图对比。

在Skating2图像序列测试中，运动目标移动速度快，并且目标发生很大程度的形变，原Cam-shift算法出现跟踪错误和丢帧，其中#329跟踪结果远离目标中心点，本文利用卡尔曼滤波器预测目标位置区域的改进，对目标快速移动有很好的跟踪结果，并且容易适应目标形变的跟踪。在部分图像序列跟踪结果偏离中心点(如#251，#268)，但是在目标迅速移动并且被遮挡，发生形变的复杂情况下能够更准确的完成跟踪。

3.2算法定量评估

表1 图像序列测试结果

4 结语

Cam-shift跟踪算法由于计算量较小，得到了广泛应用，但无法在复杂的场景下跟踪。本文针对背景颜色和相似目标的影响因素较大，以及运动目标速度过快导致目标无法在搜索范围内检测的问题，利用卡尔曼滤波和马尔科夫模型预测下一时刻目标的位置区域，以该位置为中心的搜索区域，有效减小检测器检测范围，由卡尔曼滤波器的预测值作为目标当前位置，以解决目标被大面积严重遮挡问题，提高跟踪精度和速度。通过多个视频图像序列测试，在实验结果比较中，本文改进的跟踪算法有效地提高了目标检测的准确性，由马尔卡夫模型预测，增强算法对复杂场景中相似目标的辨识能力，更加准确的跟踪目标。后续工作将会在更复杂的环境下进行实验，采用数据集相结合训练的方法，更好地实现目标物体的跟踪。

[1] 侯志强, 黄安奇, 余旺盛,等. 利用SIFT特征联合匹配的非刚体目标跟踪算法[J]. 系统工程与电子技术, 2015, 37(6):1417-1423.

[2] Qadri M T, Tayyab M. Real time object tracking using FPGA development Kit[J].International Journal of Information Technology & Computer Science, 2014, 6(11):54-58.

[3] Jabar F,Farokhi S,Sheikh U U.Object tracking using SIFT and KLT tracker for UAV-based applications[C]//IEEE International Symposium on Robotics and Intelligent Sensors. IEEE, 2016:65-68.

[4] 王智军, 王建华. 基于SIFT验证的Mean Shift跟踪运动目标新算法[J].电光与控制, 2016(11):93-96.

[5] 丁业兵, 李敬仕, 方国涛,等. 多特征连续自适应均值漂移人脸跟踪算法[J]. 计算机应用, 2014(s2):276-279.

[6] Jia B, Blasch E, Pham K D, et al. Space object tracking and maneuver detection via interacting multiple model cubature Kalman filters[C]//Aerospace Conference. IEEE, 2015:1-8.

[7] Bashir F I, Khokhar A A, Schonfeld D. Object trajectory-based activity classification and recognition using hidden Markov models[J]. IEEE transactions on Image Processing, 2007, 16(7): 1912-1919.

[8] Wu Y, Lim J, Yang M H. Online object tracking: a benchmark[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2013: 2411-2418.

(责任编辑：熊文涛)

TargetTrackingAlgorithmBasedontheColorHistogramProbabilityDistribution

Li Ning, Wang Liqing, Li Xun*

(SchoolofComputerScienceandEngineering,WuhanInstituteofTechnology,Wuhan,Hubei430205,China)

Aiming at the problem of tracking errors is caused by interference with objects similar to object in complex scenes, the tracking algorithm is improved based on color histogram probability distribution. In the first place, Kalman filter is used to estimate the target state area in order to avoid the problem of Cam-shift algorithm's falling into local maximum when the target is blocked and the problem of target tracking failure when the target moves too quickly. Then the direction predictor based on the Markov model is added to realize the target state estimation under the condition of background color interference and to enhance the ability of the detector to identify similar objects. The experimental results show that the new algorithm can improve the accuracy of target tracking as well as the target testing speed, and the accuracy of identifying similar targets in complex scenes in a great sense.

target tracking； Kalmanfilter； occlusion; processing speed； target estimation

TP391.4

A

2095-4824(2017)06-0102-05

2017-07-16

武汉工程大学研究生创新基金项目(CX2016071)

李 宁(1992- )，男，河南周口人，武汉工程大学计算机科学与工程学院硕士研究生。

李 迅(1980- )，男，湖北黄石人，武汉工程大学计算机科学与工程学院副教授,博士，本文通信作者。