体育视频中基于粒子滤波和ARG模型的多目标跟踪方案

孔祥魁， 向 华

(1.长江大学 体育学院，湖北 荆州 434023;2.长江大学 计算机学院，湖北 荆州 434023)

体育视频中基于粒子滤波和ARG模型的多目标跟踪方案

孔祥魁1*， 向 华2

(1.长江大学 体育学院，湖北 荆州 434023;2.长江大学 计算机学院，湖北 荆州 434023)

针对体育视频中运动员的精确跟踪问题，提出一种融合粒子滤波和属性关系图(ARG)的多目标跟踪方案.首先，对于所有目标执行粒子滤波构建跟踪器，并根据颜色直方图计算粒子权重.然后，在粒子滤波过程中，融入ARG模型.基于已标注的图像构建ARG模型，并以此评估每个跟踪器的时间得分.最后，根据得分来选择最终的跟踪器，以此实现运动目标跟踪.实验结果表明，该方案能够准确地跟踪多个运动目标，对遮挡和突然运动具有较好的鲁棒性.

体育视频；目标跟踪；粒子滤波；属性关系图

随着体育竞技和训练要求的不断提高，计算机视觉技术被引入体育训练中.在体育视频中对运动员进行检测和跟踪，可以记录目标的各种运动数据，提供更理论化、数据化的运动描述，对体育视频的高层次处理具有重要的意义[1].目前，学者提出了一些体育视频目标跟踪方案.[2]基于粒子滤波(Particle Filter, PF)提出一种运动目标跟踪方案.然而，其采用的粒子滤波对运动员的运动模型很难准确描述，当目标遮挡时将会导致目标丢失.[3]提出了一种自由模型的跟踪方法(SPOT)，使用了方向梯度直方图(Histogram of Oriented Gradients，HOG)探测器和结构模型来跟踪多个目标.其使用结构模型来改善跟踪，具有一定的处理遮挡能力.然而，该方案中的结构模型只包含观察到的距离与理想值之间的偏差，目标的跟踪精度不高.

本文在粒子滤波基础上，融入属性关系图(Attribute Relational Graph, ARG)模型提出一种视频多目标跟踪方案.从已标注的图像中学习概率结构ARG模型图，并使用其来评估和调整当前的跟踪状态，以此应对遮挡或突然运动的情况.实验结果表明，本文方案具有较高的跟踪精度.

1 本文方案框架

提出方案的整体框架如图1所示.

2 粒子滤波

最后，通过粒子的加权均值获得粒子云P，并以此给出跟踪目标的当前状态决策：

另外，本文基于粒子的非规范化权值，通过计算置信度分数来评估P的整体质量：

3 属性关系图(ARG)

4 基于ARG改善跟踪性能

4.1 计算跟踪器的时间分数

时间分数wi表示相关跟踪器随时间变化的可靠性，通过计算瞬时分数的加权和来获得：

4.2 生成场景图

4.3 选择最终跟踪器

5 实验及分析

5.1 实验设置

采用一个来自Youtube网站的乒乓球比赛视频作为实验对象，这个视频共包含5 766个帧.将视频帧编码到854×480大小，作为实验集.在OpenCV软件[12]上开发目标跟踪系统，基于高斯分布N(0,10)的随机游走形式来仿真粒子的动态性.所有测试是在Intel CoreTM i5 CPU、3.6 GHz主频、8 GB RAM的计算机上进行.表1中显示了实验参数.

表1 本文方案中的参数

5.2 性能指标

5.3 性能评估

将本文方案(PF+ARG)与单纯采用粒子滤波方案(PF)、[3]提出的SPOT方案进行比较，其中SPOT方案使用了HOG探测器和结构模型来跟踪多个目标.视频中，各种跟踪方案的任务是跟踪4个球员和球网.为了创建更多的外观模糊度并检测图模型能否处理这种情况，本文只使用运动员的躯干进行跟踪.

图2列举了视频中3个帧处的跟踪结果，其中第一帧为运动员重叠场景，第二帧为运动员突然运动场景，第三帧为之后的正常场景.由图2(a)可以看出，当两个运动员重叠后，PF和SPOT跟踪器可能因外观模糊而失去目标.然而，本文方案中ARG模型的使用使其成功地恢复跟踪.另外，从图2(b)和图2(c)可以看出，当运动员突然运动后，本文方法丢失了目标，但能够迅速地恢复跟踪.而PF跟踪器在目标丢失后，不能很好地恢复跟踪，从而导致后面的高误差.SPOT跟踪器能够应对一些突然运动的影响，因为它在每个帧处使用了滑窗检测器.然而，它在该测试中的效果并不是很理想，这是因为其初始时没有获得良好的HOG描述符，所以学习的目标模型判别性不高.

表2 视频数据集上的性能比较

方案PF+ARGPFSPOTCERR517864

为了更好地进行比较，每次测试中计算所有帧中目标跟踪的距离偏差，并取平均值.视频中各种方案跟踪的性能比较结果如表2所示.可以看出，本文方案目标跟踪的偏差最小，表明使用ARG模型可以有效地提高跟踪性能.

6 结束语

本文提出了一种基于ARG模型的方法来探讨场景的结构信息，并将它与粒子滤波相结合，来改善视频中多目标跟踪性能.利用ARG模型评估每个跟踪器，使其在目标丢失之后能够恢复跟踪.实验结果证明本文方案能够有效跟踪目标，且对遮挡和突然运动具有鲁棒性.

在未来研究中，可尝试通过自适应调整一些参数使得本文方法更具自适应性.例如，当使用粒子时，根据每个位置处的粒子云尺寸自适应选择最佳扩展方案.

[1] 蒋宇. 基于均值移位算法与彩色直方图算法的体育运动视频跟踪技术研究[J]. 苏州大学学报:工科版, 2012, 32(2): 33-36.

[2] SEDAI S, HUYNH D Q, BENNAMOUN M. Supervised particle filter for tracking 2D human pose in monocular video[J].Applications of Computer,2011, 22(11): 367-373.

[3] ZHANG L,MAATEN L V D. Preserving structure in Model-Free tracking[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2014, 36(4):756-769.

[4] 沈建锋, 杨文明, 廖庆敏. 结合部件分割和粒子滤波的3D人体运动跟踪[J]. 计算机辅助设计与图形学学报, 2012, 24(2):191-198.

[5] PÉTERI R. Tracking dynamic textures using a particle filter driven by intrinsic motion information[J]. Machine Vision & Applications, 2011, 22(5): 781-789.

[6] GARCIA J,GARDEL A, BRAVO I, et al. Tracking people motion based on extended condensation algorithm[J]. Systems Man & Cybernetics Systems IEEE Transactions on, 2013, 43(3):606-618.

[7] 何鹏举, 宋阿梅, 张永锋,等. 基于概率密度估计改进粒子滤波的行人跟踪算法研究[J]. 电子设计工程, 2013, 21(15): 178-182.

[8] 万琴, 王耀南, 余洪山,等. 基于属性关系图优化匹配的多运动目标跟踪[J]. 仪器仪表学报, 2013, 34(3): 608-613.

[9] CHO M, ALAHARI K, PONCE J. Learning graphs to match[C]// Computer Vision (ICCV), 2013 IEEE International Conference on. Sydney: IEEE, 2013: 25-32.

[10] 周燕, 曾凡智, 张志飞,等. 面向制造过程的海量数字图像高效检索算法研究[J]. 湘潭大学自然科学学报, 2014, 36(3):105-110.

[11] ERDEM E, DUBUISSON S, BLOCH I. Fragments based tracking with adaptive cue integration[J]. Computer Vision & Image Understanding, 2012, 116(7): 827-841.

[12] 张润泽. 基于OpenCV的视觉跟踪平台设计与实现[D]. 长春：吉林大学, 2015.

责任编辑：龙顺潮

Multiple Target Tracking Schemein Sports Video Based on Particle Filter and ARG Model

KONGXiang-kui1*,XIANGHua2

(1.Institute of Physical Education, Yangtze University, Jingzhou 434023; 2.Institute of Computer, Yangtze University, Jingzhou 434023 China)

For the issue that the precise tracking of athletes in sports video, a multiple target tracking scheme based on particle filter and attribute relational graph (ARG) model is proposed. First, the particle filter is constructed for all targets to construct the trackers, and the particle weights are calculated according to the color histogram. Then, the ARG model is integrated into the process of particle filter, and the ARG model is constructed based on annotated images, so as to evaluate the temporal score of each tracker. Finally, the final tracker is selected according to the score, so that to achieve moving target tracking. Experimental results show that the proposed scheme can track multiple moving objects accurately, and it is robust to shield and sudden movement.

sports video; target tracking; particle filter; attribute relational graph

2016-05-09

湖北省高等学校省级教学研究项目(2015257)

孔祥魁(1978—)，男，山东 定陶人，讲师. E-mail:kongxiangkuicju@126.com

TP391

A

1000-5900(2016)04-0080-05