基于卡尔曼滤波的台球跟踪技术研究

谷帅

摘 要：针对无遮挡情况下的跟踪问题，利用卡尔曼滤波的预测性与特征匹配相结合的方法对目标台球进行跟踪，以期提高跟踪的实时性和准确性。针对有遮挡情况下的跟踪问题，根据运动台球具有明显的颜色特性，采用卡尔曼滤波与Mean Shift相结合的方法，实验结果表明该方法具有良好的稳健性和实时性。

关键词：卡尔曼滤波；特征匹配；Mean Shift；实时性

近年来，随着中国选手在国际斯诺克比赛中佳绩频频，使得这项运动倍受关注。然而，一场台球比赛持续两三个小时很平常，这就对裁判的注意力和体力的要求很高，稍一分心就有可能报错分数或者不能对台球进行复位。在一些国内外的比赛中，基于视频的智能辅助系统的研究 [1-3]已经应用到比赛中，因此，对台球比赛视频的分析研究是非常必要的。

随着科技水平的不断提高，运用计算机视频帮助并逐渐取代人工监督和分析任务的情景越来越多。由此产生了计算机视觉[4]。计算机视觉主要包括运动目标检测，目标提取，目标识别与跟踪几个方面。其中，最具有挑战的是对运动目标的跟踪，对运动目标进行跟踪的一些常用方法有：基于子空间的跟踪方法，基于背景建模的跟踪方法，基于确定性运动建模的跟踪方法，基于贝叶斯滤波的跟踪方法，基于特征匹配的跟踪方法等。

基于子空间的跟踪方法能够在跟踪目标外在特征变化时很好的对目标进行跟踪，但是，它需要事先进行训练，这就局限了它的应用范围。基于背景建模的方法可以处理光照变化和背景中周期性的运动，该方法的缺点是它需要存储每个样本点，而且每个样本点都要参加核函数的计算。这就带来了很高的存储开销和计算代价。基于确定性运动建模的跟踪方法具有执行速度快的优点，然而，该方法大多是采用局部优化的方法来获得运动参数，容易陷入局部极小点。基于特征匹配的跟踪方法，即使当场景中的光照条件，亮度等不断发生变化时，目标跟踪仍然不受影响；而且它能利用目标的局部特征来实现目标的跟踪，就算目标部分被遮挡的情况也能实现目标的跟踪。它的计算量小，适于对实时性有要求的应用场景。

1 基于卡尔曼滤波与特征匹配的台球跟踪

1.1 基于台球特征匹配的跟踪方法

基于台球特征匹配的跟踪方法是利用台球的特征信息实现其从一帧图象到下一帧图象的匹配。进行图象特征匹配的特征可以是运动目标的形状，也可以是颜色，面积，还可以是位置信息等，本文中目标的匹配主要是通过台球特征信息的相似性来实现的。根据台球的特殊性，在此主要选取了台球的位置特征，面积特征和颜色特征。在对台球的跟踪中，通过检测台球目标在每帧图像上的位置信息和几何信息，将相邻两帧图象中同一台球的这些特征对应起来就可以实现对该台球的匹配。为此，文章选用的视频是每秒25帧，在相邻帧之间台球的运动比较平缓，短时间内的位移距离较小，几何特征信息相近，因此根据台球目标在相邻两帧图像中几何特征具有很高的相似性就可以实现台球目标的匹配。

1.2 Kalman滤波与特征匹配相结合的台球跟踪

基于区域的目标跟踪是利用相邻帧图象之间目标的特征具有较高的相似性进行匹配，从而实现目标跟踪，文章中是对每一帧图象做目标分割、识别、特征提取等处理，因此，匹配是以前一帧的目标特征信息为模板，在当前帧图象的所有候选目标中寻找特征相近的目标即可实现匹配。应用基于Kalman滤波的运动估计的方法能够预测运动目标下一状态的运动信息，缩小运动目标检测的范围，如此可以节省对目标的全局搜索处理，提高搜索的可靠性和实时性。

应用Kalman滤波进行运动估计，可以有效地减小噪声带来的干扰，只需要在当前跟踪窗口的范围内进行检测，这样就大大的减少了计算量。利用当前帧检测到的目标状态信息对下一帧的目标状态信息进行预测，根据预测的目标信息在下一帧图像中对应出跟踪窗口范围，在该范围内依据选定的目标特征匹配方法对运动目标进行检测，此过程反复迭代即实现运动目标的连续跟踪。

最后，对视频序列实现连续多帧图像中同一目标的匹配跟踪即可获得目标的运动轨迹。

2 Mean Shift与卡尔曼滤波相结合的运动台球跟踪

2.1 Mean Shift与卡尔曼滤波结合算法

Kalman滤波与特征匹配相结合的方法在没有遮挡的情况下具有很好的跟踪效果，但当目标在运动过程被遮挡的时候，如被选手遮挡，在视频中就无法获得目标的质心、面积等特征，无法对后续帧提供可靠的观测值及匹配特征，就会导致跟踪失效。因为台球的颜色特征明显，在遮挡前与重现出现之后的颜色基本不变可以考虑用均值漂移（Mean Shift）与卡尔曼滤波想结合的方法来解决目标被遮挡的问题。

卡尔曼滤波器与Mean Shift相结合的算法如下：

⑴根据斯诺克视频中对目标台球的初始化位置，推算出初始状态向量和其它一些参数。⑵通过卡尔曼滤波器来预测台球在当前帧中的可能位置。⑶把2中预测的台球可能位置作为Mean Shift算法的迭代起点，开始进行运算，直到收敛，得到台球的真实位置。⑷把3中得到的台球真实位置当做卡尔曼滤波器的观测向量，进而更新卡尔曼滤波器。⑸利用4中的滤波器反复第2步到第4步的过程，得出下一帧中台球的位置，如此反复，就可以完成对台球的跟踪过程。

2.2 目标遮挡情况的跟踪

针对运动台球在台球被大比例遮挡情况下的跟踪问题，利用Mean Shift与卡尔曼滤波相结合的算法进行跟踪，Mean Shift与卡尔曼滤波相结合的算法可以不用斯诺克视频前一帧中台球的位置初始化迭代起点，而是利用卡尔曼滤波的预测性预测出下一帧中台球的可能位置，并把这个位置作为初始化Mean Shift算法的迭代起点，这样就使得该算法能够更快速的搜索台球的真实位置。

当目标台球被大面积或者是全部遮挡的时候，根据Bhattacharyya系数可以判断台球是否被严重遮挡，如果台球被大面积遮挡，就利用线性估计的方法来估计台球的质心位置，并把此位置当做卡尔曼滤波的观测值来跟新卡尔曼滤波器来实现对运动台球的跟踪；当运动台球完整出现的时候，就利用Mean Shift与卡尔曼滤波相结合继续对台球进行跟踪。

3 实验数据与分析

实验通过提取一段斯诺克视频的部分片段来实现跟踪过程，具体的跟踪结果如下：

如图1所示，a为第61帧刚开始击打台球的匹配跟踪轨迹图，b，c分别为第68帧和第75帧的匹配跟踪轨迹图。

如图2所示，a为跟踪的起始帧第48帧，b为第52帧跟踪轨迹图，此时台球已被完全遮挡，c为第56帧台球完整重现的跟踪轨迹图。Mean Shift与卡尔曼滤波相结合的方法在目标台球遇到大比例遮挡和重新完整出现时也能很好的跟踪。

4 结语

文章利用卡尔曼滤波对运动状态的预测性，通过预测出下一帧图象中运动台球的可能位置，缩小检测与跟踪的范围，实现对运动台球的快速跟踪。针对运动台球是否被遮挡的情况，分别提出了Kalman与Mean Shift相结合的算法和Kalman与特征匹配相结合的方法来实现对台球的快速跟踪。实验结果表明在台球比赛中，这两种方法在运动台球的跟踪上具有良好的效果。

[参考文献]

[1]Bo-Ru Cheng，Je-Ting Li，Jr-Syu Yang.Design of the Neural-Fuzzy Compensator for a Billiard Robot.Networking， Sensing and Control，2004 IEEE International Conference on Volume 2，2004 Page（s）：909-913 Vol.2.

[2]Lin Z.M.，Yang J.S.，Yang C.Y.Grey decision-making for a billiard robot. Systems，Man and Cybernetics，2004 IEEE International Conference on Volume 6，10-13 Oct.2004 Page（s）：5350-5355 vol.6.

[3]Ho K.H.L.，Martin T.，Baldwin J..Snooker robot player-20 years on Computational Intelligence and Games，2007.CIG 2007.IEEE Symposium on 1-5 April 2007 Page（s）：1-8.

[4]马颂德，张正友.计算机视觉计算理论与算法基础[M].北京：科学出版社，1998：2-8.