拖影情况下快速飞行乒乓球体的实时识别与跟踪

杨 华，衣燕慧，刘国东，石祥滨

(沈阳航空航天大学 计算机学院，沈阳 110136)

计算机工程

拖影情况下快速飞行乒乓球体的实时识别与跟踪

杨 华，衣燕慧，刘国东，石祥滨

(沈阳航空航天大学 计算机学院，沈阳 110136)

快速飞行的乒乓球在图像采集过程中会产生拖影，影响甚至严重干扰对球体位置的准确识别和跟踪。对飞行乒乓球的拖影图像特点及实战型乒乓机器人的实际需求进行分析，在此基础上提出CS-BS-EF方法，将色彩分割、背景减除、椭圆拟合进行综合集成、优势互补，用以检测飞行球体的拖影范围并求取球心位置。实验结果表明该方法能够有效克服拖影影响，比较准确地识别和跟踪高速飞行的球体，且具有良好的抗干扰性、实时性。

乒乓球；机器人；拖影；识别和跟踪；实时性

最近十年来，包括中科院自动化所、国防科技大学、浙江大学、日本大阪大学、德国Chemnitz大学、美国Rochester研究所等单位从不同专业角度和设计目标出发，针对乒乓机器人各自开展了卓有成效的研究[1，8]。然而，乒乓机器人总体上仍停留在较初级的水平，原因是该领域研发存在许多问题仍未很好解决，包括球体目标的实时跟踪和轨迹预测、击球动作的精准控制、动作学习、运动规划、采集-计算-控制-运动的系统协同、智能学习等等，阻碍了实战型乒乓机器人的研发。

对快速飞行的乒乓球体实时、准确、连续地识别和跟踪，是设计和实现实战型乒乓球机器人的先决条件，唯此才能保证对球体的位置计算、轨迹预测以及随后的手臂运动规划、挥拍拦截等步骤及时而准确地进行。然而，乒乓球运动速度相对较快(对于国际标准40 mm乒乓球，人正常击球时乒乓球的速度范围在4～20 m/s)，对于一般的在线图像采集和跟踪系统而言，很容易形成球体物像的拖影。图1给出速度为自然光条件下7 m/s的乒乓球，沿垂直于光轴距离为2.5 m的平面，飞过帧率为60 fps摄像头时的瞬间图像。可见，拖影导致二维图像中对球体区域的准确识别变得困难，进而影响到球体的三维空间位置计算。

虽然采用高帧率的图像采集(减小曝光时间、间隔)可以降低拖影，但会造成：(1)数据带宽需求和系统计算量激增、甚至无法实现实时在线处理，只能改为离线；(2)低曝光时间会降低图像质量且需要更高的光照要求；(3)高速摄像系统需要巨大花费；等一系列问题。因此，需要结合乒乓球的拖影特点及乒乓机器人的实际需求加以研究和设计。

图1 拖影示例(球速7 m/s，帧率60 fps，距离2.5 m)

拖影，又称运动模糊(motion-blur)，因目标物体与相机之间相对运动过快或相机曝光时间较长而引起[9]，导致图像质量退化，影响甚至严重干扰对图像的观察和识别。目前针对拖影的研究及应用集中在两方面：(1)图像复原，主要用于静态图像处理，即通过相机随动、建模计算等手段力图降低乃至消除拖影(deblurring)，还原清晰图像；(2)模拟增加拖影，主要用于游戏及动画制作，即通过计算在连续的图像帧上原本清晰的物像上增加拖影，以符合人的视觉特性，使得场景的视觉效果视更加连贯。虽然有关拖影在上述两个方面的研究成果较多，但却并不适用于乒乓球机器人这样的应用领域，分析原因如下：

(1)目标是球心位置，而非清晰图像：乒乓球机器人需要的是对飞行球体的实时、准确、连续地识别和跟踪，即在拖影的物像里找出球在哪里、轨迹走向等，包括球心的位置、方向等信息。毕竟球体的外表是众所周知、无需还原的，球心位置的准确求取才是关键，未必一定要消除拖影。

(2)处理速度很重要：相对于消除拖影及图像复原所需要的复杂计算而言，乒乓球机器人更需要的是对图像中拖影范围的测算以及球心位置的求取这样相对简洁的计算。唯有如此才能给随后的三维位置求取、轨迹预测、手臂运动规划、挥拍拦截等步骤争取足够的计算和响应时间。

(3)消除拖影计算复杂：根据拖影产生的机理及物像特点，消除拖影是为了获取目标物体的更清晰影像，常用方法包括逆滤波、Richardson-Lucy方法、Wiener滤波、等[12]，通常需要较复杂的计算过程，因此更适用于单帧图像的静态处理，而难以满足对飞行乒乓球的连续实时的跟踪要求。此外，即便通过消除拖影得到了更清晰图像，对于乒乓机器人而言，仍需要再通过颜色、形状等其它方法进一步识别和计算球体的影位置，这无疑增加计算代价。

(4)综上，乒乓球机器人这一应用领域需要的是针对快速飞行球体的拖影物像上进行简洁、快速的位置计算，传统的消除运动模糊的相关算法并不适用且不必要，需要重新加以研究和设计。

根据上述分析，本文提出一种无需消除拖影、而是直接在拖影图像上识别和计算球心位置的方法，称CR-BS-EF法，用以检测飞行球体的拖影范围并求取球心位置。实验结果表明，该方法能够有效克服拖影影响，快速、准确地识别和跟踪快速飞行的球体，且具有良好的抗干扰性、实时性。

1 CS-BS-EF法

研究过程中，我们先后尝试光流法(optical flow)、色彩分割(color segmentation)、背景减除(background subtraction)等不同方法检测飞行的乒乓球体。结果发现任何单一方法的简单应用都难以适应飞行乒乓球体的各种情况(快速、慢速、拖影、光着条件变化等外界干扰等)：(1)光流法对光照要求较高、且对快速运动的小尺寸目标(飞行乒乓球)效果不好，不但仅计算过程复杂，而且准确性和稳定性都较差，无法满足系统需求。(2)色彩分割、背景减除法在一定程度上适用于该领域应用，但各自存在一些问题需要解决。

在大量实验的基础上我们提出了CS-BS-EF法，即将色彩分割(简称CS)、背景差分(简称BS)、椭圆拟合(简称EF)这三种子方法加以综合集成、优势互补，以期快速从拖影图像中找出球心位置，其总体流程如图2所示。

图2 CS-BS-EF总体流程图

下面结合三种子方法的含义、特点、适用性及利弊分析等方面，对CS-BS-EF法的构成要素、设计思路和甄别过程论述如下：

(1)色彩分割(简称CS)：通过设定阈值范围对图像不同颜色(兴趣颜色)加以“粗略”划分进而抽取出兴趣信息。[13，16]该方法忽略色彩及亮度的幅度变化，会影响对物体表面细微形状变化及纹理信息的保留，是“简化”和“枯竭”(impoverished)了的图像信息。但是，该方法计算量小、速度快、性能稳定，适用于乒乓机器人这样色彩分布比较分明、且需要实时在线处理的领域。该方法通常需要进行色彩空间(color space)变换，使得兴趣信息更加凸显。

本文利用乒乓球的颜色信息对其进行目标分割，而对于乒乓球的颜色选取，目前乒乓球比赛中的常用颜色有橙色和白色两种，但是考虑到周围环境中的白色区域较多，如大面积的墙壁、地板，包括球桌桌面上的标志性也是白色的，因此为减少周围环境中相近颜色的干扰，选择了与背景颜色差值较大的橙色乒乓球。

我们进行了大量实验，先后在RGB、归一化RGB、HSV、HSI、YCbCr等色彩空间进行色彩分割,识别和跟踪橙色乒乓球体，最后发现YCbCr空间的Cb分量对橙色非常敏感(这与国防科技大学的相关实验结果相吻合[7])，且抗干扰性较强，对乒乓球场景中的其它颜色(红-黑色球拍、蓝色球台、手的肤色、周围杂色背景等)都不太敏感，因此选取基于YCbCr空间的Cb分量的色彩分割作为对球体目标快速识别的首要办法。

图3 CS方法的局限性

实验发现，该方法在球速较慢时效果不错，而当球体快速飞行时由于拖影部分曝光不均匀而形成色彩差异，只能识别拖影中间颜色较深的区域，而对拖影两端颜色较浅的区域则难以识别，如图3所示。为了弥补这一不足、更进一步，我们引入了背景减除法来克服拖影影响。

(2)背景减除(简称BS)：在连续的视频帧中检测运动目标的常用方法，通过寻找当前帧与背景帧(参考帧)之间的差异来检测场景中的运动目标[17，20]。该方法的优点是计算简单、速度快，缺点是背景易受光照、异物入侵等周围条件的影响而变化，因此要实现准确而连续的目标检测需要经常进行背景更新。

图4 BS方法的局限性

实验中我们采用连续若干帧图像的平均值作为背景帧，以期得到相对平稳的低噪声背景，并采用定期更新背景帧的方法抵抗光照条件变化等方面的干扰，效果较好。实验还发现，该方法对快速飞行乒乓球产生的拖影图像有较好的检测效果，特别是图像的外轮廓识别较好，而当球速较慢时，有时会将球体图像在连续帧之间的重叠区域认作背景(未运动区域)不予识别，如图4所示。

综上可以看出，色彩分割法和背景减除法对运动乒乓球的检测方面适应性恰好相反，二者分别适用于低速飞行球体中心区域颜色检测和高速拖影球体图像的轮廓识别，具有很好的互补性，二者综合运用能适应球速变化等情况。

图5 椭圆拟合及球心位置坐标图

(3)椭圆拟合(简称EF)：将上述两种方法的综合运用得到乒乓球体拖影图像对应的二值化轮廓，该区域近似为椭圆(参见图1、3～4、6～7)，因此可采用椭圆拟合的方法得到拖影轮廓表示。图5给出了椭圆拟合和球心位置的坐标图，其中实线画出了拟合的椭圆，(xc,yc)为中心坐标，a为长轴，b为短轴(可视作球体半径)，夹角θ为椭圆长轴方向(可视作球体飞行方向)，通过椭圆拟合求得这些参数。拟合过程采用常见的最小二乘法进行[21]，以CS、BS处理得到的轮廓边界点作为输入，利用极值原理求得。

(1)

通过分析乒乓球的运动特点可知，每帧图像中椭圆的长轴可视作球体瞬间飞行方向，而短轴长度近似等于球体半径。据此，椭圆拟合之后可进一步精确推算出乒乓球心的二维坐标。图5的虚线圆可视作球体位置，(xp,yp)为球心坐标，可采用公式(1)计算，即椭圆中心(xc,yc)沿长轴方向(θ角)平移长轴与短轴的长度之差(a-b)可得。

2 实验及结果

2.1 实验条件及环境

实验在室内、无风、自然光照条件进行，无特殊光源，以期符合实际的普通乒乓球运动场所条件，并更大限度地评测CS-BS-EF方法的适应性。硬件上以普通PC机(AMD Athlon II X2 3.0 GHz CPU，2 G内存，一般显卡)作为计算设备，以德国AVT 032C高速工业相机、139 4b总线PCI-E接口作为图像采集设备(320×240分辨率时，帧率可达204 fps)。软件上采用Windows XP系统、MS Visual C++ 9.0、OpenCV2.4.5作为程序开发和运行环境，开发实验程序。

图6 CS-BS-EF对拖影球体识别和跟踪（球速7 m/s，帧率60 fps，距离2.5 m）

2.2 对拖影球体的识别和跟踪

图6给出CS-BS-EF方法对7m/s的飞行球体的拖影图像的识别和跟踪结果，其中红色椭圆给出飞行球体的拖影图像轮廓，而红色圆点给出了球体圆心的确切位置。实验表明，将CS-BS-EF方法应用于连续采集的图像帧，可以实现乒乓球体的连续识别和跟踪。更重要的是，该方法对球速变化、光照变化及图像拖影等情况有很好的适应性。

2.3 抗干扰性

我们通过在场景中放置与乒乓球颜色接近的静态物体来测试CS-BS-EF方法的抗干扰能力。图7给出了对应的实验结果：(a)图左下角存在相同或相近的颜色干扰；(b)图可见图像经过CS-BS处理后检测出了乒乓球体的拖影轮廓，但左下角仍存在一些噪声点；(c)图给出的是经过降噪处理后的结果；(d)图是将EF处理的结果叠加在原始图像，其中黄色椭圆表示拖影的范围，红色远点为估算的球心位置。

2.4 实时性

通过对飞行球体的连续识别和跟踪来测试CS-BS-EF的处理速度，发现每帧处理仅需要25 ms，即帧率可达40 fps左右，证明了该方法具有很好的实时性，能够满足快速飞行乒乓球体连续、实时地识别和跟踪要求。

图7 CS-BS-EF的抗干扰试验

3 结语

针对快速飞行乒乓球拖影图像的特点及实际技术需求，本文提出了CS-BS-EF方法，将传统颜色分割、背景减除、椭圆拟合方法综合运用、优势互补，实现对快速飞行的乒乓球拖影图像的连续识别和跟踪，能够快速得到球体的拖影范围并计算球心位置。实验表明，该方法能够有效克服拖影影响，且具有计算代价小、抗干扰能力强等特点，为实战型乒乓球机器人实现连续、实时的快速飞行乒乓球体位置的识别和跟踪提供解决方案。此外，本方法不仅适用于桔黄色乒乓球，亦可拓展应用于其它颜色目标物体拖影图像的快速识别和跟踪。

[1]Acosta L,Rodrigo J J,Mendez J A,et al.Ping-pong player prototype[J].IEEE Robotics & Automation Magazine,2003,10(4):44-52.

[2]Rusdorf S,Brunnett G,Lorenz M,et al.Real-time interaction with a humanoid avatar in an immersive table tennis simulation[J].IEEE Transactions on Visualization and Computer Graphics,2007,13(1):15-25.

[3]Miyazaki F,Takeuchi M,Matsushima M,et al.Realization of the table tennis task based on virtual targets[C].Washington DC:Proceedings of the 2002 IEEE International Conference on Robotics and Automation,2002:3844-3849.

[4]彭博,洪永潮,杜森森,等.乒乓球机器人击打点的预测方法[J].江南大学学报(自然科学版),2007,6(4)：433-437.

[5]Wilson A.Vision-based robot/human ping-pong[J].Vision Systems Design,2008,13(2):21-22.

[6]郑魁敬,崔培.乒乓球机器人的研究与发展[J].机床与液压,2009,37(8):238-241.

[7]杨绍武.基于双目视觉的乒乓球识别与跟踪问题研究[D].北京：国防科技大学,2009.

[8]张远辉.基于实时视觉的乒乓球机器人标定和轨迹跟踪技术研究[D].杭州：浙江大学,2009.

[9]Zhang Yu-ye,Wang Xue-wei,Wang Chun-xin.Restoration of space-variant blurred image based on motion-blurred target segmentation[J].Journal of Systems Engineering and Electronics,2010,21(2):191-196.

[10]张进,陈慧蓉,荣钢.基于波方程的运动模糊图像恢复[J].清华大学学报(自然科学版),2005,45(7):1002-1004,1008.

[11]程姝,赵志刚,吕慧显,等.顺序结构的运动模糊图像复原技术综述[J].计算机应用,2013,33(S1):161-165,185.

[12]刘微.运动模糊图像恢复算法的研究与实现[D].长春：中国科学院长春光学精密机械与物理研究所,2006.

[13]林开颜,吴军辉,徐立鸿.彩色图像分割方法综述[J].中国图象图形学报,2005,10(1):1-10.

[14]李偲,栾新,宋大雷.基于彩色图像分割的机器人的目标识别[J].微计算机信息,2008,24(6-2):358-360.

[15]Tan K S,Isa N A M.Color image segmentation using histogram thresholding-Fuzzy C-means hybrid approach[J].Pattern Recognition,2011(44):1-15.

[16]Dana E I,Paul F W.Image segmentation based on the integration of colour-texture descriptors-A review[J].2011(44):2479-2501.

[17]Zhou Hong,Chen Yi-ru,Feng Rong.A novel background subtraction method based on color invariants[J].Computer Vision and Image Understanding,2013,117(11):1589-1597.

[18]Yang Jin-bin,Shi Min,Yi Qing-ming.A new method for motion target detection by background subtraction and update[J].Physics Procedia,2012,33:1768-1775.

[19]李刚,邱尚斌,林凌,等.基于背景差法和帧间差法的运动目标检测方法[J].仪器仪表学报,2006,27(8):962-964.

[20]韩亚伟,张有志,李庆涛,等.帧差累计和减背景相结合的运动对象分割方法[J].计算机工程与应用,2011,47(14):164-166.

[21]闫蓓,王斌,李媛.基于最小二乘法的椭圆拟合改进算法[J].北京航空航天大学学报,2008,34(3):295-298.

(责任编辑：刘划 英文审校：刘敬钰)

Real-timerecognizingandtrackingoffastflyingping-pongballundermotionblur

YANG Hua,YI Yan-hui,LIU Guo-dong,SHI Xiang-bin

College of Computer Science and Technology,Shenyang Aerospace University,Shenyang 110136)

Fast flying ping-pong ball usually generates motion blur in image capturing process,which affects and even interferes in the process of accurately recognizing and tracking their positions.In this paper,motion blur features of flying ping-pong ball,as well as the actual demands by an adversarial ping-pong playing robot,are analyzed.Then we propose an integrated method called CS-BS-EF,which stands for a comprehensive integration and optimization in methods of color-segmentation,background-subtraction and ellipse-fitting,which overcomes the drawbacks of each one.Now,CS-BS-EF is used for detecting smear scope and calculating and tracking flying ping-pong ball.The experimental results show that CS-BS-EF is capable of surmounting the effects of motion blur,and of recognizing and tracking high-speed flying ping-pong ball with relative accuracy,anti-interfering,and instantaneity.

ping-pong;robot;motion blur;recognizing and tracking;instantaneity

2013-10-31

国家自然科学基金(项目编号：61170185)；辽宁省自然科学基金(项目编号：2013024002)；辽宁省教育厅基金(项目编号：L2013063)；沈阳市人才资源开发专项资金(项目编号：10224)

杨华(1974-)，男，辽宁沈阳人，副教授，主要研究方向：计算机系统结构、智能人机交互、仿人机器人等，E-mail: yangh21@gmail.com。

2095-1248(2014)01-0047-05

TP391.41

A

10.3969/j.issn.2095-1248.2014.01.011