足球智能机器人双目视觉发球角度定位方法

聂上伟

（成都中医药大学体育学院，四川 成都 611137）

1 引言

现阶段科技的迅速发展，增强了机器人的功能，使其在各个领域，被广泛地应用，尤其是在近年来备受关注的体育界，其中，应用较为广泛的是足球智能机器人[1]。足球智能机器人属于可行走式智能机器人系统，是机器人领域研究的一个重要分支。足球智能机器人不仅具有一般机器人的共性，而且还具有自身的特点，它是将实现足球机器人发球作为发展目标，在无线数字通信中，通过计算机视觉、运动分析、调节控制和传感器监测进行研究。伴随着计算机视觉以及视觉传感器的不断发展和实践应用，视觉定位已经成为一种体现机器人智能、拟人等特点的定位技术[2]。在足球智能机器人的视觉系统研究中，双目视觉定位属于一个重要的研究课题，也是视觉系统的一个研究难点，现阶段受到了广泛关注。

针对机器人双目视觉定位，部分专家学者给出了一些较好的研究成果，文献[3]提出基于改进ORB特征的遥操作工程机器人双目视觉定位方法，采用图像二分法，处理图像无效区域保留匹配区域，利用ORB算法匹配有效区域，运用RANSAC算法处理伪匹配，获取匹配点对，实现机器人双目视觉定位。该方法能够有效减小遥操作工程机器人作业的定位误差。文献[4]提出遥操作工程机器人的双目视觉定位方法研究，通过建立目标物模板，采用模板识别图像目标物并获取特征点，利用组合匹配方法，立体匹配特征点并三维重建，实现目标物的空间定位。该方法匹配计算量较小，定位效率较高。

基于上述分析，提出了足球智能机器人双目视觉发球角度定位方法。利用双目摄像机，观测足球场地，双目标定足球智能机器人。采用Canny算子进行边缘检测，识别图像中目标物的位置，确保足球智能机器人发球稳定性。

利用Harris算子提取目标角点信息，并结合Canny边缘检测识别的目标边缘点作为特征点，基于Canny−Harris特征点，匹配左图像和右图像里的目标物，获取二者匹配关系。通过立体匹配获取数据，针对物体角度实施三维重构，减小足球落点位置误差，从而精准定位机器人发球角度。

2 足球智能机器人双目视觉发球角度定位方法

2.1 双目标定

在足球智能机器人双目处绑定摄像机，使摄像机与机器人一起运动，在多个位置通过摄像机对足球场地进行观测，获取足球智能机器人双目的平移矩阵与旋转矩阵，对足球智能机器人实施双目标定。其中，摄像机及足球智能机器人运动前后位置具体，如图1所示。

图1摄像机及足球智能机器人运动前后位置Fig.1 Front and Rear Positions of Camera and Soccer Intelligent Robot

如图1 所示的摄像机及足球智能机器人运动前后位置中，Cobj—二维坐标系；Cc1—移动摄像机所处的原始坐标系；Ce1—足球智能机器人移动原始坐标系；Cc2—摄像机移动终止坐标系；Ce2—足球智能机器人移动终止坐标系；T、R—旋转和平移矩阵[5]；Cc3—摄像机第三位置处坐标系；Ce3—足球智能机器人第三位置处坐标系；( )Ra1，Ta1—从第一到第二位置后，摄像机矩阵平移变换和矩阵旋转变换；(Ra2，Ta2)—从第二到第三位置后，摄像机矩阵平移变换和矩阵旋转变换［6］；(Rb1，Tb1)、(Rb2，Tb2)—足球智能机器人从第一个位置到第二个位置后的平移矩阵与旋转矩阵坐标以及足球智能机器人从第二个位置到第三个位置后的平移矩阵与旋转矩阵坐标。在摄像机处于第一个位置和第二个位置时，利用双目摄像机观测足球场，获取坐标系Cc1和Cc2中，世界坐标系的描述，并通过4×4 矩阵表示，将其记为M与N[7]。A表示坐标系Cc1与Cc2的关系为：

假设B表示坐标系Ce1与Ce2的关系，其值可通过控制软件实际读取值进行推导。如果用摄像机和机器人坐标系Cc和Ce的变换关系来表示X，那么双目标定即为：

分别对上式中平移矩阵与旋转矩阵这两个未知量进行求解。具体求解过程如下：

如果控制平移矩阵与旋转矩阵两次运动时旋转轴保持不平行，获取Rb1、Rb2、Ra1、Ra2旋转轴所相对方向上的向量分别为kb1、kb2、ka1、ka2，那么矩阵旋转变换可用式（5）进行计算：

将R求解的值代入足球智能机器人两次移动坐标系变化方程组中，即可获得平移矩阵的超定方程组，通过最小二乘法[9]对T进行求解，完成双目标定。

其中，足球智能机器人两次移动坐标系变化方程组具体如下式所示：

2.2 识别目标

由于Canny算子能够有效提取完整边缘，且连续性较好，定位精准。因此，采用Canny算子进行边缘检测，从而识别目标，获得目标在图像上所在的位置，确保获取准确性和精确性较高的角度定位。Canny边缘检测的具体步骤流程为：

（1）通过滤波技术，去除图像噪点，实施图像平滑处理。

（2）在背景和目标物体灰度差中进行二值图像处理，确保只有0和1两个像素值，并变换图像。

（3）提取二值化图像的边缘，获取图像内各区域的实际边缘及区域的整体数量。

（4）计算局部梯度和边缘方向。

（5）将阈值与欧式距离进行比较。当欧式距离小于阈值时，将该边缘区域确定为目标区域；当该边缘区域小于阈值时，将该图像确定为目标区域；当该图像中没有任何目标区域时，将该阈值确定为场景中没有目标区域，并将该阈值重新确定为目标区域。

（6）连接边缘，通过形心法计算目标物体，以得到目标点坐标。

2.3 立体匹配

利用Harris算子对目标角点信息进行提取，并结合Canny边缘检测识别的目标边缘点作为特征点。

Harris检测的具体步骤流程为：

（1）在水平和垂直方向上，对图像像素梯度进行计算。

（2）采用高斯滤波，去除图像噪声，获取离散二维零均值高斯函数。

（3）计算初始图像中各像素点的兴趣值。

（4）对局部极值点进行选择。

（5）设定阈值，从而对目标角点进行选择。

基于Canny−Harris特征点，匹配左图像和右图像里的目标物角度，获取二者的匹配关系，在匹配过程中，考虑一致性序列约束[10]。立体匹配具体步骤，如图2所示。

图2 立体匹配具体步骤Fig.2 Specific Steps of Stereo Matching

2.4 目标定位

通过基于Canny−Harris特征点立体匹配获取的数据，针对物体角度实施三维重构，实现足球智能机器人双目视觉发球角度定位。在M1和M2两个点上设置左右摄像机的对应透视投影矩阵，则：

将Zc1与Zc2消去，获取关于X、Y、Z的线性方程，对其进行整理后可获取下式：

式中：T—二乘阈值。

通过上式即可求取世界坐标系中P点的坐标，实现足球智能机器人双目视觉发球角度定位。

3 实验结果与分析

3.1 实验环境设置

为了验证足球智能机器人双目视觉发球角度定位方法的有效性，以MATLAB 仿真软件作为实验平台，对其进行实验验证。实验环境设置具体，如表1所示。

表1 实验环境设置Tab.1 Experimental Environmental Settings

其中，电动平移台、控制器和电动旋转台参数，如表2所示。

表2 电动平移台、控制器和电动旋转台具体参数Tab.2 Specific Parameters of Electric Flatter，Controller and Electric Rotator

3.2 双目视觉系统搭建

在双目视觉系统搭建的过程中，采用视差测量视觉深度，标定摄像机内部参数。采用MATLAB 工具箱Camera Calibration Toolbox，进行左右摄像机参数标定。利用双目摄像机，对足球场进行观测，如图3所示。

图3 双目摄像机观测足球场Fig.3 Observation of Football Field with Binocular Camera

实验中所用到的足球智能机器人，如图4所示。利用足球智能机器人进行发球实验，选取一种足球智能机器人运动参数模式，重复该运行参数模式，完成足球智能机器人发球过程。连续发球5次，并运用搭建的双目视觉系统，记录5次发球过程的数据。采用搭建的双目视觉系统对其落点三维坐标进行测量，并估计足球智能机器人发球稳定性。

图4 足球智能机器人Fig.4 Intelligent Soccer Serve Robot

3.3 足球智能机器人发球稳定性分析

分别设置足球发球角度为10°、20°、30°、40°和50°，根据物体斜抛模型，使用击球点、发球轨道角度和落球点三维坐标，拟合足球发球飞行轨迹，如图5所示。根据图5不同发球角度的飞行轨迹拟合结果可知，随着发球角度的增加，足球飞行距离随之减小。其中，当发球角度为10°时，足球飞行距离的平均值为1253mm；当发球角度为20°时，足球飞行距离的平均值为1210mm；当发球角度为30°时，足球飞行距离的平均值为1146mm；当发球角度为40°时，足球飞行距离的平均值为999.7mm；当发球角度为50°时，足球飞行距离的平均值为921.5mm。

图5 不同发球角度的飞行轨迹拟合结果Fig.5 Flight Trajectory Fitting Results of Different Service Angles

且在不同发球角度下，足球智能机器人的发球飞行轨迹较为稳定。但是，相比不同发球角度的飞行轨迹拟合结构可知，当发球角度为10°时，足球智能机器人发球稳定性较高。

3.4 足球智能机器人发球精度分析

在此基础上，进一步对足球智能机器人发球精度进行研究，设定足球落点位置为−500mm，得到不同发球角度下球落点分布情况，如图6所示。

根据图6的不同发球角度下球落点分布情况可以看出，随着发球角度的增加，足球落点位置随之增大。其中，当发球角度为10°时，足球落点位置的平均值为−505mm；当发球角度为20°时，足球落点位置的平均值为−396mm；当发球角度为30°时，足球落点位置的平均值为−318mm；当发球角度为40°时，足球落点位置的平均值为−225mm；当发球角度为50°时，足球落点位置的平均值为−116mm。由此可知，当发球角度为10°时，足球落点位置的平均值与实际设定的足球落点位置的误差较小，足球智能机器人发球精度较高。

4 结束语

为了减小足球智能机器人落点位置与实际设定的足球落点位置的误差，提高足球智能机器人发球精度，确保发球精度稳定性，提出了足球智能机器人双目视觉发球角度定位方法。通过获取平移矩阵与旋转矩阵，双目标定足球智能机器人，基于Canny−Harris特征点匹配，获取二者匹配关系并三维重构物体，实现足球智能机器人角度定位。该方法的足球智能机器人发球稳定性较高，能够有效减小足球落点位置误差，提高足球智能机器人发球精度。