网球捡球机器人视觉导航系统设计

陈章宝，侯 勇

（蚌埠学院，安徽 蚌埠 233030）

0 引言

网球捡球机器人是一个集嵌入式系统开发、视觉目标识别与定位、路径规划、智能控制于一体的智能化系统，其核心技术之一为基于机器视觉的目标识别与精确定位技术。文献［1-2］提出了基于颜色特征、纹理特征、形状特征的目标识别技术，能够很好地识别复杂开放场景中的前景目标，文献［3-5］提出了基于单目视觉、双目视觉、多传感器融合的目标定位算法，以及基于单目视觉的点、线、面特征的目标识别方法，文献［6-7］根据目标跟踪是否有检测过程的参与，提出了生成式和判别式的目标跟踪分类，在目标发生几何变化、复杂的动态场景情况下，提出了层次化的表观模型来有效表征目标对象，获得了鲁棒且准确的目标跟踪，文献［8-9］提出了深度学习和卷积神经网络在视觉目标识别定位与跟踪方面的广阔应用前景，以及将深度学习引入计算机视觉的挑战和技术难点。本文采用算法的应用效果和时间效率的折中技术，利用网球的颜色特征进行前景目标的提取，基于网球的圆形轮廓特征进行目标识别，通过目标区域质心的获取进行网球目标的定位，在局部视域下进行目标的跟踪。本算法实现了网球目标准确识别与精确定位的同时，满足了机器视觉系统实时性的需求。

1 系统设计方案

捡球机器人采用四轮差速驱动小车底盘，搭载网球收集耙轮、网球提升机构、单目视觉摄像头、机器人箱体和控制系统。工作时，小车在视觉导航下移动到网球位置，在收集耙轮的作用下将网球耙入小车箱体底部，经提升机构提升到箱体上部的网球收集箱。视频信号采集与处理系统采用ARM contex-A8 内核的S5PV210 主板，移植Arm-Linux 操作系统，OpenCV图像处理与机器视觉库，进行视频信号的采集和处理；控制系统采用ARM contex-M3内核的STM32F103 主板，包括电机驱动模块（包括底盘四轮差速驱动、提升轮驱动、耙轮驱动）、电源管理模块和通信模块等。

视觉目标识别与定位系统通过摄像头获取网球场景视频帧，对单帧图像进行预处理，网球目标的识别和定位，采用就近取球的路径规划策略，通过相机标定和坐标变换，获取最近网球与捡球机器人的相对位置，驱动小车移向网球，对后续帧图像进行局部区域的目标再识别来实现视觉跟踪，直至捡取网球，再进入下一个最近网球的拾取过程。

2 前景目标提取

2.1 视频帧采集

视频摄像头采用USB 接口和CMOS 图像传感器，灵敏度高、曝光时间短，程序设计中采用int open（const char *pathname，into flag，…）函数打开摄像头，并进行分辨率和数据模式等参数设置等初始化操作，通过视频图像的采集进程获取视频帧图像并存储。抽取2帧场景图像如图1所示。

图1 网球场景图像

2.2 图像预处理

摄像头感光材料的温度变化和自然场景环境光照变化等因素使得获取的图像存在大量的噪声，采用高斯滤波对单帧图像进行平滑滤波。常用的图像空域滤波方法包括均值滤波、方框滤波、高斯滤波等，均为采用像素邻域的灰度加权求取当前像素点灰度，高斯滤波器采用（2k+1）×（2k+1）高斯模板矩阵，可通过式（1）求取。

其中，σ为标准差，k为高斯矩阵的维数。为使高斯滤波模板的权系数之和为1，对高斯模板矩阵进行归一化处理，通过高斯模板与图像矩阵的卷积运算，实现对灰度图像的卷积滤波。

对RGB图像的高斯滤波，可将R、G、B颜色分量分别进行滤波，再合成为彩色图像，这种滤波方法忽略了各通道的关联性，但是具有较高的时间效率。文献［10］采用基于四元数的彩色图像增强技术，通过四元数傅里叶变换，将彩色图像在频域进行滤波，再通过四元数傅里叶逆变换获得滤波后的彩色图像。本文采用第一种方法对场景图像进行滤波处理，根据网球圆形的形状特征，采用圆形滤波模板对场景图片进行滤波，通过截取单个网球的部分图像并经过放大处理，取得的滤波效果如图2所示。

图2 高斯滤波效果图

通过不同滤波半径和方差的滤波器滤波，均能滤除不同光照变化以及相机曝光等原因引起的噪声，经过观察，在r=5，σ=1.8 的滤波条件下，较好地保持了网球的颜色特征和形状特征。

2.3 前景目标获取

网球具有明显的颜色特征，可在开放的网球场景中基于颜色特征进行前景目标的提取。数字图像常用的颜色模型有RGB、HSV、CMYK 等，摄像机获取的图像用RGB 颜色模型表示，此模型面向硬件，广泛应用于摄像机和显示器。HSV颜色模型相比于RGB模型更加接近于人对彩色的感知，各个分量分别为色调（Hue）、饱和度（Saturation）、亮度值（Value）。HSV 颜色空间的H 分量能很好地区分网球颜色与场地背景颜色的差异，但是很难区分网球与场地白色标线，而RGB颜色模型中的B分量可以很好地区分网球与场地标线，通过对比试验，结合HSV 模型的H 分量和RGB 模型的B 分量分别进行阈值分割和合成，相比其他阈值化操作取得了更好的效果。

网球目标提取的对比实验设计如下：（1）对RGB 图像进行灰度化和二值化操作；（2）针对HSV模型的H 分量和RGB 模型的B 分量分别进行阈值分割和合成。实验1中，直接对采集的场景RGB 图像进行灰度化，基于Otsu 算法进行二值化操作，获取的前景目标如图3（b）所示，从图示内容可以看出，10 个网球目标全部提取出来，但是网球场白色标线也同时被作为前景目标提取出来。实验2 中，通过对比各通道颜色分量的直方图，可以得出，在H通道进行网球和网球场地标线与场地背景的分割，在B通道进行网球和网球场地与网球场地标线的分割，再将两个分割矩阵进行对应元素的“与”操作，获取的网球目标如图3（c）所示，从图中可以看出，10 个网球目标被全部提取出来，但是图像的左下方，由于相机的边界效应，一些像素点被作为前景目标提取出来。

图3 前景目标提取

3 网球识别与定位

3.1 网球识别

基于网球的颜色特征可以很好地把网球作为前景目标提取出来，但是在多幅场景图片试验中，在有光照变化和阴影的开放网球场地环境下，一些干扰点、场地边界点、部分场地标线，场地放置的物品也被作为前景目标提取出来，部分干扰点可以通过图像的形态学运算进行消除，被作为前景的部分场地标线和场地放置物品需要通过目标的轮廓特征来进行识别。

特征提取是从图像中提取目标物非图像的表示和描述，模式识别是根据目标特征进行分类，应用于图像领域称为图像识别，图像识别根据提取的前景图像特征，识别出目标物体。网球相较于其他的前景目标具有明确的圆形轮廓特征，可以通过Canny算法进行边缘检测，根据边缘图像通过Hough变换进行网球的圆形轮廓检测。考虑到程序运行的时间效率，本文采用目标物体的致密性（即目标区域的周长平方与区域面积之比）特征进行目标识别。实验表明，基于致密性轮廓特征的网球识别算法能够识别出全部前景目标中的网球，且屏蔽了全部的非网球目标。

3.2 网球定位

网球定位包括求取网球在图像中的像素位置，以及实际场地中网球与摄像头的相对位置。后者在目标跟踪中进行介绍，这里通过形态学运算中的连通分量提取实现对各个网球区域的标记，求取各连通区域质心作为各个网球的像素坐标。根据网球识别中提取的二值图像，对如图3（c）中的10个网球区域进行标记并计算区域质心，连通分量提取算法通过迭代标记各个连通区域，其算法概要如下。

初始化：Β0=连通分量A中的某个种子点

算法中Β0为某一连通区域中的种子像素点，S为膨胀结构元素（8 连通区域提取采用3×3 结构元素，4 连通使用3×3 十字形结构元素），循环中从种子点Β0开始不断用结构元素S对其进行膨胀操作，每次膨胀的结果与Α相交，将Β限制在Α的内部，直至Β充满整个连通区域Α，实现连通区域的标记。

对前景网球目标的连通区域标记完成后，计算每个区域的质心位置，即完成了每个网球区域的像素质心定位，质心求取方法采用式（2）实现。

上式为求取第k个连通区域Α的质心位置，xi和yi代表区域Α中所有像素的横坐标和纵坐标，Ν为区域像素总数，通过连通区域标记，区域质心提取并作“+”标记，结果如图4所示。

图4 网球区域质心定位

4 目标跟踪与控制

运动目标跟踪可以描述为在捡球机器人的移动过程中，针对当前帧识别的目标物体，在后续帧中快速搜索定位目标物体的过程。目标跟踪根据有无检测过程的参与分为生成式跟踪和判别式跟踪［6］。生成式跟踪根据当前帧的目标识别结果，建立目标特征的先验知识，按照一定的跟踪策略进行目标的识别并估计目标的最优位置；判别式跟踪通过对每一帧图像进行目标识别来进行跟踪，称为基于检测的跟踪。本文综合两者的优点提出局部视域下的检测式跟踪策略，目标跟踪原理如图5所示。

图5 局部视域下目标跟踪

随着机器人（摄像头）向最近距离网球的靠近，根据运动估计最近网球目标只会出现图示的扇形区域，根据前文所述的基于网球的颜色特征和形状特征在扇形的局部视域下，进行网球目标的再次识别和定位。通过相机标定和坐标换算，获取最近网球相对于摄像机的相对位置(θ,d)，通过PID 控制驱动捡球机器人直线行进至目标位置拾取网球。

5 总结

基于视觉的网球捡球机器人能够代替网球运动者执行繁重的捡球任务。本文提出的基于颜色特征和轮廓特征的视觉网球识别和定位技术，在开放的网球场地和静态环境下，能够在一定的距离范围内识别和定位所有网球，且算法的执行效率高。后续需要研究在有人运动的动态网球场地上，如何识别并避让运动人员、网球场地围栏等，在动态环境下为机器人提供视觉导航；为提高捡球效率，在视觉导航中进行路径规划，以及实现多机器人的协同捡球以及多路径规划问题。