采摘机器人动作技巧训练研究与应用——基于足球比赛标准动作检测系统

王 蒙

(内蒙古医科大学，呼和浩特 010110)

0 引言

我国是世界上猕猴桃和草莓等产量较高的国家，猕猴桃和草莓果实营养丰富、价值高，因此价格也较高；但在采摘期间这些类型的果实作物容易破损，给作物的种植造成较大的损失。目前，草莓和猕猴桃等易破碎作物的采摘主要采用人工作业的方式。这两种作物采摘的时间集中，劳动强度较大，果实作物如果得不到及时的采摘，会影响果实的销售。随着科技的进步，利用采摘机器人代替人工采摘成为可能。由于工作环境变化大、干扰因素多，加上草莓和猕猴桃等果实容易破损，给采摘机器人的设计带来了较高的难度。采用机器人动作技巧训练的方法，不仅可以实现采摘机器人果实的快速定位，也可以使采摘机器人的动作达到最佳的姿态，从而降低果实破损率，对提高作物果实的采摘效率具有重要的现实意义。

1 足球比赛运动员动作检测和采摘人训练动作捕捉

足球属于激烈对抗性的比赛，在比赛过程中，由于其动作较快，对球员标准动作的捕捉较为困难，而通过对视频的处理，利用图像的边缘检测方法，可以较为容易得实现快速动作的捕捉过程，如图1所示。

图1 足球比赛实况图像

以实际比赛为例，在前锋射球的瞬间，可以利用图像边缘检测技术，去掉与球员动作无关的背景因素，保留身体部位的关键动作，从而实现关键动作的捕捉，如图2所示。

图2 足球比赛关键动作捕捉

对比赛实况进行图像处理，可以得到射球瞬间各个球员的关键动作捕捉结果。对这些关键动作技巧进行标记，有助于球员的训练，可以建立庞大的训练数据库，为球员大赛前的训练提供技术依据，如图3所示。

图3 易破损果实作物采摘机器人动作训练

在采摘机器人进行采摘过程中，很多作物的果实是非常容易破损的，为了提高作业效率、降低破损率，只能对采摘机器人进行反复的训练，以最佳的动作姿态采摘果实，而最佳姿态可以采用图像边缘检测技术对关键动作进行标记。

2 图像特征提取算法和动作边缘检测捕捉技术

边缘检测是图像特征提取的重要算法。在足球比赛视频图像的动作捕捉过程中，可以采用边缘检测算法将关键动作清晰表达。将其应用在采摘机器人的动作训练过程中，可以对采摘最佳动作范围进行特征提取，为动作训练提供依据。边缘检测算法已经发展了很多经典的算子，如Sobel算子、Reborts算子、Log算子及Canny算子等。通过算法的对比，选用合适的算法进行图像处理。

1)Reborts算子。Reboerts算子是典型的边缘检测算子，该算子采用的是局部差分的方法，在使用梯度进行搜索边界时，其梯度算子是像素差，像素选择的是对角方向上的。具体的表达式为

Gx=f(i,j)-f(i-1,j-1)

Gy=f(i-1,j)-f(i,j-1)

(1)

其中，f(i,j)表示像素点；G(x,y)表示梯度值。

卷积模版为

(2)

利用卷积算子和图像运算后，可以得到图像的梯度值，然后选择合适的阈值。当梯度大于阈值时，则将f(i,j)判断为边缘点；如果小于该值，则判断为非边缘点，最后得到的边缘图像是一个二值图像。这种算子对一般正常的图像检测效果较好，但对于具有倾角的图像检测效果不理想，存在很多漏检的情况。因此，在边缘检测时还需要考虑更多的算子。

2)Sobel算子。Sobel算子在Reborts算子的基础上对其模板进行了扩展，从而可以削弱噪声的影响。其模版大小扩展成了3×3，即

图像中的每个像素点与以上水平和垂直两个卷积算子做卷积运算后，计算得到梯度幅值G(x,y)，然后选择合适的阈值。当梯度大于阈值时，则将f(i,j)判断为边缘点；如果小于该值，则判断为非边缘点。Sobel算子相比其他算法在空间上更加容易实现，并且采用了局部平均的搜索方法，使其受到噪声影响较小。如果对于检测的精确度要求不高，则可以采用Sobel算法。

3)Log边缘算子。Log边缘检测算法的精度更高一些，其集成了高斯算法和拉普拉斯算法。具体步骤如下：

(1)滤波。对图像进行滤波处理，根据足球比赛动作和采摘机器人训练动作的视觉特征，选取高斯函数作为滤波函数。其表达式为

其中，G(x,y)为一个圆对称函数；σ为控制平滑作用的系数。

利用卷积的方法可以得到相对平滑的图像，即

g(x,y)=f(x,y)·G(x,y)

(5)

(2)增强。对平滑图像g(x,y)进行拉普拉斯运算，即

h(x,y)=▽2f(x,y)·G(x,y)

(6)

(3)检测。边缘检测判据是二阶导数的零交叉点(即h(x,y)=0的点)，并对应一阶导数的较大峰值。高斯拉普拉斯算法对卷积模板又进行了扩展，其规模达到了5×5，具体如图4所示。

图4 高斯——拉普拉斯算子

高斯--拉普拉斯算子是将两种滤波的方法结合到了一起，利用高斯平滑滤波方法和拉普拉斯锐化滤波方法可以首先将噪声去除，然后再进行相关的边缘检测，从而达到较好的效果。

图5为动作边缘检测和捕捉的基本流程。在输入视频动作图像后，首先需要对动作进行不间断的跟踪，然后利用边缘检测算子进行图像的边缘检测。如果捕捉到标准规法的动作，则对动作进行标记；如果没有提取到特征，则选择合适的算子重新进行边缘检测，直到提取到有效的特征，然后对动作特征进行标记，为动作训练提供参考。

图5 动作边缘检测和捕捉流程

3 采摘机器人动作训练测试

为了验证基于足球比赛标准动作检测的在采摘机器人动作技巧训练中的可行性，以足球比赛图像标准动作的检测算法为依据，对采摘机器人的动作进行捕捉，如图6所示。

图6 采摘机器人动作训练

在草莓等易破碎果实的采摘过程中，需要对机器人采摘学习一定的动作技巧，才能使果实的破损率降低到最小。动作捕捉过程如图7所示。

图7 采摘机器人动作捕捉

当采摘机器人机械手以最短的路径到达采摘目标时，采用边缘检测的方法记录动作的具体位置坐标，然后再将机器人验证该路径反复训练，最终实现采摘机器人的快速定位，如图8所示。

图8 采摘机器人动作定位

利用图像检测标定的位置，通过编程的方式可以使机器人以最快的速度达到最佳采摘状态。为了验证方案的可行性，对采摘机器人进行了实际采摘实验，如图9所示。

图9 机器人采摘现场

为了验证方案的可行性，对采摘机器人动作训练前后的采摘破损率进行了验证，从而得到了如表1所示的验证结果。

表1 采摘破损率评估

测试结果表明：采用足球比赛球员标准动作边缘检测方法对采摘机器人动作进行捕捉的训练方法是可行的，在训练前后采摘机器人的采摘破损率有了明显的改善，提高了采摘机器人的作业效率和精度。

4 结论

为了解决易破损果实作物的难采摘问题，将足球比赛动作边缘检测和特征捕捉方法引入到了采摘机器人的动作训练过程中，从而使采摘机器人作业过程中达到最佳的采摘动作姿态。为了验证方案的可行性，利用基于Log算子的边缘检测方法对采摘机器人动作训练过程图像进行了边缘检测，并得到了最佳动作姿态。对训练前后的采摘破损率进行了统计分析，结果表明：采用该方案可以明显地改善采摘过程的破损率问题，提高了采摘精度，为难采摘作物采摘机器人的研究提供了一种高效的设计方法。