苹果园区作业机器人障碍物识别研究

杨 茜，窦 辉，张建锋

(西北农林科技大学 信息工程学院，陕西 杨凌 712100)

0 引言

在我国，苹果产量最大，是最受消费者喜爱的水果， 2017年的产量占世界总产量的65%，且品质高于其它国家[1]。苹果对生态环境的适应力强，生长周期短，耐于储藏，除直接食用外，还可用于深加工果汁饮品，在我国的农业生产中占有重要地位；但是，苹果采摘的季节性强，工作量大，在我国大规模种植苹果的背景下，如何能提高采摘效率和减少人工的使用具有深刻的意义。

随着社会的进步和农业生产的现代化趋势，各种机器人开始替代人类从事繁重的农业生产工作，我国农业耕作面积大，对机器人有很大的需求量。但是，机器人由于成本高，对复杂条件的作业环境适应性差，还无法被大规模替代人力[2]。

机器人作业时对障碍物的识别能力是其对环境适应能力的重要表现，科研工作者对此进行了广泛研究。机器人在作业时自身的移动和障碍物的运动会产生叠加效应，周俊等使用双线性模型模式匹配后的特征点与图像之间的运动特性，通过最小二乘法的最优估计得到图像之间的变换矩阵，再利用此矩阵识别出障碍物目标[3]。刘灵敏等人设计了一种基于计算机视觉技术的采摘机器人避障系统，将嵌入式智能控制技术和计算机视觉技术相结合，使用3D立体坐标对作业环境中的障碍物进行精准识别[4]。解决农业机器人障碍物识别主要采用基于机器视觉的图像处理方法[5]。机器视觉技术根据工作时摄像头的个数可以分为单目视觉和立体视觉。单目视觉算法易于实现，各个模块之间易于配合，匹配效果好，在实际生产中应用广泛。

本文采用单目视觉方法，将L*a*b*颜色空间模型与改进后的SURF算法相结合，对苹果园区内的障碍物进行识别。

1 图像预处理

图像采集于陕西省武功县代家南留苹果基地，通过摄像头获得。机器人在苹果园区垄行间作业时，主要的障碍物有园艺工作者、园区工作的机器和园艺工具等。采集到的障碍物图像由于图像背景复杂，需要进行预处理，预处理是后期进行障碍物识别的基础。

1.1 灰度变换

采集到的图像中，垄行内的裸露地面呈现为黄色，部分区域的杂草呈现为绿色，障碍物的颜色包括了所有类别的颜色。在进行障碍物的识别过程中，必须把垄行内可行走区域的黄色部分滤除掉，并把垄行内的障碍物保留下来。采集到的障碍物图像，如图1所示。

在L*a*b*空间中，0～+127b表示黄色，-128～0b表示蓝色。采用 L*a*b*颜色空间中的b*分量进行灰度化处理，可以将大部分的黄色区域都视为背景区域。因此，本文先将采集到的RGB颜色空间图像转换为L*a*b*颜色空间图像，再采用b*分量进行灰度化处理[6]。灰度化处理效果，如图2所示。

图1 垄行内障碍物图像Fig.1 Ridge line obstacle image

图2 b*灰度化效果Fig.2 b*gray effect

首先，将RGB图像转换到XYZ绝对色彩空间中，则有

再将XYZ转换CIEL*a*b*(CIELAB)，则有

式中Xn、Yn和Zn—参照白点的CIEXYZ三色刺激值。

对比图1和图2可知：采用b*灰度化可以有效滤除行内地面背景，保留行内障碍物及果树部分。

1.2 图像分割

对b*灰度化后的效果图进行阈值分割后，再进行图像的二值化处理。阈值T设为164，处理后的结果如图3所示。

图3 打药箱阈值分割效果图Fig.3 Medicine box threshold segmentation effect chart

2 苹果垄行的障碍物识别

障碍物平移、旋转等相对位置的改变会使得其识别精度降低，通过对比SURF算法和改进后的SURF算法的匹配准确率和匹配时间，最终采用改进的SURF算法进行障碍物的识别。

2.1 基于SURF算法的障碍物特征提取

Speeded Up Robust Features(SURF，加速稳健特征)，是一种稳健的局部特征点检测和描述算法,基于Haar特征和积分图像的概念，利用Hessian矩阵构建尺度空间。该算法是SIFT算法的改进版，不仅保留了SIFT算法的优点，还解决了SIFT算法处理效率低的弊端，并对特征点的提取等方面步骤进行了改进，提高了计算的速度。

1)构建Hessian矩阵的目的是为了生成相关兴趣点，这些兴趣点可以用于特征的提取。Hessian矩阵能够描述函数的局部曲率，Hessian矩阵H是多元函数和它的偏导数结合在一起所构成的矩阵，其公式为

式中f(x,y)—图像像素I(x,y)。

由上式可知，每一个像素点都可以得出一个相应的Hessian矩阵判别式，即

由判别式可以得到矩阵的特征值，通过判断像素点取值的正负情况来确定该点是否为极值点。在利用标准的二阶高斯函数作为滤波器及特定核之间的卷积计算二阶偏导数之前需要对图像进行高斯滤波操作，此时Hessian可表示为

Lxy(x,σ)、Lyy(x,σ)—与Lxx(x,σ)的含义类似。

此时，H矩阵的判别式为

det(Happrox)=DxxDyy-(wDxy)2

式中Dxx、Dxy、Dyy—盒状滤波器；

w—权值，是用来减小平衡因子近似所带来的偏差，经过计算w的取值为0.9。

计算Hessian矩阵的过程，必须先进行高斯滤波然后求得二阶导数。为了使运算复杂度得到简化，离散像素点可利用模板卷积进行求解，另外通过积分图进行计算也可提高运算效率。

2)构建尺度空间。O组L层构成了SURF的尺度空间，只需一组坐标(O，L)就可以唯一确定高斯金字塔中的一幅图像。与SIFT不同的是，SURF中所有组间图像的尺寸大小都一样，不同组间使用的滤波器的模板尺寸会逐渐变大，而同一组间不同层间虽然使用同一尺寸的滤波器，但滤波器的模糊系数也会逐渐地变大。

3)特征点的定位。SURF算法特征点的定位方法与SIFT一样，都是把Hessian矩阵处理过的每个像素点与尺度空间和二维图像空间邻域中的26个点进行对比，再删除错误定位的关键点和能量较弱的关键点，最终得到稳定的特征点。

4)特征点主方向分配。SURF算法在特征点所处的圆形邻域内，将圆心角度数为60°的扇形区域内所有的harr小波特征进行统计，扇形再以0.2rad为间隔进行旋转并统计旋转后该区域内harr小波特征值之和，最后把值最大的扇形方向作为该特征点的主方向，其实现过程如图4所示。

图4 SURF关键点主方向确定过程Fig.4 SURF key point main direction determination process

5)生成特征点描述子。沿着特征点的主方向，在特征点的周围切分出一个大小为4×4的矩形区域块，统计每个子区域25个像素的垂直和水平方向的haar小波特征。haar小波特征为水平方向值、垂直方向值、水平方向绝对值和垂直方向绝对值的和。

6)特征点匹配。SURF算法的匹配度是根据两个特征点间的欧式距离来确定的，距离越短，表示两个点的匹配对越好。相较于SIFT而言，SURF中加入了Hessian矩阵迹的判断，如果两个特征点的矩阵迹符号相同，则表示这两个特征在相同方向上有对比度变化：若不同，即使欧式距离的值为0，也应予以排除。

SURF算法流程如图5所示。

图5 SURF算法流程图Fig.5 SURF algorithm flow chart

采用SURF算法进行障碍物匹配，匹配的效果如图6所示。

图6 SURF算法匹配效果图Fig.6 SURF algorithm matching effect chart

2.2 改进的SURF算法障碍物特征提取

在对障碍物进行匹配时，通过选择2张图片里障碍物的特征点建立一一对应的关系来进行匹配。其度量方法一般采用欧式距离，欧式距离的值越小，匹配的效果越好。一般常用的匹配算法是快速最近邻匹配算法，该算法主要针对高维数据的匹配[7],但在实际匹配过程中也会出现匹配错误和匹配不够精确的问题。

基于以上问题，对障碍物识别时的快速最近邻匹配算法进行改进，通过设定距离阈值的方法来提高障碍物匹配的正确率，为确保匹配的唯一性，引入双向匹配机制。其实现步骤如下：

1)通过快速近邻匹配算法找到两幅图像之间具有最小欧氏距离的匹配点的集合{m，m'}。

2)查找出所有匹配点对之间的最小欧式距离dmin，并以此来设定距离阈值D=μ·dmin，μ是所有匹配点对距离的均值。

3)比较有匹配点对的欧式距离d和D之间的大小，当d≥D时，则该匹配点对不能作为特征点。

4)使用第3步中的方法重新计算两幅图像之间具有最小欧氏距离的匹配点的集合{n，n'}。将集合{n，n'}和集合{m，m'}进行对比，只保留两次匹配结果都一致的匹配点对所包含的特征点。采用改进的SURF算法进行障碍物匹配的效果如图7所示。

3 实验结果分析

实验采集到的原始图像经过预处理后，可以有效地将垄行内可行走区域的黄色地面部分滤除掉，并把垄行内的障碍物保留下来。障碍物匹配实验结果如表1所示。通过表1分析可得：采用改进前的SURF算法，有效的匹配对数为77个，匹配的准确率为85.2%，匹配所用时间为2 011ms；采用改进后的SURF算法，有效的匹配对数可以提高到89个，匹配的准确率为90.7%，匹配时间缩短到1 878ms。实验表明：采用改进后的SURF算法对障碍物的特征向量进行匹配时，可以增加有效的匹配对数，提高匹配的准确率，减少匹配时间。

图7 改进的SURF算法匹配效果图Fig.7 Improved SURF algorithm matching effect chart表1 实验结果分析Table 1 Analysis of experimental results

算法有效的匹配对数/个匹配准确率/%匹配时间/msSURF7785.22011改进SURF8990.71878

4 结论

苹果作业机器人在作业时，垄行内存在的障碍物会妨碍其工作，对障碍物的判断能力和识别速度决定了作业机器人的工作效率和安全性。本文采用单目视觉方法对苹果园区作业机器人障碍物进行识别，使用L*a*b*颜色空间模型的b通道进行灰度化和阈值分割对复杂背景下的垄行障碍物图像处理，并与改进后的SURF算法相结合，对苹果园区内的障碍物进行识别。实验表明：本方法可以应对复杂环境因素和障碍物位置的改变，提高了苹果作业机器人的障碍物识别的速度，减少了障碍物匹配的时间。