基于图像边界提取的果园作业机器人自主导航系统

叶小琴，陈 超

(1.四川工程职业技术学院 电气信息工程系，四川 德阳 618000；2.电子科技大学 计算机科学与工程学院，成都 611731)



基于图像边界提取的果园作业机器人自主导航系统

叶小琴1，陈 超2

(1.四川工程职业技术学院 电气信息工程系，四川 德阳 618000；2.电子科技大学 计算机科学与工程学院，成都 611731)

针对果园中农业移动机器人的自主导航问题，提出了一种基于图像边界提取的自主导航系统。首先，通过摄像机采集果园场景图像，并利用均值偏移算法对图像中的像素点进行聚类；然后，采用基于图论的图像分割算法，根据预定义类别对图像进行分割；接着，提取出所需类的图像区域，并利用Canny算子对该区域图像的边缘进行检测和滤波；最后，利用Hough变换提取出该区域的边界线，从而获得机器人的行进路线。实验结果表明：该方案在不需要先验知识的情况下，能够快速、有效地获得最优路径。

果园机器人；自主导航；图像分割；图像边界提取；Hough变换

0 引言

随着农业现代化的发展，农业机器人的应用越来越广泛，包括收获、除草、喷洒和运输等[1]，在温室大棚、果园等地方也有广泛的应用前景。为了提高农业机器人的自动化程度，移动农业机器人应运而生[2]。其中，对机器人的路径进行规划和导航是移动机器人中的一个重要部分。对于平原农田收割机等大型机械的导航，通常采用GPS信息；然而，对于复杂环境下的细节操作机器人，GPS导航误差太大，且不能适应本地复杂地形[3]。近年来，基于视觉的农业机器人导航在许多研究中受到了足够的重视[4]。

目前，学者提出了多种基于视觉的机器人导航方案。例如，文献[5]研究了基于双目立体视觉的避障导航方法，然而该方案只适用于环境较理想的场景，且算法复杂度高，需要对两个摄像头进行同步。文献[6]通过单摄像头采集灰度场景图像，然后利用K-均值算法对图像进行分割，再通过线性回归算法得到田埂的分界线；然而，该方案的图像分割精度不高，且采用的线性回归技术对田埂间断的鲁棒性较差。现有对果园机器人导航的研究还比较少，其中，文献[7]将果园的彩色图像通过一个多层前馈神经网络(Multilayer Feedforward Neural Network, MFNN)分割出果园单元素区域，然后经过滤波操作和Hough变换提取期望路径。该方案的分割精度和提取的边界线都较为准确，但该方案在执行前需要进行训练学习，这就需要采集大量实际场景样本，导致其在无学习下不能适应新的果园环境，在实际应用中受到很大限制。

本文针对果园中的移动机器人，提出一种基于视觉图像处理的自主导航方法。通过图像处理技术，从机器人摄像机采集的图像中分割出地面、树林和天空等区域，以此获得地面与树林间的分界线，从而形成导航路径。本文方案的主要创新点在于：

1)利用图论技术，基于像素点之间的相关性权重来对图像进行分割，使本方案不需要大量的先验知识进行训练，且具有较高的分割精度。

2)在分割图像后，采用Canny算子对区域边界进行检测，并进行了平滑滤波处理，以此使后续基于Hough变换的边界线提取更为精确。

1 果园机器人导航方案

本文基于彩色图像的分割、边缘检测和边界线提取来确定移动机器人在果园中的行进路径。本文方案的流程如图1所示。其主要分为4个步骤：①基于均值偏移算法的聚类；②基于图论的图像分割；③基于Canny算子的区域边缘检测与滤波；④基于Hough变换的边界线提取。

1.1 基于均值偏移算法的像素点聚类

本文基于均值偏移算法[8]对原始图像进行像素聚类，消除图像中像素的多样化，以便于之后的图像分割。

(1)

因此，核密度估计值为

(2)

均值偏移向量为

(3)

图像聚类过程在集群像素中进行处理，而不是直接处理每个像素，以此来减少计算时间，能够有效提高图像处理的速度和效率。图2为一张大小为640×480像素的典型果园图像，图3为该图像的聚类输出。

图1 提出方案的流程图

图2 典型的果园场景图像

图3 基于均值偏移聚类后的图像

1.2 基于图论的图像分割

本文采用基于图论[10]的图像分割算法对像素聚类后的图像进行分割。在图论分割技术中，每个像素视为图论网络的一个节点，且相邻节点通过一个链路(边)连接到一起。每一个边都有一个权重值，这个权重值定义了两个节点之间的相似性或相异性。图分割使图节点分组为具有高相似性的组内节点和具有低相似性的组外节点集合。

(4)

在进行图像分割前，需要将两个节点集之间的相关性值进行归一化，表达为

(5)

(6)

这样，就可以将图像分割成k个区域类别。本文中，考虑使用3种类别(k=3)，即地面、树木和天空。分割后的果园图像如图4所示。

图4 基于图论技术的图像分割

1.3 基于Canny算子的边缘检测和滤波

在这个阶段，首先将分割后的图像转换为灰度图像，如图5所示。这是因为灰度图像更容易选择出用于提取边界线的主要类别区域。由于本文应用于机器人导航，所以主要类别区域为地面。

然后，选择图像中底部中心位置(即机器人位置)的像素点为基准，并与其它像素点进行比较，只保留具有相同颜色代码的像素，以此提取出特定类(地面)图像轮廓，结果如图6所示。最后，将该类图像转换成一个二值黑白图像。为了使Hough变换能够更好地提取地面和树木之间的边界线。本文使用Canny算子[11]在二值图像上进行边缘检测，减少图像中的噪声点，提高边缘检测的准确性。边缘检测中，首先利用一阶微分滤波器与二值图像进行卷积，滤去毛刺点，对图像进行平滑；然后，计算图像梯度的局部最大值，以此来确定图像的边缘，结果如图7所示。

图5 转换分割图像为灰度图像

图6 提取出所需的特定类图像

图7 边缘检测后的二值图像

1.4 基于Hough变换的边界线提取

本文在边缘检测后的二值图像基础上，利用Hough变换[12]来提取树木和地面之间的边界直线。Hough变换是利用图像全局特征将边缘像素连接起来组成区域边界的一种方法。其将笛卡尔空间中直线检测问题转换到参数空间中对点的检测问题，以此来提取图像中的边界直线。Hough变换能很好地应对由于噪音而造成线条中断情况。

Hough变换的输出结果是一个包含参数角度θ和位移ρ的二维矩阵。矩阵中，每个元素定义了一个值，该值等于以一个特定角度位于直线上的点的数量，所以最大值将是最高的直线，这个直线就是地面和树木之间的边界线。在果园二值图像上应用Hough变换后的结果如图8所示。

根据提取的边界线生成一条中心线，作为导航路径，即图像底部中心点(机器人的位置)到两个提取线的交点的直线，如图9所示。根据所生成的路径和其它信息来源(GPS、指南针或其它工具)的信息，移动机器人计算中间点，以纠正其轨迹，并且在果园中自主导航。

图8 Hough变换提取的地面与树木间的边界线

图9 从机器人位置到两条边界线交点的最优轨迹路径

2 实验及分析

2.1 图像采集和实验设备

本文利用单摄像机在一片果园中拍摄了一组不同场景的图像，并将图像分辨率归一化为640×480，以此作为实验数据集。各种实验在配置有Intel® CoreTMi7-4770 CPU、 3.40 GHz主频和16 GB RAM内存的计算机上执行，仿真平台为MatLab R2014。

2.2 性能验证

为了进行性能测试，除了上述典型图像外，还拍摄了两种不同类型环境下的果园图像：第1张为具有不规范的树木和土壤地面的果园，如图10(a-1)所示；第2张为具有绿色草地和不规范树木结构的果园，如图10(b-1)所示。

在第1张图像中，由于果园结构不规则，所以其分割效果不如经典图像理想；但分割图像在进行滤波和优化后，经过Hough变换提取边界线生成的中心线还是很好的。第2张图是一种结构不太好的果园，但它的果园类别区域被很好的分割 ，通过后期处理，它提取的路径依然很好。

图10 不同果园图像上的实验结果

2.3 性能比较

将本文方案与文献[7]方案进行比较。文献[7]中方案中，通过多层前馈神经网络(MFNN)分割果园图像，然后经过滤波操作和Hough变换提取边界线。虽然MFNN分类器具有很好的分割性能，但其需要在大量不同类型的样本上进行训练。训练阶段非常耗时，且对于每个特定类型的环境，都需要大量训练样本。在实际应用中，果园环境变化性很大，很难预先采集相应图像样本用于训练；而本方案是一种无监督的方案，不需要训练数据。

两种方法的结果如图11(a)和图11(b)所示。

图11 本文方案(a)和文献[7]方案(b)的结果对比

由此可以看出：由于两种方法采用的图像分割技术不同，致使图像分割的结果不同。另外，由于Hough变换分界线提取直接与图像分割相关，所以两者获得的运动轨迹也不同，但都能很好地引导机器人正常移动。这表明了本文方案能够获得与复杂的MFNN方案类似的性能，但本文方案不需要先验知识，大大提高了实际应用能力。

3 结论

提出了一种新的基于视觉的果园移动机器人导航方案，通过均值偏移聚类和图论技术对果园图像进行了很好的分割，应用Canny算子优化了所需区域图像的边界，最后通过Hough变换提取果园图像中地面与果树之间的分界线，并在此基础上生成最优路径。实验结果表明：所提出方案能够很好地应用在果园移动机器人中。

在未来工作中，将进一步改善本文图像分割技术，使其能够应对不同的果园环境和照明变化，提高方案的可靠性和鲁棒性。

[1] 姬江涛, 郑治华, 杜蒙蒙,等. 农业机器人的发展现状及趋势[J].农机化研究, 2014, 36(2): 1-4.

[2] 薛金林, 张顺顺. 基于激光雷达的农业机器人导航控制研究[J].农业机械学报, 2014, 45(9):55-60.

[3] Hajjaj S S H,Sahari K S M.Review of Research in the Area of Agriculture Mobile Robots[J].Lecture Notes in Electrical Engineering, 2014, 29(1): 107-117.

[4] English A, Ross P, Ball D, et al. Vision based guidance for robot navigation in agriculture[C]// IEEE International Conference on Robotics and Automation. Guangzhou:IEEE, 2014:1693-1698.

[5] 杨福增, 刘珊, 陈丽萍,等. 基于立体视觉技术的多种农田障碍物检测方法[J].农业机械学报, 2012, 43(5):168-172,202.

[6] Qin C, Du Q, Tian L, et al. The control system design of automatic weeding robot based on visual navigation[C]// IEEE International Conference on Robotics and Biomimetics. Guangzhou: IEEE,2012:956-961.

[7] Torressospedra J, Nebot P. A new approach to visual-based sensory system for navigation into orange groves.[J].Sensors, 2011, 11(4):4086-4103.

[8] 杨晓, 卢惠民, 张辉. 基于均值偏移的户外图像快速分割算法[J].计算机应用研究, 2012, 29(2):793-796.

[9] Deng C, Li S, Bian F, et al. Remote Sensing Image Segmentation Based on Mean Shift Algorithm with Adaptive Bandwidth[J].Communications in Computer & Information Science, 2015, 48(2):179-185.

[10] 耿永政, 陈坚. 结合图论的JSEG彩色图像分割算法[J].计算机技术与发展, 2014, 24(5):15-19.

[11] 拓小明, 李云红, 刘旭,等. 基于 Canny 算子与阈值分割的边缘检测算法[J].西安工程大学学报, 2014, 28(6): 745-749.

[12] 张勤, 黄小刚, 李彬. 基于彩色模型和近邻法聚类的水田秧苗列中心线检测方法[J].农业工程学报, 2012, 28(17): 163-171.

Autonomous Navigation System for Orchard Working Robot Based on Image Boundary Extraction

Ye Xiaoqin1, Chen Chao2

(1.Department of Electronic & Information Engineering, Sichuan Engineering Vocational Technical College, Deyang 618000, China; 2.School of Computer Science and Engineering, University of Electronic Science and Technology of China, Chengdu 611731, China)

For the issue that the autonomous navigation of agricultural mobile robots in the orchard, An autonomous navigation system based on image boundary extraction is proposed. Firstly, the scene images of the orchard were collected by the camera, and the pixels in the image were clustered by mean shift algorithm. Then, the image segmentation algorithm based on graph theory is used to segment the image according to the predefined categories. After that, the image area of the desired class is extracted, and the edge of the region image is detected and filtered by the Canny operator. Finally, Hough transform is used to extract the boundary line of the region, so as to obtain the robot's travel route. Experimental results show that the proposed scheme can obtain the optimal route quickly and efficiently without need of prior knowledge.

orchard robot; autonomous navigation; image partitioning; image boundary extraction; hough transform

2016-07-17

四川省科技厅计划项目(2015JY0178)

叶小琴(1979-)，女，四川德阳人，讲师，硕士，(E-mail)yexiaoqinsc@126.com。

S24；TP391.41

A

1003-188X(2017)08-0202-05