果园机器人自动导航技术研究进展∗
2019-03-26周建军周文彬刘建东张红杰马景兰
周建军 周文彬 刘建东 李 伟 张红杰 马景兰
(北京石油化工学院信息工程学院 北京 100097)
1 引言
果园机械化作业是水果产业发展研究的重点方向,随着我国果园种植面积的不断扩大,果园规模化发展和规范化管理的要求日益提高,果园机械化作业的重要性日益突显[1]。但由于我国果园作业机械研究起步较晚,果园机械化基础较差,一些用工量多、劳动强度大、时效性强和标准化要求高的环节,都未能实现机械化和自动化作业,高效、智能的果园作业装备与技术的缺乏,已成为我国果园机械化发展面临的难题[2~3]。果园机器人自动导航技术的发展,可以使机械按照优化的作业路径工作,减少重复作业区和遗漏作业区的面积,提高果园机械的作业质量和效率、降低驾驶员劳动强度,是解决这一难题的有效方法[4~5]。
2 果园农机自动导航技术
自动导航技术作为果园移动机器人研究的一个重要部分,是集计算机、电子通信、自动控制为一体的综合性技术,主要内容包括:机器人周围环境的感知、导航路径的规划、机器人模型的建立及转向控制。通过导航系统对周围环境的感知,机器人能够实现实时精准定位,广泛应用于各种果园生产过程中[6~7]。目前研究的果园机器人导航方式主要有激光导航、果树行导航、GPS导航、电磁导航、超声波导航、机械导航等[8]。
2.1 基于激光扫描技术的自动导航
激光扫描技术(Laser Inspection)具有测量精度高、探测距离远、实时性高、受光照等外界环境因素影响小等优点,能以较高频率提供大量准确的距离信息,在农业机械自动导航研究中得到越来越广泛的应用[9~11]。在果园中,可以将果树视为障碍物,利用激光扫描进行检测,分析扫描结果后根据圆弧聚类方法计算树干中心点,并记录在世界坐标系中。而后,在机器人运动过程中再实时检测果树树干中心点,并与先前时刻记录在世界坐标系中的树干中心点进行匹配,利用匹配结果校正里程计数据计算出的机器人位置和航向(如图1),从而实现果树行间农业机器人的准确定位[12]。
图1 激光检测流程图
早期有学者应用电磁导航与机械导航方式实现果园植保机械的自动行走[13],另有学者设计了基于激光雷达的果树行间直线行驶机械[14~15]。Hamner等开发了一款用于果园的多用途自主移动机器人,其两侧车辆利用两个电机独立驱动,机器人正面安装激光扫描仪作为导航传感器,从而实现车辆自动避障[16]。陈军等以激光扫描仪作为导航传感器,进行了模拟果园环境下障碍物信息采集、特征数据提取的实验,并利用二次曲线拟合法拟合移动机器人的导航路径,设计了以移动机器人横向偏差和航向偏差为输入量的模糊控制器[17]。张莹莹等为解决激光雷达可能会扫描到地面障碍而导致系统误检的问题,使用南京农业大学研制的农机自动导航平台(如图2),构造了机器人航位推算模型来计算当前帧数据中待定类的距离,通过与前一帧数据中对应类距离的比较判定待定类的类别,从而排除了地面干扰[18]。
果园行尾地头转向路径规划也是果园导航研究中的重点问题。李延华等开展了激光雷达和GPS相结合的果园环境全局几何特征地图构建研究,地头转弯及基于单侧果树的定位研究,实现了果园作业机器人在全局果园环境下的定位与自主导航功能[19]。封永等使用差速转向机器人(如图3)研究了果园行尾地头转向路径规划,建立车辆运动学模型,进行U型地头转向和K型地头转向的路径生成与分析,采用层次分析法对生成路径优化选择,确定行尾地头转向路径,使机器人可以在不同情况下较好地完成果园行尾地头转向[20]。
2.2 基于图像处理的机器视觉导航
机器视觉导航技术(Machine vision navigation)是现今计算机视觉的研究热门,主要使用计算机来模拟人的视觉功能,从客观事物的图像中提取信息,进行处理并加以理解,最终用于实际检测和控制,其最大的特点是速度快、信息量大、功能多。基于机器视觉的果园自动导航技术将摄像机作为位置测量传感器,利用图像处理技术识别果树行,进而确定导航基准线,实现农机与果树行的相对位置与航向信息的测量。图像处理(Image processing)技术是利用计算机对图像进行分析,以达到所需结果的技术,这项技术的应用将明显提高农业机械的性能和水平,有效地促进农业现代化、智能化的发展。目前,用于果树行识别和导航定位基准线检测的方法要包括Hough变换法和最小二乘法等。
Hough变换(Hough Transform,HT)是直线提取的重要工具,它对图像进行坐标变换,将原始图像中给定的直线或曲线转化为变换空间的一个点,把原始图像中给定形状的直线或曲线的检测问题,变成了寻找变换空间中的峰点问题[21~24]。基于Hough变换的导航基准线提取方法具有鲁棒性好、受噪声影响小等特点,已成为研究最为广泛的一种导航特征提取方法。张哲远等根据果园按标准规格行种植的特点,使用阈值分割、边缘检测与质心提取等图像处理的方法从果园航拍俯视图中识别果树、提取果树坐标信息并创建了果园特征地图,采用Hough变换和随机采样一致性两种算法来提取树行直线特征,并通过仿真模拟和实地实验的方法验证了其设计的可行性[25]。叶小琴等使用偏移算法对原始图像进行像素聚类,消除图像中像素的多样化,再使用基于图论的图像分割算法对处理后的图像进行分割,在边缘检测后的二值图像基础上,利用Hough变换来提取树木和地面之间的边界直线,从而获取机器人的行进路线[26]。
传统的Hough变换算法还存在一定的缺陷,因其对点进行穷尽式搜索,使通过这种穷尽式搜索而得到的数据量过大,且峰值点的检测可能会有误检测的情况出现,导致处理难度较大。顾宝兴等设计了一种基于改良Hough变换算法的智能移动式水果采摘机器人系统,利用颜色空间中的色差分量并釆用自适应阈值分割算法能获得理想的分割效果,对分割后的图像采用圆形变换与质心标记相结合的方法检测果实中心点坐标,试验表明该方法的果实识别率比单用圆形变换的果实识别率能够提高8.5%[27]。在进行视觉导航参数提取时,采用直线变换与最小二乘法相结合的方法检测导航路径,该方法能够融合变换检测出的直线附近的近距离点集来拟合导航路後,试验表明该方法比单用变换检测导航路径的误检率降低约30%。姜国权等运用强调绿色分量、抑制其余2个分量的方法将彩色图灰度化,又使用Otsu二值化方法把作物和背景有效地分割开来[28]。通过窗口内灰度值的累加,消除了噪声干扰,得到了作物行的定位点,使处理的速度优于Hough变换和随机Hough变换。
最小二乘法(Least squares)根据误差平方和最小化原则,找出有序数对的最佳匹配函数,可快速求得未知的数据,并使得到的数据与实际数据之间的误差平方和为最小[29~31]。司永胜、王新忠等提出了基于最小二乘法的早期作物行中心线检测方法[32~33]。冯娟等针对复杂的果园导航环境提出了一种基于图像处理的果园导航基准线生成算法,采用二维Otsu算法获取最优分割阈值,对色差R-B分量图进行二值化处理,并利用最小二乘法拟合左右边界线,提取边界线上各行中心点生成果园导航基准线[34]。彭顺正等针对复杂的矮化密植枣园环境,提出了基于“行阈值分割”法分割树干与背景的图像处理方法,依据树干纵向灰度分布规律,采用浮动窗口灰度垂直投影方法结合形态学开闭运算提取树干区域,并根据最小二乘法原理拟合左右两侧边缘,提取边缘线上各行的几何中心点生成枣园导航基准线,通过多次实验证明该方法在多种复杂环境下可行,且单一工况条件算法动态检测准确率可达81.3%以上[35]。
一些学者在研究中将激光扫描设备与图像处理技术相结合。Oscar C.BarawidJr等在果园导航中采用二维激光扫描仪为导航传感器,并使用Hough变换检测树行及RKT-GPS确定方向[36]。刘沛等以激光扫描仪为导航设备,提出了基于激光扫描提取果树信息的方法,并运用最小二乘法设计了导航路径拟合,之后通过对实际驾驶经验的分析,建立了预见控制的运动学模型[37]。戚树腾等研究了基于激光测距仪的果园移动机器人避障系统,通过激光测距仪实现了对果树位置信息的实时采集,并采用Hough变换规划机器人导航路径,从而实现了树行直线方程的提取[38]。设定机器人的航向偏差和横向偏差作为比例控制器的输入量,再以机器人的实际偏转角度为输出量,实现机器人沿导航路径自动直线行走[39]。
在导航控制方面,吴俊君等针对仿人机器人视觉导航系统的鲁棒性受到运动模糊制约的问题,提出一种基于运动模糊特征的实时性异常探测方法[40]。李斌等提出了一种基于自适应遗传算法的果园机器人自主导航算法,开发了基于VC++6.0编程的机器人PC控制器,提高了果园精细作业的自动化程度、降低了作业成本[41]。
3 目前面临的问题
我国果园自动化发展还存在着许多问题,例如果园机械化基础差、果园专用机械的种类和数量十分缺乏、果园机械在研发方面不受重视、科研资金不足等[42]。
我国目前存在大量处于淘汰边缘的老式果园,不具备大规模生产的能力,不仅仅体现在无法实现智能化生产,还存在着地理位置不佳、经济效益低、生产品种单一、生产营销链不完善等问题,且占用大量生产资源,设备的更新和研发还需要大量的人力物力。目前水果种植行业严重依靠人力劳作,行业发展受限,急需产业升级。仅有部分优势水果可施行规模化生产,但相应的技术支持、管理模式还未达标[43]。我国果园机械相对匮乏,缺乏大型高效的果园机械,林果种植模式与机械不配套问题尤为突出,且各产区发展很不均衡。现有的果园机械以老式拖拉机为主,功率小且没有实现智能化,工作效率低下,不能适应复杂环境下的作业,与国外果园专用拖拉机有一定的距离。果园机械在引进、消化、吸收和创新方面的动力不足、重视不够[44]。近些年来,虽然我国的科研经费逐年攀升,农业机械装备领域得到快速发展,但是目前我国果园经济效益大多来自处于淘汰阶段的老果园,新型果园的研发不受重视,科研投入资金较少,且我国人口基数庞大,大多数的农业科研资源依然投入到了传统的农业作物方面。
机器人本身的研究和发展并不能完全决定果园作业效果,还取决于果树的品种、栽培模式及修剪方式,因此后续的研究也需要将果园机器人工程技术与果树栽培农艺相互结合。
4 结语
本文根据果园机器人目前的研究现状以及存在的问题,提出今后可从如下几个方面进行深入研究。一是加强图像处理硬件设备方面的研发。如果使用主机来完成所有图像信息的处理,主机将会因数据量过大而不堪重负,处理速度必将大打折扣。图像处理采集卡的研发将有效地解决这一问题,它的功能是可以完成图像的数字化处理和分析,并向图像处理的结果传送至主机,此硬件设备的研发和应用将有效提高图像处理系统的实时处理速度。二是加强智能控制方法在自动导航中的应用,比如神经网络技术。神经网络是一种高度并行的分布式系统,可以对视觉系统探测到的图像进行分析处理,不仅处理速度快,而且可以充分利用其非线性处理能力对环境进行识别。三是基于三维成像视觉技术的自主导航开发和应用,目前研究和应用最多的依然是二维成像的机器视觉,随着科技的发展,现代果园建设的要求也越来越高,三维成像的视觉技术也开始进入了果园机械自动导航的研究范围,它可以全面地掌握作业对象的信息[45]。随着三维成像视觉技术的日益成熟,果园机器人的应用将会更加广泛。
随着我国农业产业结构的调整,规模化和规范化的生产作业必将成为优势产区果园的发展方向,果园机械化的研究将受到更多的重视,果园作业机械拥有良好的研发与应用前景。随着科技的不断发展,机械自动化、计算机控制系统、测试计量技术、无线传输技术飞速发展,果园机器人技术的研究也会取得很大进展,必将在未来机器人导航领域占有越来越重要的地位。