智能移动苹果采摘机器人的设计及试验

苏　媛，杨　磊，宋　欣，李　冰

(天津农学院 工程技术学院，天津　300384)



智能移动苹果采摘机器人的设计及试验

苏媛，杨磊，宋欣，李冰

(天津农学院 工程技术学院，天津300384)

摘要：以ARM9 2440处理器为核心，基于BP神经网络的机器人视觉识别和定位，研制了一种苹果采摘机器人及控制系统。首先应用Photoshop软件将图像分割为640×640像素的图片，然后在RGB颜色空间下，结合数学形态学中值滤波降噪和拉普拉斯算子边缘检测的方法实现果实目标的特征提取，最终完成苹果的定位并在MatLab环境下使用robotics-toolbox工具箱编程仿真。试验结果表明：该机器人能有效识别果实并完成抓取工作，为后续的深入研究奠定了基础。

关键词：苹果采摘机器人；BP神经网络；RGB颜色模型；D-H算法

0引言

水果采摘是水果生产中最耗时、耗力的环节之一，需要投入的劳动力占整个生产过程的40%左右[1]。随着农业劳动力人口的减少，匮乏的生产力与繁重的采摘工作间的矛盾越发尖锐，因而开发农业采摘机器人成为了很多学者关注的热点问题。

我国在农业机器人方面已经取得了一定的成果：上海交通大学对黄瓜采摘机器人进行了研究；东北大学研制了林木球果采摘机器人[2]；浙江大学对7自由度西红柿收获机械手进行了机构分析与优化设计研究[3]；中国农业大学对采摘机械手的视觉识别系统进行了研究[4]。

本文针对苹果种植特点及采摘工作量大和作业环境复杂等问题，拟定了苹果采摘机器人设计方案并制作了试验样机。

1总体设计

苹果采摘机器人试验样机主要由机械采摘部分和控制系统部分构成。机械采摘部分包括移动平台、三自由度机械臂及末端执行器等，移动平台是越野式行走装置。控制系统部分由微控制器、数据采集卡、数字摄像头、压力传感器、运动控制卡、电动机驱动和控制电路等组成,如图1所示。

1.系统控制仓　2.红外对管　3.电源仓　4.移动载体　5.网络摄像头

2主要工作部件

2.1越野式移动平台

由于果园中繁重的采摘任务致使移动平台需要承受较大的压力，且采摘环境较差，因此对移动平台的稳定性提出了要求。传统的移动平台多为履带式，在复杂地貌特征的情况下，数字摄像头的震动较大，降低了采集数据的准确性。为了能够灵活、平稳地行走于果树之间，设计了一种底盘悬浮式越野小车，底盘悬浮设计满足了平稳性的要求，摄像头能够清晰地采集数据。

2.2机械臂与末端执行器

选用瑞典ABB公司的ABB irb460型工业机器人模型作为采摘机械臂。其自由度为3，机架结构为硬质铝合金材质，最大负载质量为1.5kg，关节处采用13kg/cm的舵机，末端执行器完成对果实抓取作业；外形设计要求既能抓紧果实，还不能对果实造成机械损伤。因此，设计为简单的两指式机械手，考虑到单位面积应力过大的问题，将机械手做成可环抱苹果的形状，关节处由舵机驱动，实现开合运动，如图2所示。

图2　机械臂简图

3机器人视觉系统

苹果采摘机器人能够在复杂的野外环境完成采摘任务的一个重要保障就是果实的识别和定位。从机器人产生到今天，视频图像处理已经有了很多的方法，包括区域长分割法、阈值分割法、数学形态学分割法和20世纪90年代发展迅速的神经网络技术。在权衡了各方法的准确率、处理器的运算速度和系统所需内存等方面，最终选择了应用BP神经网络对EXG灰度图像分割方法来完成对苹果的识别和定位。

3.1颜色模型的选择

实验表明：各种颜色在不同的颜色空间下图像的处理效果大不相同，在已有的颜色模型中选取RGB颜色模型作为图像处理的颜色空间。RGB颜色模型是用一个三维立方体来描述的，自然界中任意颜色都可以由R、G、B三基色按不同的比例混合而成，表示为

F=r[R]+g[G]+b[B]

其中，F为任意色光，r、g、b分别为R、G、B三色在空间中的不同分量，如图3所示。

图3以空间直角坐标系的形式表示了在某一灰度下任意颜色的空间坐标，将颜色量化后方便了图像分割。图像分割的原理是在物体的边缘呈现灰度的不连续性，果实所在位置有阳面和阴面的区别，由于光线的原因使得灰度值始终有一个很大的波动，这对视频图像的分割是不利的。通过对RGB颜色模型的3个分量不同线性组合对比，苹果EXG灰度图中果实和枝叶的灰度值相差较大，处理EXG灰度图的过程为

2G>R+B

其中，(x,y)表示任意像素点的位置信息，EXG(x,y)表示经过处理后的灰度值。

图3　RGB颜色模型三维立体空间

3.2BP神经网络的构建

选取经Photoshop软件分割的640×480像素的苹果图像200幅作为训练样本，输入层为16个神经元，输入信号为4×4邻域像素EXG灰度值。由于苹果图像分割为二类问题，输出结果只有0(0代表非苹果)和1(1代表苹果)，故输出层为1。隐层节点数确定方式根据经验公式计算得

其中，m、n、l分别为隐层节点个数、输入层节点个数和输出层节点个数；α一般为1～10之间的常数。经过多次实验测试，最终确定m=11时，该网络是收敛的。

所以，该神经网络由16个神经元的输入层、11个节点的隐层和1个节点的输出层构建而成。

应用已完成训练的BP神经网络在实验中结合数学形态学中值滤波降噪和拉普拉斯算子边缘检测的方法实现果实目标的特征提取，对50幅测试样本的识别率达到了86.7%，平均用时0.74s。从实验结果看，识别率较高而处理器的运算速度需要提高。

4控制系统设计

4.1硬件系统组成

苹果采摘机器人是以ARM9 2440微处理器为核心，移动平台搭载数字摄像头、机械臂、压力传感器及末端执行器，如图4所示。

图4　系统硬件组成

4.1.1微处理器

采摘机器人控制系统采用ARM9 2240微处理器作为控制器，内置DM9000AE 100M网卡，完全能够实现高清视频传输。其主要功能是视频图像的处理和机械手运动路径的规划；通过串口通信实现对机械臂关节处的步进电机的控制和对已采集的图像的预处理及分析等工作。

4.1.2传感器系统

传感器主要包括数字摄像头和压力传感器。采用了像素为30万的工业数字摄像头，可以将图像转换为数字信号通过USB接口传输到处理器上；压力传感器为半导体压电阻抗扩散压力传感器，当作用力从10～1 000g变化时，其阻值大约从500Ω变化到1 000Ω，根据阻值的变化调节机械手的夹持力度。

4.2软件系统

系统控制程序流程图如图5所示。

图5　程序流程图

5采摘机械臂路径规划

机械手运动学主要研究末端执行器、各运动构件的位置姿态与各关节变量之间的关系，是动力学、路径规划及机械手避障控制的基础[5]。在路径规划方面需要考虑正运动学和逆运动学问题。苹果的采摘属于逆运动学问题，得到机械臂各个关节的角度、角加速度是完成苹果采摘任务的重点。

Denavit和Hartenberg[6]提出两相邻连杆坐标系系的齐次坐标变换矩阵的方法，它将上编号连杆坐标系向下编号坐标系变换，建立4×4的齐次变换矩阵表示它与前一连杆坐标系的变换关系[7]。 根据D-H表示法建立数学模型。机械臂各杆件的结构参数如表1所示。

表1　机械臂的D-H参数

由表1中的数据可以得到各关节间的齐次变换矩阵为

(1)

Sθi—sinθiCθi—cosθi

Sαi—sinαiCα—cosαi

末端执行器的位姿，有

(2)

(3)

根据上述的连杆参数在MatLab环境下使用robotics-toolbox工具箱编程仿真结果如图6所示。

由于文字表达形式的局限，无法显示运动过程，图6是末端执行器到达目标位置的示意图。

图6　机械臂三维空间动态仿真示意图

图7　关节角度/时间曲线

6结论

针对苹果采摘问题，设计了一种苹果采摘机器人。该机器人以ARM9 2240微处理器为核心，搭载三自由度机械臂、数字摄像头和压力传感器，采用BP神经网络模型，选取RGB颜色模型完成对图像中苹果的识别，经过机械臂路径规划实现了苹果的识别抓取。

参考文献：

[1]宋健，张铁中，徐丽明，等.果蔬采摘机器人研究进展与展望[J].农业机械学报，2006，37(5)：158-162.

[2]梁喜凤，王永为，苗香雯.番茄收货机械手机构尺寸优化设计[J].机械设计与研究，2008(1) :21-24.

[3]张凯良，杨丽，张铁中.草莓收获机器人采摘执行机构设计与实验[J].农业机械学报，2011，42(9):155-160.

[4]冯良宝，姬长英，田光兆.基于稳定抓取力学模型的末端执行器控制器设计[J].江西农业学报，2010,22(7)：105-106.

[5]Denavit J,Hartenberg R. A kinematic notation for lower pair mechanism based on matrices [J].ASME Joural of Applied Mechanics, 1955,77:215-221.

[6]蔡自兴.机器人学 [M]. 北京：清华大学出版社，2009.

Design and Experiment of Intelligent Mobile Apple Picking Robot

Su Yuan, Yang Lei, Song Xin, Li Bing

(College of Engineering and Technology, Tianjin Agricultural University, Tianjin 300384，China)

Abstract：A kind of apple-picking robert and the control systems have been developed. The whole system is based on processor ARM92440, which takes advantage of the Robert’ s visual recognition and positioning ability based on the Neural Network. Firstly, the processor will split the image into pictures of pixels by using the software of Photoshop. Then under the color space of RGB, combining mathematical morphology median filtering and noise reduction Laplacian edge detection methods, the feature extraction of the target fruit could finally be achieved and the location of the fruit will be completed successfully. The processor ARM 92440 drives the four-dimensions-of-freedom mechanical arm to complete the clutching experiment for apples indoors. The experimental results show that the fruit is effectively identified and picked, which laid strong foundation for the subsequent thorough study.

Key words：apple picking robot; BP Ileuroll networks; RGB color model; D-H algorithm

文章编号：1003-188X(2016)01-0159-04

中图分类号：S225.93

文献标识码：A

作者简介：苏媛(1994-)，女，内蒙古巴彦淖尔人，本科生。通讯作者：杨磊(1980-)，女，内蒙古巴彦淖尔人，讲师，硕士，(E-mail)563311509@qq,com。

基金项目：大学生创新创业训练计划项目(201410061034)；国家自然科学基金项目(51305299)；天津农学院科学研究发展基金计划项目(2012N02)

收稿日期：2015-04-16