草莓采摘机器人成熟果实识别及避障控制系统研究—基于ARM与FPGA

马 瑛，杨 旭

(河南工业职业技术学院，河南 南阳 473000)



草莓采摘机器人成熟果实识别及避障控制系统研究
—基于ARM与FPGA

马 瑛，杨 旭

(河南工业职业技术学院，河南 南阳 473000)

目前,草莓的采摘主要靠人工完成，任务繁重，效率较低，人为造成的损失也比较大，减少了果农的经济收入，也影响了草莓种植的发展。因此，研制草莓采摘机器人是解决人工采摘问题的关键。为此，大量研究了草莓种植的特点及人工采摘技巧，基于ARM与FPGA智能控制模块及双目机器视觉技术，设计了草莓采摘机器人成熟果实及避障控制系统。实验结果表明：所设计的草莓采摘机器人成熟果实识及避障控制系统可以准确识别成熟草莓果实，并能灵活避开采摘途径中的障碍物，系统运行稳定，对我国开展草莓采摘机器人果实识别和避障技术的研究具有一定的参考价值。

草莓采摘机器人；机器视觉；果实定位；避障；ARM；FPGA

0 引言

随着社会的进步和劳动力成本的快速增长，劳动力的缺乏严重制约着农业生产的发展，因此机器人技术应用于农业生产的可能性大大提高。进入21世纪，科学技术迅猛发展，农业机械的自动化程度越来越高，已成为当代农业必备的生产工具，直接影响着农民生产的方式和收益，农业机器人的研究和推广成为了全球关注的焦点。本文针对草莓采摘机器人的核心部分—草莓成熟果实识别及避障控制系统，主要研究了图像分割识别技术及避障控制的方法，为设计草莓采摘机器人进行前期的理论研究工作，对研制出具有实际应用价值的草莓采摘机器人具有十分重要的意义。

1 草莓采摘机器人控制系统整体设计

嵌入式系统凭借其体积小、集合度高、功能性强等优点已被广泛应用于自动化控制中，其关键部件是微处理器。本文所研究的草莓采摘机器人成熟果实定位及避障控制系统，功能较多，需要同时控制多个运动电机、采集多路红外和力学传感器数据、处理采集视频图像信息，完成与上位机实时数据信息共享及人机交互等功能。整个系统外围电路比较复杂，各类器件接口差别较大。因此，根据系统的整体功能需要，采用ARM与FPGA相结合的方式构建系统，具有结构简单及系统灵活的特点，可大大缩短开发周期，提高了系统处理实时性和非实时性任务的能力。系统框架如图1所示。

图1 系统结构框架图

本文研究的草莓采摘机器人成熟果实识别及避障控制系统包括两个核心微处理器：主处理器是ARM9系列的S3C2410芯片，主要完成与副处理器的信息传递、人机交互以及处理图像处理系统信息；副处理器是现场可编程门阵列FPGA，主要控制电机驱动系统和障碍物检测系统。

2 控制系统硬件设计

草莓采摘机器人控制系统系统硬件设计包含的部分比较多，本文主要阐述ARM模块、FPGA模块和电源模块。

2.1 ARM模块

系统主处理器采用ARM9(S3C2410)模块，外围电路比较简单，主要包括复位、电源、通信、振荡、JTAG接口、flash及显示等电路。S3C2410是32的微处理器，具有体积小、成本低、待机功耗小的特点，支持32位ARM和16位Thumb指令集，指令处理速度快，执行效率高，应用领域相当广泛。ARM9信号处理原理图如图2所示。

图2 ARM9信号处理原理图

2.2 FPGA模块

系统副处理器采用FPGA系列的EP1C6Q240，该可编程器件包含2万多个逻辑单元，开发程度高，价格也比较低廉，为自动化设备提供了一种低成本的方案。FPGA模块主要包含光电编码器信号输入、位置信号输入、电机驱动系统、通信总线、开关量输入输出及脉冲和方向信号输入等部分，需要处理和控制的信号与器件较多，采用FPGA可大大减少外围电路的器件，减低系统成本，提高了系统可行性和稳定性。FPGA模块功能方框图如图3所示。

2.3 电源模块

电源模块包括两个部分：一部分是产生3.3V电压的电路；另一部分是产生1.25V的电压电路。ARM9微处理需要双电源电路供电，其内核供电电压是3.3V，外围器件电压是1.25V，本系统中FPGA采用3.3V供电。供电外部电源经过DC-DC转换器可以实现5～3.3V和3.3～1.25V的转换。因外围电路对处理芯片干扰大，故 DC-DC模块的输入和输出需加滤波电容； ARM嵌入式模块需要长期供电，当外部断电时需要采用电池来给其供电。系统电源电路如图4所示。

图3 FPGA功能方框图

图4 系统供电电源原理图

嵌入式系统电源电路设计实现的方法有很多种，而电源的很多指标不可能同时兼顾，往往需要在效率、噪声性能、纹波、成本等方面进行折中考虑。出于成本、效率的考虑，整个系统电源电路一路采用标准三端线性稳压器进行DC-DC转换，利用LM1117-33将5V降至3.3V，一路采用稳压芯片MAX8860EUA18将3.3V降至1.25V。

3 草莓采摘机器人成熟果实识别研究

草莓采摘识别定位采用双目机器视觉技术，进行视频图像识别定位。首先要选定适宜的目标特性，方便区分目标与背景图像；其次是运用准确合适的分割技术，直到去背景及识别定位成熟草莓的目的。视频图像一般需要在自然光下采集，以便图像处理系统准确识别处理。视频图像中除了成熟的草莓，其他图像均视为背景图像。本文目标果实识别定位系统根据颜色以及灰度特征分割，力求提高成熟果实识别定位的成功率。

3.1 机器视觉中的颜色表示

根据颜色色度学，人们可以准确地识别色彩不一的物体或物体的不同部位。自然界中可见光的波长一般在400～700mm之间，根据红、绿、蓝三色光原理可以对光谱带的光能量进行采样识别。色度学从20世纪30年代开始发展，已经出现了包括RGB、HIS、L*a*b等颜色模型。其中，RGB颜色模型以三基色为基准，通过改变三原色的数量，可以混合出不用的颜色。本文研究的草莓自动识别与定位技术采用技术比较成熟的RGB颜色模型。RGB颜色模型如图5所示。

图5 RGB颜色模型

3.2 图像分割原理与目标果实的识别

双目机器视觉系统最核心的部分就是图像的分割与识别，其直接决定目标成熟草莓的精准识别与定位。图像分割技术一直受到研究者的重视，到目前为止，图像分割的方法已经有1000种多。由于电子技术和色彩的局限性，以前的绝大多数图像分割技术是以灰度学为基础的，近年来电子技术的高速发展及彩色摄像机的推广，彩色分割技术开始推广开来。本文研究的对象是根据生长阶段而发生颜色演变的草莓个体，草莓生长的环境不同，具体位置也不一样。光照的变化及背光的阴影都会对视频图像采集造成很大的影响，进而降低系统识别定位的准确率。采用图像分割技术进行识别的结果如图6所示。

图6 图像分割技术识别结果

草莓视频图像通过双CCD工业摄像头获取，然后利用图像分割技术，因采集到的果实图像均为彩色，使得图像分割更加准确无误。RGB颜色模型与XYZ系统的对应关系为

(1)

将XYZ模型进行转换，可以得到相应色度坐标为

(2)

本文主要根据图像分割技术，区分出成熟草莓、枝叶及背景，然后与系统收集的成熟草莓颜色值进行对比分析，判断出视频图像中的成熟草莓，完成目标果实识别。

4 草莓采摘机器人避障设计

草莓的茎一般低于叶或近相等，侧生小叶基部偏斜。因草莓在枝叶上位置不一，在采摘被枝叶遮挡的草莓时，容易碰撞到草莓枝杆，而枝杆韧性比较强，容易折断，也容易损坏采摘机械手。针对这一问题，进行了枝叶等障碍物检测的研究，通过提取与采集障碍物，并与特定特征值匹配，定位障碍物三维空间位置。在检测过程中，重点就是图像的分割，根据实际研究分析的草莓枝叶特征，结合RGB颜色模型进行对比，利用迭代阈值分割法去除枝叶以外的区域，再采用灰度对比办法分割出图像的枝叶区域。树枝区域提取结果如图7所示。

获得草莓枝杆区域提取结果后，然后基于C空间对障碍物建立数学模型，利用双目机器视觉系统反算障碍物三维空间信息，结合采摘机械手运动学原理，求出机械手臂的运动范围θ，就可以成功避开采摘路径上的障碍物。机器手臂避障运动角度如图8所示。

图7 枝杆区域提取结果

图8 机器手臂避障运动角度

枝杆障碍物一般为直线型，重点需要考虑其长度，采摘机械手需要在一定角度内避开枝杆障碍物，具体的C空间计算公式为

(3)

(4)

(5)

其中，l1、l2分别为机械长短手臂的长度；θta与θba分别为机械执行手臂的最大最小角度；d为机械手臂的连杆偏移量。

5 实验与结果分析

针对大棚内草莓的不同生长情况，一共选取了图6中的3幅图片进行采摘与避障实验，3幅图片中一共有12颗成熟草莓。其中，有被草莓枝叶遮挡的草莓；但这些草莓的形状还比较清晰，轮廓流失比重不大。因为草莓大小不一，为了准确计算草莓识别的相对误差，需考虑草莓的图像面积。偏差误差的计算公式为

(6)

其中，s是识别草莓的图像面积。对于测试中的12个成熟草莓，无论是独立没有遮挡，还是有枝叶遮挡或者草莓之间存在相互重叠，只要是目标果实的轮廓存在1/2以上时，该系统均可以很好地识别出成熟果实目标，并且相对误差在2.5%以下。草莓的轮廓并不是呈圆形，系统在计算过程中一般用圆形对比计算。此外，成熟的目标果实一般颜色比较鲜艳，发光比较强烈。因此，识别定位的时候一般会存在一定的相对误差。对于个别误差比较大的个体，在计算过程中可以增加一定的人工补偿，尽量减小计算误差，提高系统识别能力。

表1 目标果实识别结果

6 结论

以大棚温室种植的草莓为研究对象，以实现成熟目标果实识别及躲避机械臂采摘为目的，建立双目机器视觉系统采集图像信息。同时，利用RGB颜色模型对成熟草莓与背景的颜色架构进行分析，采用灰度阈值分割法进行分割，运用迭代阈值法解决草莓识别与避障问题，设计和实现了草莓采摘机器人智能控制系统。实验表明：该草莓识别与避障控制系统计算方法较好，计算量小，灵活性高，处理速度快，具有较高的实时性和研究价值。

[1] 陈利兵.草莓收获机器人采摘系统研究[D].北京：中国农业大学,2005.

[2] 申川.基于双目立体视觉系统的设施农业作物位置信息获取[D].杭州：浙江大学,2006.

[3] 付中军.果蔬采摘机器人视觉技术研究及系统构建[D].沈阳：沈阳工业大学,2014.

[4] 曲金芳.果蔬采摘机器人立体视觉技术研究[D].长春：吉林大学,2008.

[5] 李占坤.果树采摘机器人控制系统研究与设计[D].镇江：江苏大学,2010.

[6] 袁志英,陈进.果蔬采摘机器人的发展现状、问题及对策分析[J].四川农业与农机,2014(6):16-18.

[7] 马强.苹果采摘机器人关键技术研究[D].北京:中国农业机械化科学研究院,2012.

[8] 占求香.成熟柑橘识别与树干轮廓提取方法的研究与实现[D].长沙：湖南大学,2012.

[9] 崔玉洁,张祖立,白晓虎.采摘机器人的研究进展与现状分析[J].农机化研究,2007(2):4-7.

[10] 戴刘江,张铁中,杨丽.基于DSP的农业机器人关节控制器的研究[J].伺服控制,2007(5):56-57.

[11] 戴刘江,张铁中,杨丽.基于DSP的草莓采摘机器人关节控制器的研究[J].中国科技论文在线,2007(3): 231-234.

[12] 张铁中,陈利兵,宋健.草莓采摘机器人的研究:Ⅱ.基于图像的草莓重心位置和采摘点的确定[J].中国农业大学学报,2005(1):48-51.

[13] 宋健,张铁中,徐丽明,等. 果蔬采摘机器人研究进展与展望[J].农业机械学报,2006(5):158-162.

[14] 吕继东,赵德安,姬伟,等.开放分布式苹果采摘机器人控制系统研究及实现[J].小型微型计算机系统,2012(2):289-292.

[15] 冯青春,郑文刚,姜凯,等.高架栽培草莓采摘机器人系统设计[J].农机化研究,2012,34(7):122-126.

[16] 吕继东,赵德安,姬伟,等.苹果采摘机器人对振荡果实的快速定位采摘方法[J].农业工程学报,2012(13):48-53.

[17] 张凯良,杨丽,王粮局,等.高架草莓采摘机器人设计与试验[J].农业机械学报,2012(9):165-172.

[18] 孟海斌,张红雨.嵌入式系统电源芯片选型与应用[J]. 单片机与嵌入式系统应用,2010(12):7-10.

[19] 徐世亮.农业采摘机器人设计与研究[J].硅谷, 2014(12):21-22.

[20] 纪超,冯青春,袁挺,等.温室黄瓜采摘机器人系统研制及性能分析[J].机器人,2011(6):726-730.

[21] 王丽丽,郭艳玲,王迪,等.果蔬采摘机器人研究综述[J].林业机械与木工设备,2009(1):10-11,14.

[22] 张凯良,杨丽,张铁中.草莓收获机器人末端执行器的设计[J].农机化研究,2009，31(4):54-56,60.

[23] 高浩,王虎,陈军.猕猴桃采摘机器人的研究与设计[J]. 农机化研究,2013,35(2):73-76.

Research on the Recognition of Ripe Fruit of Strawberry Picking Robot Based on ARM and FPGA

Ma Ying, Yang Xu

(Henan Polytechnic Institute, Nanyang 473000, China)

At present, strawberry picking mainly rely on manual tasks, low efficiency, loss of man-made is relatively large, reducing the fruit of economic income, also influences the development of strawberry cultivation. Therefore, the production of strawberry picking robot is the key to solve the problem of artificial picking. In this paper, the characteristics of strawberry cultivation and the techniques of artificial picking, based on ARM and FPGA intelligent control module and binocular machine vision technology, were designed and studied. The experimental results show that the mature fruit of strawberry picking robot and the obstacle avoidance control system can accurately identify the mature strawberry fruit, and can avoid the obstacles in the process of picking.

strawberry picking robot; machine vision; fruit localization; obstacle avoidance; ARM; FPGA

2015-12-16

河南省科技攻关项目(152102110161)

马 瑛(1982-)，男，河南南阳人，讲师，硕士。

杨 旭(1983-)，男，河北平山人，讲师，(E-mail) myandyx@qq.com。

S225.93；TP391.41

A

1003-188X(2017)02-0181-05