基于神经网络的茄子采摘机器人视觉识别方法＊

宋 健

（潍坊学院，山东 潍坊 261061）

基于神经网络的茄子采摘机器人视觉识别方法＊

宋 健

（潍坊学院，山东 潍坊 261061）

针对生长环境中茄子图像背景复杂的特点，提出了一种基于BP神经网络的图像分割方法。通过对茄子果实的分析，选取3×3邻域像素EXG灰度值作为图像特征。选取30幅图像作为训练样本，以人工借助Photoshop软件分割后的图像作为教师信号，采用改进的BP算法对神经网络的权值进行训练。经过120次循环后，获得有效的网络权值，误差为0.001。结果表明，利用BP神经网络能够较好地实现茄子与背景的分离，经过数学形态法结合中值滤波方法的进一步处理后完全能满足采摘机器人的要求。

图像处理；图像分割；自动阈值；采摘机器人

1 引言

随着人口的老龄化和农业劳动力的减少，蔬菜和水果收获采摘机器人成为了世界性的研究热点。采摘机器人进行作业时，首先要根据果实目标的颜色、大小和形状将成熟果实从叶子和枝条等背景中辨别出来，并确定其空间位置，为机械手提供相应的运动参数，从而完成采摘作业。因此，图像分割是果实目标识别过程中的关键步骤。

目前，常用的图像分割方法有阈值分割法、区域生长分割法、基于数学形态学分割法等。但是，都不同程度的存在不足之处。近年来，国内外学者将神经网络技术引入到图像分割中，取得了一定的成果。邱道尹等人利用BP神经网络技术识别储粮中的害虫，识别率达到了100%。张亚静提出了一种基于图像特征和神经网络分类器的苹果图像分割算法，算法正确率大于87.6%。齐龙等运用BP神经网络构造分类器分割植物病害图像，分割正确率达到了94.7%。本文在前面学者研究的基础上，通过对生长环境中茄子果实与周围环境颜色特征的试验与统计，应用改进的BP神经网络对EXG灰度图进行分割。

图1 EXG灰度图

2 颜色因子的选择

为了科学的研究、测定和使用颜色，已经建立了十几种颜色模型，如RGB、HIS、L＊a＊b＊、YUV等。试验表明，在不同的颜色空间下图像处理的效果有很大的不同。其中，RGB颜色模型是图像处理中最基础、最常用的。因为现有的图像采集设备最初采集到的颜色信息就是RGB值，显示设备最终使用的也是RGB值。图像处理中使用的其他所有的颜色空间都是从RGB颜色空间转换来的，其处理结果如果需要显示出来，也要转换到RGB颜色空间。为了降低图像处理的难度，提高处理速度，最好的方法是直接利用RGB颜色模型的一个分量进行图像处理。但是，通过试验可知效果并不理想。

通过对生长环境中茄子果实与周围环境颜色特征的试验与统计，对RGB颜色模型3个分量不同线性组合进行比较，颜色因子EXG的灰度图中茄子果实与周围环境灰度差别较大，如图1所示。因此，选择颜色因子EXG灰度图进行图像处理。

基于颜色因子EXG灰度图的实现过程如下：

式中，（x，y）为当前像素点的位置信息；EXG（x，y）为变换后的灰度值。

3 BP神经网络分类器的构造

3.1 输入输出信号的选择

神经网络的输入层为9个神经元，输入信号为3×3邻域像素EXG灰度值。即选用30幅利用Photoshop软件分割得到的成熟茄子图像，计算每个像素点的EXG灰度值作为教师信号。由于茄子图像的分割属于二类问题，所以，输出神经元用1和0表示。1表示点（i，j），为茄子果实，0为背景。

3.2 BP网络的建立

图像分割选用3层完全结合方式BP神经网络。输入的特征量为3×3邻域像素EXG灰度值，因此输入层的神经元个数设计为9，输出层的神经元个数为1。

在BP神经网络的设计中，隐层节点数对网络性能的影响较大，而且隐层节点数的选取尚无明确的理论指导。隐层节点太少，会使训练次数增加，降低检索信息的精确性；而隐层节点过多，又将增大网络权值的训练量，降低网络的可靠性，使得网络处理非样本的能力受影响。本课题采用以下经验公式：

式中，N1、N3、为输入、输出节点数，a为1－10之间的常数。本课题经过多次试验，取N2＝7，即组成9－7－1结构的BP神经网络，对茄子图像进行分割。

神经元输入输出函数为双弯曲函数：

输出层的神经元输出与教师信号的平方误差和定义为：

式中，ok表示输出层神经元k的输出；dk表示给输出层的教师信号。

3.3 学习算法的快速化

为了实现学习的快速化，引入惯性项。“惯性”借用了力学中惯性的概念，不仅考虑当前值，而且对过去的影响加以考虑。在t＝n时刻求权值修正量时，增加前一时刻（t＝n－1）的权值修正量，即：

式中，η为学习率；En－1为直到n－1时刻输出层的平方误差和；α为惯性项系数，0＜α＜1。

当前值的修正方向与前一次的权值方向相异，即式（5）等式右侧第一项与第2项符号相反时，求和修正量的绝对值变小，可以防止过调节；相反，修正量方向相同时，相加后修正量变为较大的值，可以达到学习的快速化。本文中取η＝0.05，α＝0.9。

按照此算法进行120次训练，总误差降到0.001，得到收敛有效的网络权值。

4 试验结果与分析

4.1 图像分割

将在生长环境中采集到的茄子图像提取特征后，用已经训练过的神经网络进行分割，结果如图2所示。由于图像是在自然光下拍摄的，在背景中除了较大面积的枝叶、还有少量枯黄的叶子、用于固定植株枝干的白色塑料绳子、远处的茄子、花朵和没有任何目标的空洞阴影等。所以，分割后图像的背景上存在一定的的残留物和噪声。不过，茄子的边界比较完整，经过进一步处理可以消除。

图2 图像分割结果

4.2 残留物去除

为了去除成熟茄子果实图像背景上的残留物和噪声，采用数学形态学方法结合中值滤波的方法。具体操作时，选择5×5的结构元素对分割后的图像先进行开启运算再进行闭合运算，重复进行二次，去除大的噪声；然后采用3×3邻域的中值滤波器进行滤波，图3为滤波效果图。

图3 滤波效果图

4.3 边缘检测

拉普拉斯算子是对二维和函数进行预算的二阶导数算子，它在边缘处将产生一个陡峭的零交叉。据此，对数字图像｛f（i，j）｝的每个像素（i，j），取关于x轴方向和y轴方向的二阶差分之和，即：

若▽2f（i，j）在（i，j）处发生零交叉，则f（i，j）为阶跃型边缘点。而对于屋脊型边缘，则是在边缘点的二阶导数取极小值。

应用拉普拉斯算子对经过滤波去噪处理的图像进行边缘检测，得到的结果如图4所示。从处理的结果中可以看出，获取的边缘虽然宽一些，但是对图像的噪声不敏感，并且能得到比较平滑的边缘效果。

图4 轮廓提取效果图

图5 特征提取效果图

4.4 果实目标的特征提取

图像的特征，是指图像中某种物体所具有的特征。对于果蔬采摘作业来说，最终需要机器视觉系统提供采摘对象的特征参数，重心、面积、外接矩形、切断点等特征。通过对图像分割得到二值图像进行边缘提取和轮廓跟踪将轮廓标记在了二维数组中。这样，可以方便的提取所需要的果实目标特征。图5为特征提取效果图。

4.5 讨论

对30幅图像分别采用基于BP神经网络分割方法对生长环境中茄子果实进行了分割，分割效果较好，分割效率＞86%；平均用时0.54s。该方法属于自适应算法，具有一定的智能性，适应面广。但是，耗时相对较多，处理速度需进一步提高。

影响图像分割效果的主要因素是神经网络权值的可靠性，而影响神经网络权值的主要是教师信号的准确性以及样本的多样性和数量，所以适当增加样本数量或提高教师信号精度，可以在一定程度上使图像分割效果更好。

5 结论

针对采摘机器人的视觉系统的要求，采用基于BP神经网络的分割方法对生长环境中的茄子图像进行分割。采用BP神经网络的方法对实拍的彩色茄子图像进行分割，网络结构是9－6－1；经过120次循环后，误差为0.001，得到有效的网络权值。试验结果表明，利用BP神经网络能较好地实现成熟茄子果实与背景的分离，经过数学形态法结合中值滤波方法的进一步处理后完全能满足采摘机器人的要求。而且，只要改变训练时所采用的教师信号，即可实现对茄子果梗、萼片等图像的分割。

［1］宋健，张铁中，徐丽明，等.果蔬采摘机器人研究进展与展望［J］.农业机械学报，2006，37（5）：158－162.

［2］耿端阳，张铁中，罗辉，等.我国农业机械发展趋势分析［J］.农业机械学报，2004，35（4）：208－210.

［3］应义斌，章文英，蒋亦元，等.机器视觉技术在农产品收获和加工自动化中的应用［J］.农业机械学报，2000，31（3）：112－115.

［4］徐惠荣，叶尊忠，应义斌.基于彩色信息的树上柑橘识别研究［J］.农业工程学报，2005，21（5）：98－102.

［5］Kondo N，Monta M，Fujiura T.Fruit harvesting robot in Japan［J］.Adv Space Res，1996，18（1／2）：181－184.

［6］Sario Y.Robotics of fruit harvesting：A sate－of-the－art review［J］.Journal of Agricultural Engineering Research，1993，54（4）：265－280.

［7］张瑞合，姬长英，沈明霞，等.计算机视觉技术在番茄收获中的应用［J］.农业机械学报，2001，32（5）：50－58.

［8］赵杰文，刘木华，杨国彬.基于HIS颜色特征的田间成熟番茄识别技术［J］.农业机械学报，2004，35（5）：122－124.

［9］蔡健荣，赵杰文.自然场景下成熟水果的计算机视觉识别［J］.农业机械学报，2005，36（2）：61－64.

［10］Hayashi S，Ganno K，Ishii Y，et al.Robotic harvesting system for eggplants［J］.JARQ，2002，36（3）：163－168.

［11］Van Henten E J，Van Tuijl B A J，Hemming J，et al.Field test of an autonomous cucumber picking robot［J］.Biosystems Engineering，2003，86（3）：305－313.

（责任编辑：肖恩忠）

Target Identification Method of Eggplants Picking Robot Based on Improved BP Neural Network

SONG Jian
（Weifang University，Weifang 261061，China）

Aim at the complex background of eggplant image in the growing environment，a image segmentation method based on BP neural network was put forward.The EXG gray values of 3×3 neighborhood pixels were obtained as image features through by analyzing the eggplant image.30 eggplant images were taken as training samples and results of manual segmentation images by Photoshop were regarded as teacher signals.The improved BP algorithm was used to train the parameter of the neural network.The effective parameter was achieved after 120 times of training.The result of this experiment showed that the eggplant fruit could be preferably segmented from the background by using BP neural network algorithm and it could totally meet the demands of the picking robots after further processing by way of combining mathematics morphology with median filtering.

image processing，image segmentation，neural network，picking robot.

2011－07－18

山东省自然科学基金项目（Y2008G32）

宋健（1968－），男，山东潍坊人，潍坊学院机电工程学院副教授，博士。研究方向：机器人技术，生物生产自动化。

TP751 文献标识码：A 文章编号：1671－4288（2011）06－0090－04