基于区域生长的采摘机器人视觉识别方法

滕大伟，宋 健，王 凯

(1.山东科技大学 机械电子工程学院，山东 青岛 266590;2.潍坊学院 机电与车辆工程学院，山东 潍坊 261000)



基于区域生长的采摘机器人视觉识别方法

滕大伟1,2，宋 健2，王 凯2

(1.山东科技大学 机械电子工程学院，山东 青岛 266590;2.潍坊学院 机电与车辆工程学院，山东 潍坊 261000)

提出了一套基于茄子图像的空间位置信息和颜色因子相融合的区域生长分割算法。为保证茄子图像分割最佳的颜色空间和颜色因子，提取了50幅不同光照条件下的茄子图像的RGB颜色空间分量灰度图和直方图，比较了茄子果实、叶子、茎秆和空隙等的颜色特征，得出了G-B颜色因子对于茄子果实分割最为有利的结论。按照灰度级相同和空间8邻域连通的原则确定种子区域，进而通过扫描整幅图像进行初始分割。融合G-B颜色因子和空间信息对初始区域进行合并，直到分割形成的区域类间距离最大时停止生长。通过顶点链码与离散格林技术提取出果实的最小外接矩形，求解果实的生长位姿，试验表明：其分割效率均大于93%，平均用时为0.32s，能够满足果蔬采摘机器人对视觉系统的要求。

图像分割；区域生长；信息融合；形态学

0 引言

果蔬采摘机器人是工作在复杂环境下的光机电一体化的设备，在无人看守的条件下自动实现对果实的识别、抓取和搬运[1-2]。机械手首先依靠目标的形状、颜色和大小等信息从周围环境背景中识别出成熟果实，然后利用得到的三维空间坐标确定出对应的运动参数，从而顺利完成抓取作业[3-4]。因此，视觉识别与定位是机器人进行果实目标识别的关键步骤。

近年来，许多国内外学者在这方面上做出了大量研究，取得了一些成果[5-7]。日本学者Murakami等人利用人工神经网络提取二值图像，然后利用模板进行轮廓匹配的方法进行甘蓝的识别。荷兰农业环境工程研究所(IMAG)利用近红外传感器系统对黄瓜进行分割提取。江苏大学的王津京、赵德安等利用SVM对苹果进行识别。潍坊学院的宋健利用神经网络完成了对茄子的分割提取。李正明在彩色特征分量(2G-R-B)/4下采用改进型otsu进行分割，一定程度上克服了反光的影响。但是，由于果蔬采摘机器人是在自然光条件下进行工作，光线变化明显，采集的图像背景复杂，当前的研究还不能很好地克服生长环境的影响[8]。

基于如上原因，本文以茄子作为研究对象，从颜色特征进行分析处理，找出相应的颜色因子和识别模型，采用融合颜色因子和三维空间信息的区域生长算法分割图像，取得了较好的效果。

1 颜色因子的选择

果蔬采摘机器人对视觉系统的识别算法通常要求实时性好、稳定性高、简单有效。而实现果实目标从环境背景中分离出来，最简单有效的提取方法是从彩色图像中获取茄子图像RGB三基色的原始数据，对目标与背景进行分割。

通过对采集图像的初步观察，茄子果实呈现的紫色与周围环境相比较为明显。因此，利用Photoshop图像处理软件提取各感兴趣的对象(茄子果实、叶子、茎干、空隙等)，计算各区域内像素的R、G、B值的平均值作为该图像各对象的颜色特征值；然后，用Excel2003对数据进行了统计，比较RGB颜色模型3个分量不同线性组合。图1为G分量与B分量对比图，图2为G-B灰度图与直方图。可见，在G-B颜色因子的灰度图下，目标果实与环境的灰度差别较为明显，有利于目标图像的分割。因此，选择G-B颜色因子下的灰度图进行分割处理。

2 基于区域的图像分割

基于区域生长的图像分割方法是通过区域内部的特征描述把一致的像素点合并到一个区域。但是，采用单一特征信息的区域生长法往往因为信息量太少而得不到令人满意的效果。经过研究发现：通过融合多种信息更有利于获取理想的分割效果，既考虑到在颜色特征空间下的像素优化分类，又考虑到区域之间图像的边缘及邻接关系等空间信息。所以，采用融合RGB颜色空间中G-B因子和空间信息的区域生长法，对生长环境中的茄子果实图像进行分割。

图1 G分量与B分量对比图Fig.1 The comparison diagram of G and B

图2 G-B灰度图与直方图Fig.2 Grayscale and histogram

2.1 初始分割

2.1.1 确定种子区域

图像中属于同一灰度级的像素在空间上不一定相邻，还需要通过融合空间等信息才能形成有效的分割区域。定义满足以下条件的像素形成种子区域：①像素的灰度级相同；②空间八邻域连通；③连通像素总数满足一定的面积。

2.1.2 扫描整幅图像，对图像进行初始分割

在图像中，利用区域生长分割方法把不在区域内的像素分配到与其相邻并且颜色较为相近的区域上。但是假如新生长进来的像素满足如下条件：

①在空间上，新生长进来的像素要八邻域连通；②新生长进来的像素彼此间的平均距离小于它与当前种子区域间的平均距离；③新生长进来的连通像素总数达到算法对区域的面积要求。则新生长进来的连通像素被算法划到一个新的种子区域。使得图像的细节在生长过程中容易被发现。

2.2 区域生长

初步分割完成后，种子区域间仍存在很强的关联性，通过使用区域合并算法，初步分割后的子区域被合并，并提出停止区域生长的规则。

本文的算法中，两个种子区域能否进行合并取决于两个条件：一是两个种子区域要在空间上相邻，平均灰度级上相近；二是在邻接处没有明显的边缘出现。因此，区域合并准则融合了灰度、边缘及邻接关系等信息，以下为两种区域的距离定义，边缘距离的计算使用了简单的一阶微分算子—Robert算子。

区域距离为

颜色距离为

其中，ki、kj分别代表i和j区域中包含的像素个数；μi、μj代表两个区域的灰度均值。ki、kj使得包含像素数目较少的区域和其他种子区域的颜色距离变小，从而在灰度均值相等的条件下，有利于小区域优先合并。

边缘距离定义为

邻接关系为

每次合并图像中距离最近的两个区域，就会合并成一个新的区域，新形成的区域与其他区域间的距离和邻接关系也会随之调整，直到剩余的区域满足合并终止准则就会停止区域生长，得到最后的图像分割结果。

2.3 区域生长停止的准则

定义sn为分割后各个小区域之间的类间距离，当类间距离最大的时候停止生长。则有

2.4 算法实现

2.4.1 确定种子区域

While(存在没有标号不属于任何区域像素p)

{

初始化新区域堆栈sp；

将该像素压入堆栈sp；

While(依次察看p的八邻域是否存在灰度级相同的像素q)

{如果存在就将q压入sp；

将p指向q，q指向下一顺序邻域像素；

}直到在邻域中找不到灰度级相同的像素，结束；

如果sp内的像素数目达到种子区域在面积上的要求，则sp内像素作为一个种子区域，其所有的像素标记为n，否则

For(i=0，i﹤﹦n-1；i++)

{选择与sp内距离最近的区域，得到区域标号n；

设定P的标号为n；

}

}

2.4.2 进行区域生长

计算N个种子区域的邻接关系edge[][]；

While(类间方差不满足种子条件)

{For ( i=0；i<=N；i++)

{合并当前(N-i)各区域中距离最小的两个区域；

修改新区域的颜色均值，修改邻接关系，修改区域数目N；

计算当前分割的类间距离}

}类间达到最小值时，停止合并，跳出循环。

最后，输出分割区域。

融合G-B颜色因子与空间信息的区域生长分割方法的处理结果如图3所示。

3 残留物和噪声的去除

由于茄子是在自然条件下生长，环境背景里除了含有大面积的枝和叶、远处花朵、茄子、用于固定枝干的塑料绳及一些空洞阴影等，因此经过图像分割后，图像背景上面会留有一部分残留物和噪声。为了准确地提取目标特征，就需要去除这些残留物和噪声。本文基于数学形态学和中值滤波的综合去噪。选用5×5的结构元素对分割处理后的图像先进行开运算再进行闭运算，重复3遍，去除较大的噪声；然后选择3×3区域的中值滤波器进行滤波处理，图4为滤波效果图。

图3 区域生长方法分割效果图Fig.3 Effect picture of region growing method

图4 滤波效果图Fig.4 Effect picture of filtering

4 果实特征提取

采摘机器人在对果实进行分割及轮廓重建之后需要进行特征点提取，来获取抓取点的坐标，普通的特征点仅仅包括果实的质心及果实的切断点。由于茄子属于圆柱状物体，极易发生倾斜生长，若不判断其倾斜位姿会给采摘作业造成很大的困难。

链码是一种边界的编码表示法，也称之为边界的点积，链码分为好多种，顶点链码是一种以起点坐标与边界点的顶点代码来描述物体的边界的方法。顶点链码有普通链码不可比拟的优势，有旋转不变性、平移不变性、起始点不变性和镜像不变性，且可获得果实的边界轮廓和图形内部的一些属性。同时，离散格林理论为将封闭区域内的曲面积分转变降幂为曲线积分,大大减少了针对果实内的一些特征点的计算量。链码与离散格林详细规则见文献[5-6]。

由于惯性主轴具有唯一性而且无偏差，而且主轴方向是果实重要的特征值，所以采用顶点链码与离散格林主轴法求解最小外接矩形。

设主轴与X轴夹角为

其中,u11=M11-y·M10,u20=M20-x·M10,u02=M02-y·M01；α为夹角;M相应的像素顶点矩阵；x、y为相应的像素坐标。

令主轴为X′对X轴旋转α，新旧坐标转换关系为

其中，p与q分别为水平与垂直方向的离散格林参数。

具体步骤为：

1)比较顶点链码水平与垂直方向点数，并分别套用水平或垂直离散格林算法进行各阶矩，即各目标的物理面积；

2)带入公式，求其主轴方向角；

3)计算新坐标下的坐标值；

4)求其最大最小x′、y′坐标，然后还原元坐标系，两对坐标值即为最小外界矩形的点坐标；

5)求解最小外界矩形后求解质心以及中轴线与Y轴的旋转角。图像处理结果如图5所示。

图5 茄子生长位姿Fig.5 Eggplant growth posture

5 试验结果与分析

本文选取的茄子图像是生长在自然光照条件下处于采摘期的茄子，在安全市景芝镇蔬菜温室大棚内采集。试验相机的分辨率为1 027×768；图像处理平台为i5 CPU 2.6G，4G内存，Win7操作系统，编程语言为c/c++,编译环境是VS2010。

采用区域生长分割算法分别对50幅茄子果实图像进行分割处理，分割率>93%,分割效果显著；平均用时0.32s，该算法为自适应方法，具有适应面广及智能化强的特点；但其耗时时间长，处理速度有待提高。

6 结论

1)通过统计与分析不同光照条件下茄子图像的RGB分量直方图和灰度图，得出了G-B颜色因子对于茄子果实分割最为有利的结论。

2)进行基于区域生长的图像分割时，首先按照灰度级相同和空间上8邻域连通的准则确定初始分割区域，然后融合空间位置信息和G-B颜色因子对初始区域进行合并，直到分割形成的区域类间距离最大时停止生长。

3)选择5×5的结构元素对分割处理后的图像先进行开运算再进行闭运算，重复进行3次，去除较大的噪声；然后采用3×3区域的中值滤波器进行滤波。

4)试验表明：两种方法分割效率均大于93%，平均用时为0.32s，能够满足果蔬采摘机器人对视觉系统的要求。

[1] 宋健，张铁中，徐丽明，等.果蔬采摘机器人研究进展与展望[J].农业机械学报，2006,37(5)：158-162.

[2] Kondo N,Monta M，Fujiura T. Fruit harvesting robot in Japan [J].Adv. Space Res,1996,18(1/2)：181-184.

[3] Fauvel M，Chanussot J，Benediktsson J A． Kernel principal component analysis for the classification of hyperspectral remotesensing data over urban areas[J]．EURASIP Journal on Advances in Signal Processing，2009(2):1-14．

[4] 徐惠荣，叶尊忠，应义斌.基于彩色信息的树上柑橘识别研究[J].农业工程学报，2005，21(5)：98-102.

[5] 李冠林，马占鸿，黄冲，等.基于 K_means 硬聚类算法的葡萄病害彩色图像分割方法[J].农业工程学报，2010，26(2)：32-37.

[6] 陈科尹，邹湘军，熊俊涛，等．基于视觉显著性改进的水果图像模糊聚类分割算法[J]．农业工程学报，2013，29(6):157-164．

[7] 李冠林，马占鸿，黄冲，等.基于 K_means 硬聚类算法的葡萄病害彩色图像分割方法[J].农业工程学报，2010，26(2)：32-37.

[8] 蔡健荣，赵杰文.自然场景下成熟水果的计算机视觉识别.农业机械学报，2005，36(2)：61-64.

[9] 翟治芬，严昌荣，张建华，等．基于 CUDA的并行 K-means 聚类图像分割算法优化[J]．农业机械学报，2014，45(11):48-53．

[10] 翟治芬，严昌荣，张建华，等．基于CUDA的并行 K-means 聚类图像分割算法优化[J]．农业机械学报，2014，45(11):48-53．

[11] 毋媛媛，刁智华，王会丹，等.作物病害图像形状特征提取研究[J]．农机化研究，2015,37(1)：64-67.

Vision Recognition Method Based Region Growing for Picking Robot

Teng Dawei1,2， Song Jian2， Wang Kai2

(1.College of Mechanic and Electronic Engineering, Shandong University of Sciences and Technology, Qingdao 266590, China； 2.School of Machanical-electrinic and Vehicle Engineering,Weifang University,Weifang 261000, China)

An algorithm for eggplant image is is brought forward by melting the G-B color factor and spatial information. In order to find the optimum color space and color mode for image segmentation,the grey image and histogram of 30 picture under different light intensities are extracted.The characters of their fruits ,leaves, stems and void are studied and the G-B color mode is most available to segment the eggplants. The seed regions is determined according to both uniform gray-level and 8 epsilon neighborhood intercommunication, and then the starting segmentation is carried out by scanning image.The initial regions are merged based on the G-B color mode and spatial information.The region growing stop until the regional class distance of these segmented regions is maximum. The residua are got rid of preferably by template operation and morphologic operation.Experiment results show that this segment method with the segmentation efficiency of 92% have higher intelligence and the time consumed is 0.36s and has high intelligent and suitability.

image segmentation； region growing； imformation inosculating； morphology method

2016-02-28

国家自然科学基金项目(51505337)；山东省自然科学基金项目(ZR2014EEP013)

滕大伟(1989-),男，山东潍坊人，硕士研究生，(E-mail) 1097533633@qq.com。

宋 健(1968-)，男，山东潍坊人，教授，硕士生导师，(E-mail)sjian11@163.com。

S126；TP391.41

A

1003-188X(2017)03-0017-05