自然场景下树上桃子生长形态的识别

谢忠红1, 苏 坚2, 郭小清1, 姬长英

(1.南京农业大学信息科学技术学院，江苏 南京 210095;2江苏智恒信息科技服务有限公司,江苏 南京 210029;3.南京农业大学工学院, 江苏 南京 210031)

·计算机软件理论、技术与应用·

自然场景下树上桃子生长形态的识别

谢忠红1, 苏 坚2, 郭小清1, 姬长英3

(1.南京农业大学信息科学技术学院，江苏 南京 210095;2江苏智恒信息科技服务有限公司,江苏 南京 210029;3.南京农业大学工学院, 江苏 南京 210031)

为使机械手更准确地抓取桃子，提出一种在自然光照条件下识别树上桃子生长形态的方法。首先在5种颜色空间中利用BP神经网络找出识别率最高、误分率最低的颜色特征组合(H,Cr(YCgCr)，Cr(YCbCr), R-G,2R-G,Cb-Cr)，并使用改进的K-means聚类算法实现图像分割；然后利用桃子生长的形态参数(复杂度 、延伸率、紧密度等)使用支持向量机分类器进行分类。实验结果表明：对于晴天拍摄的图片，其识别率可达到87.5%；对于阴天拍摄的图片，其识别率可达80.5%。该方法具有一定的实用价值。

生长形态；颜色特征；改进K-means聚类算法；图像分割；形态参数

采摘作业是水果生产过程中的一个重要环节, 采摘质量直接影响水果后续的储存、加工和销售[1-3]。目前对果实采摘机器人研究往往只考虑果实目标的位置信息, 而忽略其生长形态的计算[4-5]。董坦坦等[6]对独立生长的番茄的位姿进行研究, 用惯性主轴的角度标志果轴方向, 进而获取独立生长的果实生长姿态。周俊等[7]根据苹果尾部花萼遗迹区域是否可见分析独立苹果姿态信息，提出一种机器视觉测量方法, 研究果实姿态信息的粒子滤波估计。以上研究都是针对独立生长的果实位姿进行的，但是自然界中除了独立挂在枝头的桃子外还有很多生长形态，例如双果、串联、并联等。对于不同生长形态的桃子采用不同的采摘方法不仅能够减少对桃子的损伤，而且能提高采摘效率。

1 常见的桃子生长形态

自然场景中树上桃子的生长形态可分为5类: 单果、双果、多果串联、多果并联、其他。单果就是1个独立生长的桃子；双果就是2个相互邻接的桃子；多果串联就是桃子首尾相连, 桃子之间没有围成一个封闭区域; 多果并联就是桃子相互围成一个封闭的区域。其生长形态如图1所示。

(a)单果 (b)双果 (c)多果串联

(d)多果并联 (e)其他

图1 树上桃子的生长形态

2 改进的K-means算法实现背景分离

2.1 BP神经网络实现颜色特征选择

颜色是实现果实目标识别的重要特征。尽管尹建军等[8]已在试验中证明没有任何一种颜色空间能够100 %精确地实现果实和背景的分离，但可从众多的颜色空间中选择一个能够精确识别果实目标的颜色特征组合。本文选择RGB，HIS，YCgCr，YCbCr和CIE 5种颜色空间，利用学习样本集训练生成的多个BP神经网络系统，然后对识别样本集的图像进行识别，找出识别率最高且误识率最低的颜色特征组合(H,Cr(YCgCr)，Cr(YCbCr), R-G,2R-G,Cb-Cr)作为图像分割的特征向量，如图2、3所示。其算法步骤如下：

1)针对不同颜色特征及组合，利用学习样本，训练生成多个BP神经网络；

2)在识别样本中，选择不同的颜色特征组合利用相应的BP神经网络进行分类，计算误分率和正确率；

3)找出识别正确率最高且误分率最低的颜色特征组合。

图2 5种颜色空间下的各颜色特征分类正确率

图3 5种颜色空间下的各颜色特征分类错误率

2.2加权欧氏距离的K-means算法实现背景分离

2.2.1 初始聚类中心选择

初始聚类中心的选择对K-means聚类算法的效果影响很大。为解决非结构化的自然环境下，由于光照、阴影等因素引起的色差等问题，避免陷入局部极值点, 提出采用大样本目标分类统计颜色特征的方法计算初始聚类中心。

首先手工选择不同光照环境下典型的果实、背景区域作为学习训练样本，计算各颜色空间下颜色特征T在第i类中所有像素点的均值Ci，将Ci作为第i类的初始聚类中心点。

(1)

式中：si为第i个分类的样本数；Mi,j、Ni,j为属于第i类的第j个样本宽度和高度；fT(x,y)为样本像素点(x,y)在颜色特征分量T的取值。

2.2.2 变异系数赋权法[9]计算权重wi

引入一种改进后的加权欧氏距离作为判断准则，设2个p维向量xi=(xi1,xi2,…,xip)和xj=(xj1,xj2,…,xjp)表示2个对象，d(xi,xj)为加权欧氏距离对象相关性的度量

(2)

其中wi为权重系数。

下面将采用变异系数赋权法[9-10]计算权重wi。设样本集中某特征Ti有n个特征数据x1,x2,x3…,xn,则特征Ti的变异系数为

(3)

(4)

很显然，vi大则wi就大，说明特征Ti变化大，其区分能力强，故应重视。

2.2.3 加权欧氏距离的K-means聚类算法步骤

1)以学习样本为特征数据集，计算选定的颜色特征组T={T1,T2，… ，Tp}在第i类中所有像素点的均值Ci，以Ci为第i个簇的初始聚类中心点。

2)利用学习样本集，根据式(4)计算特征组中每个颜色特征的欧氏距离权重wi。

3)计算识别样本集中每个像素点与各簇中心点的加权欧氏距离，并根据最小距离法将它归为最近的簇。

4)对发生变化的簇重新计算该簇新的中心。

5)循环执行3)和4),直到每个聚类不再发生变化，即目标函数收敛[11-12]。

二是政府部门要强化对住宅工程逐套验收工作复核工作。通过“双随机一公开”的方式对住宅工程逐套验收工作进行抽查，重点抽查实体质量、空间尺寸和分户验收资料是否一致。防范出现假验收假台账的情况发生，确实有效地督查各参建单位严格落实逐套验收工作。

2.2.4 分割效果

选择30幅桃子图像进行手工剪裁，合成1幅500×500桃子图像和1幅500×500的背景图片，并定义为学习样本集P。计算学习样本集P中果实和背景的颜色特征平均值，并定义为初始聚类中心，如表1所示，使用变异系数赋权法计算各个颜色特征的权重wi，如表2所示。

表1 学习样本集中果实和背景的初始聚类中心

注：在HIS 模型中红色的H值在0～20°和340～360°范围内,为防止在计算平均值时出现中和，本文对大于320°的H分量用360°-H代替。

表2 学习样本集下各颜色特征变异系数和权重

使用加权欧氏距离的K-means聚类算法对图4(a)—(d)进行分割试验，分割结果如图4(e)—(h)所示。

(a) (e)

(b) (f)

(c) (j)

(d) (h)

图4 改进K-means聚类算法实现图像分割

3 树上桃子生长形态的识别

3.1形态特征特征提取

为能够正确地对桃子生长形态进行识别，特征参数的选取非常重要[13-15]。本文选取紧密度、矩形性、复杂度、延伸率4个特征。图1所示的不同生长形态的桃子图像特征参数值如表3所示。

1)复杂度P。

P=C2/(4πA)。

其中C为周长，A为面积。

2)延伸率B。

B=S/L。

其中S为短轴长，L为长轴长。

3)矩形度R。

R=A/Amer。

其中A为面积，Amer为最小外接矩形的面积。

4)紧密度。

其中C为周长，A为面积。

表3 图1的相关特征参数

3.2基于SVM分类器的桃子生长形态识别

支持向量机的基本思想是通过非线性变换将输入空间变换到一个高空间，然后在这个空间中求最优线性分类面，这种非线性变换是通过定义适当的内积函数实现的[16-17]。

4 试验结果与分析

4.1试验装置

本文拍摄桃子照片的时间为2012年6月到7月，地点为南京市农科院桃园，设备为Canon IXUS 95相机，相机水平放置,距离果实目标为1 m。拍摄天气为晴天和阴天2种，桃子图片总数为277，共分为5种形态：单果(1—39)、双果(40—90)、多果串联(91—187)、多果并联(188—238)、其他(238—277)。在MATLAB环境中调用林智仁开发的libsvm-3.1 工具包[17]。硬件设备为联想Thinkpad x61，Intel酷睿2双核T7300处理器，2 GHz主频，2G内存。

4.2实验方法

组织并设计3组实验。

实验1:将277张图片分成2组，第1组127张称为训练集P1，第2组为识别样本集R1。

实验2:将晴天拍摄的144幅图片分为2组，第1组77张为训练集P2，第2组77张为识别样本集R2。

实验3:将阴天拍摄的133幅图片分为2组，第1组66张为训练P3，第2组67张为识别样本集R3。

首先对学习样本集Pi进行特征数据提取，然后采用不同的归一化方法对特征数据进行预处理，最后分类。实验采用[0,1]归一化方法对样本数据进行归一化处理，采用 Radial basis function函数作为核函数，最终分类得到的准确率为：阴天是80.5%；晴天是87.5%。识别率数据如表4、表5所示。

表4 对样本集R1采用不同归一化方式对比

表5 晴天和阴天识别结果对比表

5 结论

1)相机分辨率影响生长形态参数的精度，光线强度影响图像质量，从而影响图像分割质量，所以应尽量减少外界因素干扰。

2)树叶树枝遮挡等物体对果实的遮挡会使原本是并联或串联桃子在图像分割时被分成2个联通区域，而小的区域在预处理时被当作噪声去除，使识别结果出现误差。

3)晴天光照条件较好，其识别率高于阴天的识别率。

4)基于支持向量机的分类器在进行分类识别时，特征数据的归一化方法和核函数的选择对于识别正确率有一定的影响，因此必须通过实验找出最佳的组合。

[1]Takahashi T, Zhang S, Fukuchi H. Measurement of 3-D Locations of Fruit by Binocular Stereo Vision for Apple Harvesting in an Orchard[EB/OL]. [2014-06-06].https://elibrary.asabe.org/abstract.asp?aid=9685.

[2]Kim S C, Kang T J. Texture Classification and Segmentation using Wavelet Packet Frame and Gaussian Mixture Model [J]. Pattern Recognition, 2007, 40(4): 1207-1221.

[3]Bulanon D M, Kataoka T, O ta Y,et al. A Segmentation Algorithm for theAutomatic Recognition of Fuji Apples at Harvest [J].Biosystems Engineering, 2002, 83 (4): 405-412.

[4]尹建军, 毛罕平, 王新忠, 等. 不同生长状态下多目标番茄图像的自动分割方法[J]. 农业工程学报, 2006,22 (10):149-153.

[5]Tabb A L, Peterson D L, Park J . Segmentation of Apple Fruit from Video via Background Modeling[EB/OL]. [2014-06-06].https://engineering.purdue.edu/RVL/Publications/Tabb06 SegmentationOfApple.pdf.

[6]董坦坦,姬长英,周俊,等. 成熟番茄的图像识别及其位姿的获取研究[J]. 江西农业学报,2009, 21 (8): 152-155.

[7]周俊,张高阳.基于粒子滤波的苹果采摘机器人目标姿态估算[J].农业机械学报, 2011, 40(8): 161-165.

[8]尹建军，王新忠，毛罕平，等.RGB与HIS颜色空间下番茄图像分割的对比研究[J].农机化研究，2006 (11):171-174.

[9]马卫武，李念平，杨志昂.室内空气品质综合评价权重系数的确定与分析[J].通风除尘，2004 (11):9-11.

[10]张忠林，曹志宇，李元韬.基于加权欧式距离的k-means算法研究[J].郑州大学学报：工学版，2010,31(1):89-91.

[11]李翠,冯冬青. 基于改进K-均值聚类的图像分割算法研究[J]. 郑州大学学报:理学版,2011,43(1):109-113.

[12潘云鹤,董金祥，陈德人.计算机图形学:原理、方法及应用[M].北京:高等教育出版社,2010:21-25.

[13]傅蓉, 申洪.基于形状因子分析的重叠细胞自动判别技术研究[J].军事医学科学院院刊,2007,31(5):463-465.

[14]张亚静,李民赞,乔军,等. 一种基于图像特征和神经网络的苹果图像分割算法[J]. 光学学报,2008,28(11):2104-2108.

[15]屠珺,刘成良,李彦明，等. 基于光照无关图的苹果图像识别方法[J]. 农业工程学报,2010, 26(2):26-31.

[16]王平平,王俊,基于DCCA 和MF-DCCA 的步态信号的分析与研究[D]．南京:南京邮电大学,2012.

[17]尹静.基于SVM 的步态信号模式分类研究[J]. 机械设计与制造工程，2013，42(6)：68-70.

(编校：饶莉)

RecognitionMethodofPeachesGrowthMorphologyinNaturalScene

XIE Zhong-hong1,SU Jian2,GUO Xiao-qing1,JI Chang-ying3

(1.CollegeofInformationTechnology,NanjingAgricultureUniversity,Nanjing210095China;2.JiangsuZhihengInformationTechnologyServiceCo.Ltd.,Nanjing210029China;3.CollegeofEngineering,NanjingAgricultureUniversity,Nanjing210031China)

In order to pick peaches accurately during the tedious process of harvesting, a recognition method of peaches growth morphology in natural scene method is put forward for robot. In five color spaces, such as H, Cr(YCgCr)，Cr(YCbCr), R-G,2R-G and Cb-Cr, a color combination that has the lowest recognition error rate is found out based on BP neural network and the improvedK-means clustering algorithm is used to segment image. According to peach morphology features, such as complexity, elongation，eccentricity，etc., the peach growth morphologies are classfied with support vector machine. Experiment results show that the recognition rate of pictures taken in fine day arrives at 87.5%, and the recognition rate of pictures taken in cloudy day reaches to 80.5%. The results show that the proposed method is practical .

growth morphology ;color characters;improvedK-means clustering algorithm; image segment;morphology features

2014-04-18

国家“863”计划项目(2006AA10Z259)。

谢忠红(1977—)，女，博士生，主要研究方向为计算机图像处理、模式识别、农业机器人视觉。E-mail：xiezhonghong_cn@sina.com.cn

TP391.41

：A

：1673-159X(2015)02-0006-4

10.3969/j.issn.1673-159X.2015.02.002