基于改进判别区域特征融合算法的近色背景绿色桃子识别

黄小玉，李光林，马 驰，杨士航



基于改进判别区域特征融合算法的近色背景绿色桃子识别

黄小玉，李光林※，马 驰，杨士航

（西南大学工程技术学院，重庆 400715）

针对机器视觉识别中自然光照条件下未成熟绿色果实的识别存在颜色与背景相似、光照不均、果叶遮挡等问题，该文提出在判别区域特征集成（discriminative regional feature integration，DRFI）算法框架的基础上，结合颜色、纹理、形状特征，对未成熟绿色桃子进行识别。首先通过基于图的图像分割（graph-based image segmentation）算法，取不同的参数将图像分割为多层，再计算各层图像的显著图，并用线性组合器将其融合，得到DRFI显著图。再用OTSU算法得到的阈值自适应调整之后对DRFI显著图进行分割，减少了显著图中识别为低概率果实的误分割。对于分割后仍存在的果实相互粘连的情况，通过控制标记符和距离变换相结合的分水岭分割算法将其分开。试验结果表明：该方法在训练集中的准确识别率为91.7%，在验证集中的准确识别率为88.3%，与相关文献报道的结果以及原始DRFI算法在验证集中的检测结果相比，该文方法的准确识别率提高了3.7～10.7个百分点，较有效地解决了颜色相近和果叶遮挡问题，可为果树早期估产和绿色果实采摘自动化、智能化提供参考。

机器视觉；图像处理；算法；桃子；显著对象检测；特征提取；分水岭变换；识别

0 引 言

将机器视觉的方法用于果树早期估产以及农业机器人的对象识别是近年来的研究热点[1]。果树早期估产能提供给种植者对于产量分布和质量的清晰认知，并对施肥、喷药、采摘、仓储等过程进行调整，以促进资源的有效利用[2-3]；果蔬采摘机器人实现了采摘机械化和自动化，降低了劳动和时间成本，使采摘效率大幅度提升[4]。果树早期估产的对象是未成熟的绿色果实，采摘机器人的采摘对象也不乏香梨、青苹果等绿色水果，且果实的精确识别与定位是机器采摘果实的关键[5]。因此，研究绿色果实的精确识别方法十分重要。

自然环境下采集的水果图像存在光照不均、阴影、叶片反光、枝叶遮挡及果实之间的相互遮挡[6-7]等问题。且未成熟果实本身呈现绿色，与叶片、杂草颜色相近，无法单用颜色特征区分[8]。目前国内外相关文献针对上述问题提出了多种解决方法。Bansal等[9]提出基于快速傅里叶变换（fast Fourier transform，FFT）泄露的检测方法识别自然光照条件下采集的绿色柑橘图像，识别准确率为82.2%。卢军等[10-11]提出利用水果表面呈环形光照分布的轮廓特征，结合Hough变换进行圆拟合，该算法在20幅柑橘果园场景图像的召回率达到81.2%，采用LBP（local binary pattern）纹理特征后，在25幅图像上测试的准确率能达到82.3%，但图像采集过程需要人工配置光源。Gan等[12]提出将彩色图像和热图像信息融合进行未成熟柑橘的检测，召回率达到90.4%，但柑橘类水果仅在清晨能达到最佳热成像，对图像采集时间有依赖，且热成像设备价格相对高昂。马翠花等[13]将密集和稀疏重构[14]（dense and sparse reconstruction，DSR）的显著性检测方法用于识别未成熟番茄，正确识别率为77.6%。该研究采用无监督的显著性检测方法，识别率相对较低，强光下漏检或误检的情况相对弱光增加。文献[15-20]采用诸如神经网络、随机森林等分类器对未成熟的番茄、苹果、芒果、葡萄等水果进行检测，均取得了较好的效果，但鲜少有对未成熟绿色桃子的检测[21]，不同水果背景及果实形状的差异大，上述方法直接用于桃子检测效果不理想，桃子作为西南地区特色水果之一，生产管理也亟需实现自动化和智能化。

针对当前绿色桃子机器视觉识别研究工作的缺失，本文基于判别区域特征融合算法（discriminative regional feature integration，DRFI）[22-23]的框架和分水岭分割算法，提出绿色桃子的机器视觉识别方法。DRFI显著性检测算法采用有监督的方式进行模型训练，比DSR算法性能更优异。用绿色桃子特有的颜色、纹理、形状特征代替DRFI算法采用的部分特征，同时对相应的参数进行调整，以更适用于计算未成熟绿色桃子的显著图；针对显著图OTSU分割和数学形态学处理去噪后图像中存在的果实粘连情况，用控制标记符和距离变换相结合的分水岭分割算法进一步分割，从而实现树上绿色桃子的有效识别，以期为果树早期估产和绿色果实自动采摘提供参考。

1 材料与方法

1.1 图像采集

2018年4月21日于重庆市沙坪坝区虎峰山果园内进行图像采集，用Panasonic DMC_LX5GK 型号的数码相机在自然光照条件下拍摄桃子早熟品种胭脂脆桃图像，共采集186幅，包括顺光、逆光、遮挡等环境。相机镜头距离果实30～80 cm，图像分辨率为2 560×1 920像素，存储为JPG格式。为满足实时检测的要求并避免图像失真，多次试验并结合相关文献[10-11,13]，采用双3次插值法将图像缩小为原始图像大小的1/8，即320×240像素。将采集到的186幅图像随机抽取150幅作为训练集，另外36幅作为验证集。本文所有算法运行环境为MATLAB R2015b，计算机配置为Intel(R) Xeon(R) CPU E5-2609 v2@2.50GHZ，RAM为16.0GB。

1.2 样本标注

DRFI算法训练回归模型需要原始图像的ground truth图作为标签。采用Photoshop CS6标注150幅训练集图像的ground truth图，将目标像素标记为白色，即灰度值为255，背景像素标记为黑色，即灰度值为0。这样原始图像在基于图的图像分割后产生的每个超像素都会对应一个区域级标签。图1是150幅训练集中的6幅桃子图像及其对应的ground truth标签示例。

图1 桃子图像及其对应的ground truth标签示例

2 DRFI算法原理及改进

2.1 算法描述

图2展示了本文DRFI算法计算桃子图像显著图的主要步骤，具体算法如下：

1）多层分割。给定一幅图像，使用基于图的图像分割（graph-based image segmentation）算法[24]将图像分割为个超像素区域，每个超像素用不同的RGB颜色定义。单次图像分割产生的超像素可能跨越显著对象（桃子）的边界，同时由显著对象和背景像素组成；超像素可能太小而没有包含足够的特征去判断它是否属于显著对象。因此，采用多层分割，通过改变基于图的图像分割算法中sigma（高斯滤波器核函数的标准差）、（控制合并后区域的数量）和min（当分割后的区域像素点的个数小于min时，选择与其差异最小的区域合并）3个参数的取值，生成不同的图像分割结果。共取组参数，将图像分为层S(=1,2,∙∙∙,)，={1,2,…,S}。

2）各层图像显著性计算。每一层分割产生的超像素由26维的特征向量表示，包括2个颜色特征，16个纹理特征，8个形状特征。将图像的各层分割结果={1,2,…,S}与ground truth图进行匹配，得到超像素对应的标签，将桃子标记为1，背景标记为-1。将150幅训练集图像的特征向量及标签输入到随机森林进行训练，得到回归模型=()，从而将特征向量映射为显著值，并分配给对应的超像素区域，这样区域中的每个像素，都会对应产生该像素的显著性概率。个超像素一一映射的结果便得到每一层分割的显著图。

3）多层显著图融合。通过将层显著图融合在一起生成最终的显著图，用A表示训练集中第幅图像的显著图，A=(A1, …,A)，其中A表示第幅图第层分割的显著图，(·)是一个线性组合器，如式（1）所示。

式中w表示权重，学习过程采用最小二乘法估计，使损失总和最小化，即使（2）式达到最小，为训练集图 像总数，=150，*为第幅训练集图像对应的ground truth图。

注：图中“多层分割”中的从上到下的3张图的sigma, k, min取值分别为[0.8,100,150]、[0.9,200,200]和[0.8,300,150]。

2.2 区域特征分析与特征选取

原始DRFI算法提出3种区域特征：对比度特征、背景描述特征、目标描述特征。其中，对比度特征的重要性不如后两者，背景描述特征则认为图像边界区域的像素属于背景。事实上，自然条件下采集的水果图像，果实随机散布在图像的各个区域，无规律可言。另一方面，显著性算法用于识别图像中最突出的物体，该物体可以是所有类型，不针对特定对象。因此，将DRFI算法用于检测未成熟绿色桃子这一特定对象时，原始的区域特征并不完全适用。

本文基于DRFI算法的框架，只保留目标描述特征中的16个纹理特征，在此基础上，增加绿色桃子特有的特征，即RGB颜色空间中-分量的均值，HSV颜色空间中Hue分量的均值，和区域的面积、周长、圆形度、长轴长度、短轴长度、长宽比、长轴长度与周长比、离心率这8个形状特征，共26个特征用于训练回归模型。

2.2.1 颜色特征

识别颜色与背景相近的绿色目标中，将RGB颜色空间中的-分量、和HSV颜色空间中的Hue分量作为有效特征，或为了避免光照变化的影响，先对图像做增强处理，再提取上述特征分量[4,25]。图3分别为顺光和逆光环境下拍摄的桃子图像及其对应的-分量、Hue分量和图像增强后的-分量、Hue分量。图3c和图3h是对图像进行限制对比度自适应直方图均衡化后，提取的-色差图。图3e和图3j是将RGB图的、、各分量单独进行直方图均衡化后融合，再转化为HSV模型，并提取Hue分量。

由图3顺光和逆光图像的对比可以看出，-分量和Hue分量在图像增强前后均能较好地将顺光环境下的目标和背景区分开，逆光环境下，即使经过图像增强，也无法有效地区分桃子和背景。因此，仅提取颜色特征不可靠，需加入其他类型的特征。

2.2.2 纹理特征

本文采用Leung-Malik（LM）滤波器组响应的方差，和等价模式LBP特征[26]的方差作为区域纹理特征。

LBP指局部二值模式，用来描述图像局部特征，以中心像素的灰度值为阈值，若相邻像素点灰度值大于或等于中心像素点，该相邻像素点标记为1，否则为0，以周围0-1序列排列形成的二进制数的数值作为中心像素的LBP值。因此，像素点个数为，半径为的圆形邻域将会产生2种模式。为解决模式过多的问题，采用等价模式LBP，引入变量，如式（3）所示。规定当某个LBP所对应的循环二进制数从0到1或从1到0最多有2次跳变，即≤2，该LBP所对应的二进制就称为一个等价模式类，其余模式称为混合模式类。至此，模式数量减少为(-1)+2种。等价模式LBP值的计算如式（4）所示。

式中为符号函数，g为邻域像素的灰度值，本文选取邻域像素点个数为8，其8邻域内8个像素的灰度值分别为g={0，1，…，7}；g为中心像素的灰度值；半径取2；上标riu2表示使用值最高为2的旋转不变的等价模式LBP。

a. 顺光图像 a. Sunny side imageb. 顺光下的R-B图 b. R-B image under sunny sidec. 顺光下增强后的R-B图 c. Enhanced R-B image under sunny side d. 顺光下的Hue图 d. Hue image under sunny sidee. 顺光下增强后的Hue图 e. Enhanced Hue image under sunny sidef. 逆光图像 f. Shadow side image

2.2.3 形状特征

桃子的轮廓形状接近椭圆，与叶片和枝干等背景的形状明显不同，因此，在颜色和纹理特征的基础上，提取分割区域的形状特征，如表1所示。这8个形状特征可直接或间接通过Matlab函数regionprops求出。

表1 区域形状特征描述

2.3 算法参数选择

针对训练集图像数量和特征个数的改变，对训练过程中的部分参数进行调整。参考原始DRFI算法和多次试验所得的经验，多层分割时，本文将训练集图像分为25层，考虑到精度和速度之间的平衡，将验证集图像分为15层。训练随机森林回归模型时，测试了采用50、100、200棵决策树，单个决策树使用特征的最大数量分别为5、10、15、26时的性能，试验结果表明，当选取100棵决策树，最大特征数取10时，性能最优，得到的显著图与ground truth图最吻合。

3 显著图处理

显著图表征图中每个像素属于显著对象的概率，为灰度图，还需进一步处理才能实现果实检测。

3.1 OTSU分割

如图4b所示，本文算法认为某些果实区域属于果实的概率较低，在显著图中表现为较小的灰度值。图4中上下2行图像用OTSU算法[27]计算得到的自适应阈值（）分别为0.486 3和0.494 1，如果直接以阈值分割显著图，会将低灰度值的桃子分割为背景，如图4c所示。多次试验得出，分别用阈值和-0.1分割得到二值图，并以后者减去前者，然后去除差值图中面积小于500像素的区域。若剩下各区域的圆形度小于0.57，或长宽比大于2.65，说明以阈值-0.1分割引入了背景部分，应直接以为阈值进行分割，否则，以-0.1为阈值进行分割。

3.2 数学形态学处理

3.2.1 小区域去除

图5为整个显著图处理过程的示例。如图5b所示，经过二值化后的图像存在与果实相连的细小的突出部分和小面积残留区域，图5a的分割阈值为0.403 9。针对细小的突刺，采用开运算断开其与目标之间狭窄的连接，平滑目标的轮廓，开运算的结构元素选取半径为5的圆盘。针对残留的小面积区域，选出整个数据集中最小的10个桃子，用Photoshop逐像素将其标出，用matlab统计出其平均像素数为584，考虑到可能存在的误差，实际上将图像中面积小于500像素的区域去除。图5c为阈值分割后经过开运算和小区域去除后的结果。

a.原图 a. Original imageb. 显著图 b. Saliency mapc. OTSU阈值 c. OTSU thresholdd. OTSU阈值调整 d. OTSU threshold adjustment

3.2.2 控制标记符和距离变换相结合的分水岭分割

自然条件下水果总是成簇生长，经过OTSU分割和简单的小区域去除后，图像表现为目标为白色，背景为黑色的二值图像，白色区域仍然存在粘连，用控制标记符和距离变换相结合的分水岭分割算法[28-30]将其分开。首先对二值图像求补后进行距离变换，并将结果取反，如图5d所示。为克服传统分水岭分割每个局部极小值均为汇水盆地而造成的过分割现象，使用imextendedmin函数，将图5d中深度不超过值的局部极小值滤除，从而得到内部标记符的集合如图5e所示（图5e中的白色小区域才是真正的内部标记符，为了方便观察将内部标记符叠加到图5c上显示），本文的深度阈值取为2。使用强制最小技术修正距离图后再进行分水岭变换分割后的结果如图5f所示。然后取每个分离区域的中心为圆心，以与区域有相同二阶中心矩的椭圆的长轴长度为直径[25]，在原图上画出检测到的桃子，如图5g所示。

a. 显著图a. Saliency mapb. OTSU分割b. OTSU segmentationc. 小区域去除 c. Small area removald. 距离变换 d. Distance transformatione. 内部标记符 e. Internal markersf. 分水岭分割 f. Watershed segmentationg. 检测结果 g. Detection result

4 试验与结果分析

为验证本文方法的有效性，共做了2部分试验，首先对采集到的186幅图像进行本文方法的检测；其次对本文方法和原始DRFI算法[22]在36幅验证集图像（分为顺光场景图像和逆光场景图像）中的检测结果进行对比，并与马翠花等[13]、Kurtulmus等[21]文献中报道的结果进行对比。

4.1 本文算法试验结果

对训练集和验证集中的所有图像进行了检测，包括顺光、逆光、枝叶遮挡和果实重叠的场景。用本文提出的改进的DRFI算法得到显著图后，以图5所示过程进行处理，部分检测结果如图6所示。可看到本文方法在顺光、逆光场景下，均能较好地识别出绿色桃子，对于枝叶遮挡和果实重叠也能较有效处理。

图6 不同场景下的检测结果

表2是本文算法在150幅训练集图像，36幅验证集图像上的检测结果，对图像中遮挡不超过1/3的水果进行检测计数。训练集图像共315个果实，实际检测到289个，误检44个，漏检26个，正确识别率为91.7%；验证集图像共77个果实，实际检测到68个，误检12个，漏检9个，正确识别率为88.3%。

表2 本文算法检测结果

注：训练集和验证集果实总数分别为315和77个。

Note: Total fruits in training and validation dataset are 315 and 77 fruits respectively.

4.2 不同方法检测结果对比

如图7为本文改进的算法与原始DRFI算法[22]、DSR算法[14]计算出的显著图的对比。如图7b的DRFI算法认为光照较强处显著性更突出，因此，直接运用显著性检测易受到光照变化的影响；如图7c的DSR算法认为目标位于图像中间位置，因此将接近图像中间位置的果梗、树叶等背景误判为目标，稍边缘的果实区域显著性反而不突出。而本文提出的方法由于只用了DRFI算法的框架，提取的是绿色桃子特有的颜色、纹理、形状特征，克服了DSR和DRFI显著性检测算法的不足，使目标和背景能够较大程度地分离。

a. 原图 a. Original imageb. DRFI显著图 b. DRFI saliency map c. DSR显著图 c. DSR saliency mapd. 本文方法显著图 d. Saliency map of proposed method

本文将36幅验证集图像分为顺光场景图像和逆光场景图像，进行本文改进的算法与原始DRFI算法[22]识别结果的对比分析，以及与马翠花等[13]、Kurtulmus等[21]文献中报道结果的对比。4种方法检测的结果如表3所示。

本文算法在验证集上的准确识别率为88.3%，对比未改进的原始DRFI算法80.5%的正确识别率，本文算法的正确识别率提高了7.8个百分点。对比同样是用显著性检测算法识别绿色水果的马翠花等提出的基于DSR的显著性检测方法识别未成熟番茄77.6%的正确识别率，本文方法的正确识别率提高了10.7个百分点。对比同是检测未成熟绿色桃子的Kurtulmus等提出的算法在验证集中最高84.6%的正确识别率，本文算法的正确识别率提高了3.7个百分点。

表3数据显示，文献[13,21-22]方法在顺光环境下的正确识别率均低于逆光环境，而本文方法在顺光和逆光场景下的正确识别率分别为88.6%和88.1%，基本相当。

表3 不同方法验证集检测结果对比

同时，Kurtulmus等的方法处理验证集中单幅图像用时72.8～112 s，达不到实时检测的要求，而本文用训练好的模型处理验证集中单幅图像用时3.16～4.58 s，包括显示检测结果的时间，处理时间最少能减少68.22 s。

5 结 论

为解决未成熟绿色桃子识别中颜色与背景相近及枝叶遮挡、果实重叠，易受光照变化影响的问题，本文提出基于DRFI（discriminative regional feature integration）显著性检测算法的框架和控制标记符与距离变换相结合的分水岭分割算法识别未成熟绿色桃子的方法。该方法首先以绿色桃子特有的颜色、纹理、形状特征替换原始DRFI中的部分特征，并对相应参数进行调整后训练回归模型。以该模型计算桃子图像的显著图，然后用OTSU算法进行初步分割，用数学形态学处理去噪后，采用控制标记符与距离变换相结合的分水岭分割算法将粘连的果实区域分割开，从而实现自然环境下未成熟绿色桃子的识别。试验结果表明该方法在训练集中的正确识别率为91.7%，在验证集中的正确识别率为88.3%，在顺光、逆光、遮挡重叠环境下均能较准确地识别出果实区域，受光照变化影响较小。本文方法为果实早期估产和果蔬采摘机器人采摘绿色水果提供了一种解决思路，但提取的区域特征仍然是基于人工设计的特征。今后将进一步研究卷积神经网络应用于检测未成熟绿色水果。

[1] He Z L, Xiong J T, Lin R, et al. A method of green litchi recognition in natural environment based on improved LDA classifier[J]. Computers and Electronics in Agriculture, 2017, 140(8): 159－167.

[2] Linker R, Cohen O, Naor A. Determination of the number of green apples in RGB images recorded in orchards[J]. Computers and Electronics in Agriculture, 2012, 81(1): 45－57.

[3] Li H, Lee W S, Wang K. Identifying blueberry fruit of different growth stages using natural outdoor color images[J]. Computers and Electronics in Agriculture, 2014, 106(8): 91－101.

[4] 赵川源. 基于图像和光谱技术的果实识别与病害检测方法研究[D]. 杨凌：西北农林科技大学，2017.Zhao Chuanyuan. Detection Methods of Fruit Maturity and Diseases Based on Image and Spectral Techniques[D]. Yang ling: Northwest A&F University, 2017. (in Chinese with English abstract)

[5] 刘继展. 温室采摘机器人技术研究进展分析[J]. 农业机械学报，2017，48(12): 1－18. Liu Jizhan. Research progress analysis of robotic harvesting technologies in greenhouse[J]. Transactions of the Chinese Society for Agricultural Machinery, 2017, 48(12): 1－18. (in Chinese with English abstract)

[6] Lu J, Sang N. Detecting citrus fruits and occlusion recovery under natural illumination conditions[J]. Computers and Electronics in Agriculture, 2015,110(1): 121－130.

[7] 王丹丹，徐越，宋怀波，等. 融合K-means与Ncut算法的无遮挡双重叠苹果目标分割与重建[J]. 农业工程学报，2015，31(10)：227－234.Wang Dandan, Xu Yue, Song Huaibo, et al. Fusion of K-means and Ncut algorithm to realize segmentation and reconstruction of two overlapped apples without blocking by branches and leaves[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(10): 227－234. (in Chinese with English abstract)

[8] Li H, Lee W S, Wang K. Immature green citrus fruit detection and counting based on fast normalized cross correlation (FNCC) using natural outdoor colour images[J]. Precision Agriculture, 2016,17(6): 678－697.

[9] Bansal R, Lee W S, Satish S. Green citrus detection using fast Fourier transform (FFT) leakage[J]. Precision Agriculture, 2013, 14(1): 59－70.

[10] 卢军，胡秀文. 弱光复杂背景下基于MSER和HCA的树上绿色柑橘检测[J].农业工程学报，2017，33(19)：196－201. Lu Jun, Hu Xiuwen. Detecting green citrus fruit on trees in low light and complex background based on MSER and HCA[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(19): 196－201. (in Chinese with English abstract)

[11] Lu J, Lee W S, Gan H, et al. Immature citrus fruit detection based on local binary pattern feature and hierarchical contour analysis[J]. Biosystems Engineering, 2018, 171(7): 78－90.

[12] Gan H, Lee W S, Alchanatis V, et al. Immature green citrus fruit detection using color and thermal images[J]. Computers and Electronics in Agriculture,2018,152(9): 117－125.

[13] 马翠花，张学平，李育涛，等. 基于显著性检测与改进Hough变换方法识别未成熟番茄[J].农业工程学报，2016，32(14)：219－226. Ma Cuihua, Zhang Xueping, Li Yutao, et al. Identification of immature tomatoes base on salient region detection and improved Hough transform method[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(14): 219－226. (in Chinese with English abstract)

[14] Li X, Lu H, Zhang L, et al. Saliency detection via dense and sparse reconstruction[C]// IEEE International Conference on Computer Vision (ICCV), Sydney, 2013: 2976－2983.

[15] Yamamoto K, Guo W, Yoshioka Y, et al. On plant detection of intact tomato fruits using image analysis and machine learning methods[J]. Sensors, 2014, 14(7): 12191－12206.

[16] Bargoti S, Underwood J P. Image segmentation for fruit detection and yield estimation in apple orchards[J]. Journal of Field Robotics, 2017, 34(6): 1039－1060.

[17] Sengupta S, Lee W S. Identification and determination of the number of immature green citrus fruit in a canopy under different ambient light conditions[J]. Biosystems Engineering, 2014, 117(1): 51－61.

[18] Pothen Z S, Nuske S. Texture-based fruit detection via images using the smooth patterns on the fruit[C]// IEEE International Conference on Robotics and Automation, 2016: 5171－5176.

[19] Stein M, Bargoti S, Underwood J. Image based mango fruit detection, localisation and yield estimation using multiple view geometry[J]. Sensors, 2016, 16(11): 1915.

[20] 薛月菊，黄宁，涂淑琴，等. 未成熟芒果的改进YOLOv2识别方法[J]. 农业工程学报，2018，34(7): 173－179. Xue Yueju, Huang Ning, Tu Shuqin, et al. Immature mango detection based on improved YOLOv2[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(7): 173－179. (in Chinese with English abstract)

[21] Kurtulmus F, Lee W S, Vardar A. Immature peach detection in colour images acquired in natural illumination conditions using statistical classifiers and neural network[J]. Precision Agriculture, 2014, 15(1): 57－79.

[22] Wang Jingdong, Jiang Huaizu, Yuan Zejian, et al. Salient object detection: A discriminative regional feature integration approach[J]. International Journal of Computer Vision, 2017, 123(2): 251－268.

[23] Jiang Huaizu, Wang Jingdong, Yuan Zejian, et al. Salient object detection: A discriminative regional feature integration approach[C]// IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Piscataway, 2013: 2083－2090.

[24] Felzenszwalb P F, Huttenlocher D P. Efficient graph-based image segmentation[J]. International Journal of Computer Vision, 2004, 59(2): 167－181.

[25] Zhao C, Lee W S, He D. Immature green citrus detection based on colour feature and sum of absolute transformed difference (SATD) using colour images in the citrus grove[J]. Computers and Electronics in Agriculture, 2016,124(6): 243－253.

[26] Ojala T, Pietikäinen M, Mäenpää T. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2002, 24(7): 971－987.

[27] Gonzalez R C, Woods R E. Digital Image Processing Using MATLAB, Second Edition[M]. Beijing: Publishing House of Electronics Industry, 2013.

[28] Choi D, Lee W S, Ehsani R, et al. A machine vision system for quantification of citrus fruit dropped on the ground under the canopy[J]. Transactions of the ASABE, 2015, 58(4): 933－946.

[29] 张春龙，张楫，张俊雄，等. 近色背景中树上绿色苹果识别方法[J]. 农业机械学报，2014，45(10)：277－281. Zhang Chunlong, Zhang Ji, Zhang Junxiong, et al. Recognition of green apple in similar background[J]. Transactionsof the Chinese Society for Agricultural Machinery, 2014, 45(10): 227－281. (in Chinese with English abstract)

[30] Shin J S, Lee W S, Ehsani R. Postharvest citrus mass and size estimation using a logistic classification model and a watershed algorithm[J]. Biosystems Engineering, 2012, 113(1): 42－53.

Green peach recognition based on improved discriminative regional feature integration algorithm in similar background

Huang Xiaoyu, Li Guanglin※, Ma Chi, Yang Shihang

(400715,)

In order to solve the problems in the recognition of immature green fruits under natural illumination in machine vision recognition, such as the color similarity between the fruits and the background, uneven illumination and partial occlusion, etc., in this paper, color, texture and shape features of green peach were combined to identify immature green peach based on the DRFI (discriminative regional feature integration) algorithm. The color features included the mean ofcomponentminuscomponent, Hue component. The texture features were variances of LM(Leung-Malik) filter bank response and LBP(local binary pattern) feature, and the shape features included area, perimeter, circularity, major axis length, minor axis length, length-width ratio, major-axis length to perimeter ratio and eccentricity. The DRFI algorithm mainly had 3 steps, that was, the multi-level segmentation, saliency computation in each level and multi-level saliency fusion. Firstly, the input image was preprocessed based on the multi-level segmentation, which were generated in the graph-based image segmentation algorithm with different control parameters of standard deviation of kernel function of the Gaussian filter (sigma), the number of the merged region (), and the minimal pixels of segmented region (min). With the values of control parameters changing, different image segmentation results were obtained. In this paper, the input image was divided into 25 layers in the training set and each layer was further divided into several super-pixels. Secondly, the super-pixel in each layer had 26 feature variables, which included 2 color features, 16 textural features and 8 shape features. The segmentation results of each layer of the input image were matched with the ground truth map, then the tag of the super-pixel was produced, which was the positive one (the peach) or the negative one (the background). The 26 dimensional feature vector and tag of each super pixel were inputted into the random forest model, and the regression model was trained, and then the saliency map of each layer segmentation image was calculated by the model. Thirdly, the DRFI saliency map was obtained by a linear combiner to fuse the multi-level saliency map , whose weights was given through a least square estimator. To effectively detect the immature green peach in natural environment, the DRFI saliency map needed to be processed further. So adaptive segmentation threshold from the OTSU algorithm for DRFI saliency map must be adjusted to reduce the wrongly segmentation of the fruit with low probability in the saliency map. Mathematical morphology was then used, such as removing noise from the binary map. The watershed segmentation algorithm which combined the maker-controlled and distance transform was used to separate the fruit which still existed adhesion after segmentation. A total of 186 images were collected as the samples for experiment. 150 images were randomly selected as the training set, and the remaining 36 images were as the validation set. The experimental results of peach images recognition showed that the recognition accuracy of the proposed method in this paper in the training set was 91.7%, and the accuracy in the validation set reached 88.3%. At the same time, the recognition results of the proposed method outperformed the results from other methods, including Kurtulmus et al.(2014), Ma et al.(2016), and original DRFI algorithm(2017). Furthermore, the proposed algorithm could show a good performance in the complex scenes such as sunny side, shadow side, occlusion and overlap. The recognition results revealed that the proposed method could provide reference for early estimation of fruit yield and picking of green fruit automatically and intelligently.

machine vision; image processing; algorithms; peach; salient object detection; feature extraction; watershed transform; recognition

黄小玉，李光林，马 驰，杨士航. 基于改进判别区域特征融合算法的近色背景绿色桃子识别[J]. 农业工程学报，2018，34(23)：142－148. doi：10.11975/j.issn.1002-6819.2018.23.017 http://www.tcsae.org

Huang Xiaoyu, Li Guanglin, Ma Chi, Yang Shihang. Green peach recognition based on improved discriminative regional feature integration algorithm in similar background[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(23): 142－148. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2018.23.017 http://www.tcsae.org

2018-07-31

2018-10-26

重庆市科委重点项目（csk2016shmszx80018）；重庆市研究生科研创新项目（CYS18109）

黄小玉，研究方向为图像处理。Email：1653370505@qq.com

李光林，教授，博士，博士生导师，研究方向为传感器与智能检测。Email：liguanglin@swu.edu.cn

10.11975/j.issn.1002-6819.2018.23.017

S126

A

1002-6819(2018)-23-0142-07