基于局部滑窗技术的杨梅识别与定位方法*

吴亮生 雷欢 陈再励 马敬奇

开发设计

基于局部滑窗技术的杨梅识别与定位方法*

吴亮生1,2雷欢1陈再励1马敬奇1

（1.广东省科学院智能制造研究所，广东 广州 510070 2.仲恺农业工程学院，广东 广州 510225）

针对果园环境下，光照情况复杂、果实状态各异导致杨梅识别与定位准确率低的问题，提出一种基于局部滑窗技术的杨梅果实识别与定位方法。首先，采用限制对比度自适应直方图均衡化改善图像光照；然后，提出CbCr色差法，结合最大类间方差法、形态学操作和区域生长策略，提取杨梅果实潜在前景区域；接着，根据潜在前景区域提取结果，采用局部滑窗技术，获取杨梅果实待检测区域；最后，建立基于局部纹理特征的支持向量机，结合非极大值抑制滤除低匹配度背景等干扰，提升杨梅果实识别与定位准确率。实验表明，该方法在果园环境下，杨梅果实识别准确率和召回率分别为92.51%和90.82%，总体耗时仅为0.123 s，兼顾了实时性和准确性。

果园环境；杨梅识别与定位；CLAHE；局部滑窗；纹理特征；支持向量机

0 引言

杨梅是中国特色水果，具有较高的营养价值和经济价值[1-2]。全球杨梅种植面积约40万公顷，每年产量超过100万吨，其中约98%来自中国。杨梅成熟期短，若不及时采摘就会落果。目前，杨梅采摘基本由人工完成，耗时费力。随着人口老龄化和农业劳动力的减少，人工采摘成本逐渐增加，大大降低了杨梅果实的市场竞争力。为及时收获杨梅，降低采摘成本，采用杨梅采摘机器人是必然趋势。

近年来，为提升采摘机器人的工作性能，国内外专家学者不断对其进行研发和改进。LING等设计一款采用双目摄像头进行果实识别和定位的番茄采摘机器人，采摘成功率达87.5%[3]。ZHAO等研制一台苹果采摘机器人，采用5自由度的机械手实现冠层果实采摘，采摘成功率为77%[4]。WILLIAMS等研制一台4条机械手协同作业的猕猴桃采摘机器人，采摘成功率为51%[5]。以上研究表明，采摘机器人可适应不同类型水果的采摘工作，但采摘成功率达不到人工采摘水平。

视觉系统是采摘机器人的核心部分，其对果实识别与定位的精度决定了采摘机器人的成功率和效率[6]。为此，国内外专家学者对果实识别与定位方法进行了大量研究。PATEL等采用Lab颜色空间中的a分量，将成熟柑橘和背景分离，结合边缘检测与圆形拟合的方法，实现成熟柑橘识别，识别准确率为84%[7]。ZHUANG等采用R-G算子，结合大津阈值法、形态运算法、标记控制分水岭变换法和凸包运算法，获取成熟柑橘潜在区域，通过柑橘纹理特征训练的支持向量机（support vector machine, SVM）分类器实现最终决策，识别准确率达到86%[8]。雷欢等采用基于OneCut算法自动分割成熟杨梅前景区域，结合标记控制分水岭和凸壳算法分离重叠果实，实现果实的识别与定位[9]。虽然上述研究在成熟果实识别与定位中得以应用，但杨梅果实成熟时间短，采摘时成熟度各不相同，上述方法难以有效对其进行识别与定位。

随着深度学习的快速发展，其在果实识别与定位领域应用逐步广泛。STEIN等通过多视角摄像头进行芒果估产，并采用Faster RCNN框架对芒果识别和定位[10]。熊俊涛等采用Faster RCNN实现不同光照、不同尺寸的绿色柑橘识别，识别准确率可达93%[11]。TAO等分别采用VGG16和ZFNet作为Faster RCNN的主干网络进行图像特征提取，实现桃子、苹果和橘子的识别[12]。虽然基于深度学习的方法在果实识别领域获得较好性能，但其训练模型所需的样本量极大，算法复杂度高，且对硬件配置要求较高，算法实时性差，难以应用于采摘机器人。

为此，本文提出一种基于局部滑窗技术的杨梅果实识别与定位方法。首先，在光照不足的情况下，采用局部自适应图像增强算法，改善图像光照情况，降低光照对后续处理的影响；然后，提出CbCr色差法，结合形态学和区域生长策略，实现不同成熟度杨梅果实的潜在前景区域提取；最后，提出局部滑窗技术的果实识别方法，实现杨梅果实识别与定位。

1 研究对象与方法

1.1 实验图像采集

本文以广东省广州市从化区种植的东魁杨梅为研究对象。实验图像为数码相机IXUS 285 HS（分辨率为5 184 × 3 888像素）采集的不同光照情况下的杨梅图像3 423幅，并按8∶2随机划分为训练集和测试集，其中训练集有2 738幅，测试集有685幅。为提高图像处理速度，将初始采集的图像分辨率缩放到640×480像素。采集的部分杨梅图像如图1所示。

(a) 光照充足图像示例1(b) 光照充足图像示例2 (c) 光照不足图像示例1(d) 光照不足图像示例2

1.2 杨梅果实识别方法

基于局部滑窗技术的杨梅果实识别方法主要包括图像预处理、杨梅果实潜在前景区域提取和杨梅果实识别3个关键步骤，流程如图2所示。

图2 基于局部滑窗技术的杨梅果实识别流程图

1.2.1 局部自适应光照增强

果园环境下光照情况复杂，若光照不足会影响果实的识别与定位。本文采用限制对比度自适应直方图均衡化（contrast limited adaptive histogram equalization, CLAHE）算法，对HSV颜色空间的亮度分量V进行调整。CLAHE算法是由REZA等提出的光照增强方法[13]，其步骤为：

1）将图像S（像素为×）分割成多个连续且不重叠的小区域（像素为×）；

2）统计所有小区域的灰度直方图，并将小区域直方图的灰度等级记作，出现的灰度级个数记为；

3）确定剪切限幅值为

式中，为截断系数，是每个灰度级所允许像素的最大百分比；

4）将超出值的像素平均分布到其他灰度级中；

5）对每个子区域进行直方图均衡化处理，并对每个像素进行双线性插值处理，得到新灰度。

1.2.2 杨梅果实候选区域提取

果园环境中采集的杨梅图像不仅含有杨梅果实，还包含树枝、树叶、天空、土壤、杂草等干扰因素。色差法是分离不同对象的有效方法，并在果实区域提取领域得到广泛应用。为保证色差法在果实区域提取中有良好表现，需要满足果实区域内不同通道间的差值大于背景差值的条件，且差值越大越好[14]。从图3(b)、(c)可以看出，虽然随着杨梅果实成熟度的增加，RGB空间中R分量与G、B分量的强度差值逐渐明显，但是成熟度较低的杨梅果实在RGB颜色空间中的分量值没有明显差异，因此使用RGB颜色空间的色差法难以将杨梅果实从背景中有效分离。通过比较不同颜色空间各个分量间的关系，发现YCbCr颜色空间中杨梅果实与其他对象在Cr和Cb上存在明显的强度差异，如图3(c)所示，因此，本文采用基于YCbCr颜色空间的色差法进行杨梅果实初步提取。

图3 杨梅和背景区域的YCbCr分量统计

利用Otsu算法[15]对基于YCbCr颜色空间的色差法提取的杨梅果实图像二值化。获取的二值图像中存在大量噪声，去除噪声过程如图4所示。

(a) 原始图像(b) CrCb色差二值图 (c) 开运算结果(d) 滤波去噪及孔洞填充结果

首先，对二值化后的图像执行开运算，减小噪声区域面积、平滑感兴趣区域的轮廓；然后，将二值图像中面积较小的连通域从分割结果中剔除；最后，通过孔洞填充算法，去除潜在区域内的孔洞。

1.2.3 局部滑动窗口方法

大部分杨梅果实为成簇生长，使用传统的彩色图像识别技术难以准确识别。滑动窗口方法具有较强的通用性，广泛应用于目标识别与定位任务。然而，滑动窗口方法需要对数十万个位置进行搜索和分类，算法效率较低。为此，提出局部滑动窗口方法，流程如图5所示。

(a) 杨梅果实 原始图像(b) 杨梅果实潜在区域分割图及所搜范围(c) 滑动窗口的 搜索过程

杨梅自动采摘往往只考虑视场中一定距离内的果实对象。通过分析杨梅果实图像，关注的杨梅果实只占整体图像的一部分，如图5(b)所示。因此，在滑动窗口搜索过程中可以忽略背景区域，从而提升滑动窗口的搜索效率。

1.2.4 杨梅果实识别

采用滑动窗口方法的一个重要问题是搜索窗口中是否包含杨梅果实，这需要对搜索窗口进行准确分类。建立基于局部二值模式（local binary pattern, LBP）的SVM分类模型，实现搜索窗口的准确分类。纹理特征可有效描述图像中物体的表面性质，不同对象的表面纹理结构各不相同。LBP是一种局部纹理描述子，广泛应用于基于机器视觉的对象检测或识别领域。LBP可通过式(2)提取。

式中，为（x,y）8个采样点中的第个采样点；()为边界像素点中第个点的灰度值；()为中心像素的灰度值；()表示为

由式(2)可知，基于LBP的特征值均在0～255之间，因此输入样本的最终特征维数为256。利用提取的LBP特征，建立基于线性核的SVM分类模型。杨梅果实样本中提取的LBP特征如图6所示。

(a)杨梅果实数据1(b)图a对应的LBP特征(c)杨梅果实数据2(d)图c对应的LBP特征

1.2.5 评价标准

为了对杨梅果实识别性能进行定量客观评价，采用精确率（）、召回率（）和1作为衡量算法优劣的评价指标。

式中，为真正例，即正确识别的杨梅果实个数；为假负例，即未正确识别的杨梅果实个数；为假正例，即错误识别的杨梅果实个数。

2 实验与结果分析

实验在Windows10操作系统下，所有算法均采用python语言实现。电脑硬件配置：Intel(R) Core(TM) i7-9750H(2.60 GHz) CPU；16.0 GB RAM；Nvidia Geforce GTX 1660Ti。

2.1 光照增强算法性能评估

光照不足的图像通过直方图均衡化（histogram equalization, HE）和CLAHE处理后的结果如图7所示。

(a) 光照不足的杨梅果实图像I1(b) 全局直方图均衡化后的I1(c) CLAHE处理后的I1

由图7可以看出：图7(c)的图像对比度显著大于图7 (b)，杨梅果实的亮度明显提升；但图7 (b)中出现部分区域过曝的情况。这是因为HE直接将全局亮度直方图进行均衡化，而CLAHE将图像分割成多个子区域，并对不同子区域执行直方图均衡化，解决了均衡化过程中对比度变化幅度过大的问题。因此，本文采用CLAHE进行图像预处理，能在一定程度上改善图像的光照情况，降低算法对环境亮度的敏感度。

2.2 杨梅果实潜在区域提取结果

图7 (c)经过RGB颜色空间的RG色差、RB色差和YCbCr颜色空间的CbCr色差处理后分别如图8所示。

(a) RG色差结果(b) RB色差结果(c) CbCr色差结果

由图8可以看出：RG色差无法将未成熟的杨梅果实与背景区分，这是由于未成熟杨梅果实颜色为青色，在RGB空间中青色的R通道与G通道颜色差异小，导致未成熟杨梅果实的R通道与G通道的差值和背景基本无差异；对比RB色差和CbCr色差结果，CbCr色差图的杨梅果实和背景的对比度明显比RB色差图高，CbCr色差图更有利于后续杨梅果实潜在区域提取。

2.3 杨梅果实识别结果性能评价

在果园环境中，果实的分布状态是影响果实识别准确率的重要原因。为测试本文方法的有效性，对测试集进行测试并统计不同分布状态的果实识别结果，如表1所示。

表1 不同分布状态果实识别结果

由表1可以看出，随着果实遮挡程度增加，识别准确率逐步降低。

不同分布状态的杨梅果实识别结果如图9所示。

(a) 状态1(b) 状态2(c) 状态3 (d) 状态4(e) 状态5(f) 状态6

由图9可以看出，本文方法在不同光照条件下，能准确识别无遮挡、轻微遮挡和严重遮挡的杨梅果实。

为评价本文方法的性能，选择3种果园环境的果实识别方法进行对比，结果如表2所示。

表2 3种果实识别方法结果比较

由表2可以看出：方法2杨梅果实的检测准确率和召回率均较低，这是因为其使用标记分水岭算法分割成簇的杨梅果实，而成簇的杨梅果实颜色相近，果实与果实之间难以形成梯度差，导致成簇的杨梅果实难以分离；方法3采用聚类算法生成超像素，而未成熟杨梅果实与树叶、草地等颜色相近，导致杨梅果实前景区域欠分割，影响识别效果，此外，超像素块的分类耗时较多，导致方法3的平均检测时间较高；方法1和本文方法的杨梅果实识别准确率和召回率均较高，但本文方法的平均检测时间远小于方法1。

3 结论

本文提出基于局部滑窗技术的杨梅识别与定位方法，主要结论如下：

1）基于HSV空间的CLAHE光照增强算法能有效增强背景的对比度，降低光照对后续处理的影响；

2）在光照补偿基础上，本文采用CbCr色差方法、Otus算法、区域生长策略有效解决图像的欠分割问题，提升杨梅前景区域提取的准确率；

3）本文提出的基于局部滑窗技术的杨梅识别与定位方法，兼顾了准确率和识别率，平均识别率为92.51%，对严重遮挡果实的识别准确率仍能达到83.17%，且算法运行时间仅用0.123 s。

[1] QIU Y, SHEN B, GUO X, et al. Effects of foliar nutrition on leaf photosynthesis and fruit quality of Chinese bayberry[J]. Journal of Fruit Science, 2019,26:902-906.

[2] FANG Z, BHANDARI B. Comparing the efficiency of protein and maltodextrin on spray drying of bayberry juice[J]. Food Research International, 2012,48(2):478-483.

[3] LING X, ZHAO Y S, GONG L, et al. Dual-arm cooperation and implementing for robotic harvesting tomato using binocular vision[J]. Robotics and Autonomous Systems, 2019,114:134-143.

[4] ZHAO D A, LV J D, JI W, et al. Design and control of an apple harvesting robot[J]. Biosystems Engineering, 2011,110(2):112-122.

[5] WILLIAMS H A M, JONES M H, NEJATI M, et al. Robotic kiwifruit harvesting using machine vision, convolutional neural networks, and robotic arms[J]. Biosystems Engineering, 2019, 181:140-156.

[6] 王丹丹,宋怀波,何东健.苹果采摘机器人视觉系统研究进展[J].农业工程学报,2017,33(10):59-69.

[7] PATEL H N, JAIN R K, JOSHI M V. Automatic segmentation and yield measurement of fruit using shape analysis[J]. Interna-tional Journal of Computer Applications in Technology, 2012, 45(7):19-24.

[8] ZHUANG J J, LUO S M, HOU C J, et al. Detection of orchard citrus fruits using a monocular machine vision-based method for automatic fruit picking applications[J]. Computers and Electro-nics in Agriculture, 2018,152:64-73.

[9] 雷欢,吴亮生,焦泽昱,等.果园环境中成熟杨梅自动检测方法研究[J].自动化与信息工程,2021,42(3):9-14,26.

[10] STEIN M, BARGOTI S, UNDERWOOD J. Image based mango fruit detection, localisation and yield estimation using multiple view geometry[J]. Sensors(Basel), 2016,16(11):1915.

[11] 熊俊涛,刘振,汤林越,等.自然环境下绿色柑橘视觉检测技术研究[J].农业机械学报,2018,49(4):45-52.

[12] TAO Y, ZHOU J, WANG K, et al. Rapid detection of fruits in orchard scene based on deep neural network[C] //2018 Detroit, Michigan July 29 - August 1, 2018.

[13] REZA A M. Realization of the contrast limited adaptive histogram equalization (CLAHE) for real-time image enhancement[J]. Journal of VLSI signal processing systems for signal, image and video technology, 2004,38(1):35-44.

[14] ZHAO D A, LIU, X Y, CHEN Y, et al. Image recognition at night for apple picking robot[J]. Transactions of the Chinese Society for Agricultural Machinery, 2015,46(3):15-22.

[15] OTSU N. A threshold selection method from gray-level histograms[J]. IEEE Transactions on Systems Man and Cyber-netics, 1979,9(1):62-66.

[16] TAN K, LEE W S, H GAN, et al. Recognising blueberry fruit of different maturity using histogram oriented gradients and colour features in outdoor scenes[J]. Biosystems Engineering, 2018,176:59-72.

[17] LIU X Y, ZHAO D A, JIA W K, et al. A method of segmenting apples at night based on color and position information[J]. Computers and Electronics in Agriculture, 2016,122:118-123.

Bayberry Identification and Location Method Based on Local Sliding Window Technique

Wu Liangsheng1,2Lei Huan1Chen Zaili1Ma Jingqi1

(1. Institute of Intelligent Manufacturing, Guangdong Academy of Science/Guangdong Key Laboratory of Modern Control Technology, Guangzhou 510070, China 2. Zhongkai University of Agriculture and Engineering, Guangzhou 510225, China)

Aiming at the problem of low accuracy of bayberry identification and location in orchard environment due to complex illumination and different fruit states, a method of bayberry fruit identification and location based on local sliding window technology is proposed. Firstly, adaptive histogram equalization with limited contrast is used to improve the image illumination; Secondly, the CbCr color difference method was proposed, which combined with maximum inter class variance method, morphological operation and regional growth strategy to extract the potential region of fruit; Thirdly, according to the foreground region extraction results, the local sliding window technology is used to obtain the area to be detected; Finally, a support vector machine based on local texture features is established, combined with non maximum suppression to filter out the interference such as low matching background, so as to improve the accuracy of bayberry fruit identification and location. Experiments show that this method can accurately identify and locate bayberry fruit in orchard environment. The accuracy and recall are 92.51% and 90.82% respectively. The overall time-consuming of the algorithm is only 0.123 s, taking into account the real-time and accuracy.

orchard natural environment; identification and localization of bayberry; CLAHE; local sliding window technique; textural features; SVM

广州市科技计划项目（202002020063）；广东省级农业科技创新及推广项目（2019KJ138）。

吴亮生，男，1988年生，大学本科，工程师，主要研究方向：机器视觉、人工智能。

雷欢，男，1987年生，硕士研究生，工程师，主要研究方向：机器视觉、人工智能。

陈再励（通信作者），男，1989年生，硕士研究生，工程师，主要研究方向：机器视觉、人工智能。E-mail: zl.chen@giim.ac.cn

马敬奇，男，1988年生，硕士研究生，工程师，主要研究方向：机器视觉、人工智能。

S24

A

1674-2605(2021)06-0006-07

10.3969/j.issn.1674-2605.2021.06.006