基于分水岭算法的柑橘识别技术研究

雷翔茗，熊　瑛，曾鑫诚，艾　馨，刘家梁，黄博涵

基于分水岭算法的柑橘识别技术研究

雷翔茗，熊瑛*，曾鑫诚，艾馨，刘家梁，黄博涵

(湖南农业大学机电工程学院，湖南 长沙 410128)

针对自然环境下柑橘粘连重叠、难以识别的问题，提出一种基于分水岭算法的柑橘快速识别方法。将采集的RGB图像转换至HSV空间，分别对H、S通道图像进行二次迭代阈值分割将柑橘目标从枝叶背景中提取后，应用分水岭分割算法对粘连重叠的柑橘进行轮廓分离，最后使用最小外接圆拟合柑橘轮廓，提取圆心坐标和外接圆半径，实现对柑橘的识别。

柑橘；HSV,机器视觉；分水岭算法

柑橘是我国南方主要的种植果树之一，柑橘相关产业的种植规模每年都在持续增长，截止2019年湖南省柑橘种植面积近4 000 000hm2，产量近5 600 000t，均居全国第二[1]。柑橘种植及采摘技术的进步是保障柑橘产业可持发展的关键。柑橘的种植特点是规模大、种植地集中，但因采摘环境复杂、采摘机械功能不完善，现阶段柑橘采摘多依靠人工，种植成本高、费时费力且采摘效率较低。柑橘种植的机械化程度是评判柑橘产业升级状况的重要指标[2]，柑橘的机械化采摘是柑橘种植产业快速发展的重要突破口，是未来柑橘产业发展的主要趋势。

近年来机器人采摘技术快速发展，可实现柑橘的自动化采摘作业。而机器人采摘柑橘的关键在于柑橘果实的识别与定位，柑橘果实识别的准确性与定位精度直接影响到柑橘采摘机器人的作业成功率和实用性。

目前，针对柑橘果实的识别与定位基本采用机器视觉技术[3-4]，主要包括以颜色阈值或轮廓边缘分割果实与背景的传统机器视觉技术和基于深度学习的识别技术。张小花等[5]采集柑橘果实图像转换至LAB颜色空间，使用Hough圆变化分割果实与背景。成芳等[6]使用双目相机采集RGB图像转换HSV颜色空间，使用Canny边缘算法剔除柑橘果实以外的背景。张潞等[7]基于全卷积神经网络方法构造柑橘轮廓识别模型，确定合适的Hough变化参数以此分离柑橘果实区域。刘继展等[8]基于柑橘果实的几何特征提取算法得到深度球截线方法的相关参数，实现对复杂环境下果叶的有效区分。黄河清等[9]使用改进YOLOv4-Ting算法，建立使用K-means聚类方法的网络模型准确识别重叠遮挡果实。

在自然环境下根据柑橘自身的颜色特征设置RGB或LAB阈值分离柑橘果实和枝叶背景，由于光照条件变化、枝叶覆盖、着色不均等干扰极易导致柑橘误识别，而提取柑橘果实轮廓特征进行形状拟合的方法，对于重叠的果实或贴碰果叶无法进行有效识别[10]。采用深度学习技术过程较为繁杂，需要经过长时间的训练，不易掌握和使用，对硬件的要求和使用成本较高。针对以上问题，使用迭代阈值分割对HSV颜色空间下的柑橘果实图像进行目标提取，应用分水岭算法对粘连重叠的柑橘果实进行轮廓分割，具有良好的识别效果和鲁棒性。

1　材料与方法

1.1　实验材料

分别在不同角度下对多棵柑橘果树进行图像采集，同一棵果树采集方位间隔60°，部分密集不便进行横向多角度采集的果树，则通过变化俯、仰角度采集。拍摄时相机距离果树0.5～1.0m，离地1.5m。采集时间为天气晴朗的正午或傍晚。

1.2　图像采集设备与方法

实验所用图像采集相机为Intel Realsense Depth Camera D435i相机，相机图片分辨率为1920×1080。图像处理终端为小米2019款笔记本电脑，配置为Intel 酷睿i7 9750H，NVIDIA GeForce RTX 2060显卡，16GB内存。

1.3　图像处理算法

在自然环境中，柑橘果实大多存在果实粘连重叠的问题，为准确分割每个柑橘，使用基于分水岭算法的图像处理方法。分水岭算法是一种基于拓扑理论的形态学图像分割算法，从提出至今已经演化出多种模型算法，其中包括MAHMOUDI R的基于“浸没”模型的分水岭算法[11]、魏亚辉的内部标记的改进分水岭算法等[12]。

算法核心要点是借用测绘学的拓扑地貌，以每一像素点的灰度值作为该点的海拔高度，每一个局部极小值及被其影响的区域称为集水盆，相邻的集水盆边界即为分水岭。通过模拟浸没过程，展示局部极小值缓慢向四周扩展影响域的过程，对每个像素的灰度值从低到高进行排序，以区域内紧邻像素之间的相似度作为判断的参考依据，把在空间位置上临近的像素点以相似的灰度值为标准划分成一个区域，同一个区域周围的所有分水岭组合成一个轮廓，如图1所示，由此得到较为明显的分割效果[13]。

图1 分水岭示意图

图像中重叠的柑橘果实在实际果实轮廓交界处的灰度值会存在明显的梯度变化，通过对梯度图像进行阈值处理，选择合适的阈值计算分水岭位置，应用分水岭算法对梯度图像进行分割，得到分离的不同封闭轮廓，以此分离重叠的柑橘果实轮廓。

图像处理具体流程如图2所示。

图2　图像处理流程

图像处理步骤如下：

(1) RGB颜色空间中亮度与色度相关性过强，对于轮廓边缘信息的采集干扰较大[11]，将采集图像从RGB 空间转换至HSV颜色空间，其中H通道能降低亮度的影响。

采集地形要素施测竣工地形图时，宜采用全野外数字测图的方法，比例尺为1∶500或1∶1000，测量范围包括建设区外最近的相邻建筑、城市道路、河道、高压走廊等。

设R、G、B分别为像素点在RGB空间下的三通道值，H、S、V分别为转换至HSV空间后该像素点的三通道值，H取值范围为0°～360°，S取值范围为0%～100%，V取值范围为0%～100%，其转换公式如下：

其中Δ=C_max-C_min(2)

(2)在H通道中柑橘果实与周围区域相比明显更暗，有较好的分割效果，因此将H通道中最暗区域作为ROI区域，但枝叶缝隙区域同样被分割，利用S通道对亮度变化不敏感的特性，在S通道中分割出阈值区域[14]，可筛除大部分干扰区域。

(3)将步骤中2分割得到的区域作为新的ROI区域，在S通道中进行二次迭代阈值分割，输出图像中仅剩下柑橘果实区域以及少量极小的枝叶空隙区域。

(5)使用分水岭图像分割算法对重叠的柑橘轮廓进行分割，获得正确的柑橘数目及每个柑橘的轮廓。

(6)根据柑橘的形状特征接近圆形的特点，使用最小外接圆拟合柑橘的轮廓。对轮廓使用凸包补全后，建立轮廓最小外接圆模型，作为柑橘果实完整轮廓，以最小外接圆圆心作为柑橘在图像中的中心位置。图像处理过程如图3所示。

图3　图像处理过程

2　结果与分析

对所有采集的图像进行处理，根据最小外接圆圆心的像素坐标进行识别结果的统计，当计算得到中心坐标点与图像中柑橘实际中心坐标的误差范围小于柑橘直径的20%，则认为识别成功。图像中所有的柑橘数目通过肉眼观察统计，当柑橘果实被枝叶遮挡超过三分之二，则该柑橘果实不计入柑橘总数，当多颗柑橘果实重叠粘连时，如重叠部分超过一半，则将重叠果实统计为同一个柑橘。

将图像分为柑橘有遮挡重叠和无遮挡重叠两种，对两种条件下的柑橘总数和识别情况分别进行统计，识别结果如表1。

表1　识别结果

由表1可知，在有枝叶遮挡和柑橘重叠情况下，该算法对柑橘的成功识别率为87.03%，无遮挡重叠条件下识别率为92.68%，整体的平均识别率为89.47%，算法对分离局部遮挡的柑橘图像轮廓有较好的效果，同时图像处理算法的整体运行时间较短，运算时间均在1s以下，证明了本研究的可行性和高效性。在试验过程中发现，当外界光照导致柑橘表面亮度反差巨大时，尽管无其他物体遮挡果实，但最小外接圆圆心位置严重偏离柑橘质心位置，这种情况均视为未成功识别。

3　结论与讨论

针对自然环境条件下柑橘果实存在的粘连重叠、难以识别等问题，提出一种基于分水岭图像分割算法的柑橘识别方法。通过对图像处理过程跟踪分析发现，将RGB图像转换至HSV空间后，分别对H、S通道进行二次迭代阈值分割能很好的将柑橘目标与枝叶背景进行分割，同时使用分水岭算法可有效地分割粘连重叠在一起的柑橘果实，以最小外接圆拟合柑橘轮廓后提取圆心坐标和半径也能获得良好的定位精度，该算法操作简单、识别快速、具有良好的鲁棒性。以本研究为基础，可进一步开展双目图像匹配与柑橘三维定技术研究。

[1] 张阳,戴素明,龙桂友,等.湖南省柑橘主要病虫发生情况及防控现状[J].湖南农业科学,2021(12):61-64.

[2] 刘家梁,熊瑛,黄博涵,等.湖南省柑橘生产机械化现状及发展建议:基于道县柑橘生产的调研[J].农业工程与装备,2021,48(5):16-19.

[3] 胡正方,向阳,熊瑛,等.基于机器视觉的千粒质量测量仪的设计与试验[J].湖南农业大学学报(自然科学版),2021,47(4): 476-481.

[4] 龙震寰,向阳,李亚军,等.基于倾角传感器的割台高度自适应调节系统[J].中国农业大学学报,2021,26(11): 200-208.

[5] 张小花,马瑞峻,吴卓葵,等.基于机器视觉的果园成熟柑橘快速识别及产量预估研究[J].广东农业科学,2019,46 (7):156-161.

[6] 成芳,吴文秀,何涵,等.柑橘采摘机器人的目标识别定位方法研究[J].科技资讯,2019,17(11):30-31.

[7] 毕松,张潞.自然环境下的柑橘采摘点识别方法研究[J].计算机仿真,2021,38(12):227-231.

[8] 刘继展,朱新新,袁妍.枝上柑橘果实深度球截线识别方法[J].农业机械学报,2017,48(10):32-39.

[9] 黄河清,胡嘉沛,李震,等.基于边缘计算的柑橘果实识别系统的设计[J].湖南农业大学学报(自然科学版),2021, 47(6): 727-732.

[10] 张潞. 自然环境下的柑橘自动采摘关键技术研究[D].北京:北方工业大学,2020.

[11] MAHMOUDI R, AKIL M, BEDOUI M H. Concurrent computation of topological watershed on shared memory parallel machines[J]. Parallel Computing, 2017, 69: 78-97.

[12] 魏亚辉,黄耿楠,吴福培.基于改进分水岭算法的苹果识别方法[J].包装工程,2021,42(8):255-260.

[13] 辜卫东,李兵.基于随机区域合并的自动彩色图像分割算法[J].计算机科学,2018,45(9):279-282,293.

[14] 巨志勇,李开亮,毛颖颖.基于K-means聚类与二次分水岭的果蔬图像分割方法[J].软件导刊,2018,17(6): 217-219,223.

Citrus recognition technology based on watershed algorithm

LEI Xiangming, XIONG Ying*, ZENG Xincheng, AI Xin, LIU Jialiang, HUANG Bohan

(College of Mechanical and Electrical Engineering, Hunan Agricultural University, Changsha, Hunan 410128, China)

This paper proposes a rapid identification method of citrus based on a watershed algorithm, which solves the problem of overlapping and difficult identification of citrus in the natural environment. First, RGB images were converted to HSV space. Second, images in H and S channels were segmented with the quadratic iteration threshold segmentation method to extract citrus targets from the foliage background. Then watershed segmentation algorithm was used to separate the citrus contour. Finally, the minimal circumscribed circle was used to fit the citrus contour and the center coordinates and radius of the circle were extracted, then recognition of citrus was realized.

citrus; HSV; machine vision; watershed algorithm

TP391.4

A

2096–8736(2022)02–0001–04

2020年国家级大学生创新创业训练计划项目(s202010 537031)。

雷翔茗(1998—)，湖南邵阳人，硕士研究生，主要研究方向为农业电气化与自动化。

熊瑛(1977—)，湖南道县人，硕士，主要研究方向为计算机图形学。

责任编辑：阳湘晖

英文编辑：唐琦军