复杂背景下油茶果采收机重叠果实定位方法研究

陈志健，伍德林*，刘 路,2，李 超，袁嘉豪，曹成茂

复杂背景下油茶果采收机重叠果实定位方法研究

陈志健1，伍德林1*，刘 路1,2，李 超1，袁嘉豪1，曹成茂1

(1. 安徽农业大学工学院，合肥 230036; 2. 安徽省智能农机装备工程实验室，合肥 230036)

油茶果机械化振动采摘技术关键在于振动点选取，判断振动点选取取决于果实生长密度测算和分布估计。然而自然环境下重叠果实的识别对判定结果有较大的影响，因此提出一种基于凸壳识别的分割边界优化方法，提升重叠油茶果识别与分割准确度。该方法先将原始图像转换颜色空间，经过阈值分割和形态学处理获得重叠果实的凹区域，然后在此基础上通过Harris角点检测得到区域的特征点集，利用主成分分析（PCA）和欧式距离方法分析特征点距离关系得到分割路径，最后采用最小二乘法对分割后的目标区域进行拟合重建得到果实轮廓。对比重建的果实轮廓与真实分布图像，该方法的平均定位误差为8.6%，比Hough方法低5.1%；平均耗时为0.52 s，比Hough方法低0.12 s。结果表明，提出的方法可以有效解决重叠油茶果实识别与分割问题，为采摘装置的振动点选择奠定基础。

重叠油茶果；图像分割定位；角点检测；最小二乘法

油茶树是我国特有的一种油料作物，在油茶果的采摘作业中，振动夹持点的选择影响采收机的落果率和花苞损伤率[1]，而点的选取与果实分布情况密切相关，如何确定果实在枝干上的疏密程度成为油茶果采摘装置视觉研究的关键问题[2-3]。果实在树干上的疏密程度取决于果实的精确识别与分割，因此自然环境下，重叠果实的准确识别分割对提高采摘装置的智能化水平具有重要意义[4-5]。

国内外众多研究者在果实识别与重叠分割领域做了大量的研究，并取得了一定的成果。在果实识别方面，Xu等[6]提出了一种采用支持向量机的HOG算子识别重叠草莓的方法，可以适当处理稍微重叠的草莓。Behroozi-Khazaei等[7]通过人工神经网络与遗传算法相结合的方法，利用葡萄簇收获时的颜色特征，将其从背景中分割出来。刘芳等[8]提出了一种改进型多尺度YOLO算法，为实现温室环境下农业采摘机器人对番茄的快速精确识别奠定了基础。在果实的分割定位方面，Arefi等[9]对于粘连在一起的西红柿目标采用分水岭算法进行分离，用于指导机器人手臂使用机器视觉系统来挑选成熟番茄。Xiang等[10]提出了一种基于机器视觉的重叠番茄识别方法，提高了聚类识别西红柿的适用性，但在遮挡严重时，西红柿的聚类成功率较低。针对靠拢或重叠的成熟类圆果实，王小鹏等[11]提出了一种基于形态学多尺度开闭重建结合凹点匹配的分割方法，最后运用圆形模板检测粘连枸杞的轮廓凹点完成分割。

近年来，石良德[12]、李立君等[13]借鉴苹果和柑橘等果蔬的采摘方案，提出通过机器视觉对油茶果识别定位，控制采摘装置抓取采摘油茶果。但由于油茶果果实具有体积小，分布密集的特点，逐个抓取采摘方式效率低。一些学者对油茶果振动采摘方案进行了研究[14-15]，试验结果表明，成熟油茶果果柄处的结合力较弱，枝干振动时易脱落，而振动夹持点的选择取决于果实生长密度测算和分布估计，因此重叠果实的识别结果对点的选取有较大的影响。本研究对自然环境下的油茶果图像展开研究，以期实现重叠油茶果实的准确识别和分割，为之后最佳采摘振动点的选取奠定基础。

1 系统组成与试验方法

1.1 系统组成

本研究中重叠油茶果的识别与分割的图像数据使用海康威视公司的MV-CA060-10GC型工业相机所采集油茶果图像。图像采集天气均为晴天，图像传感器分辨率为3 072×2 048，采集格式为JEPG格式，运行计算机配置为Intel (R) Core (TM) i5-3230M CPU @2.60 GHz，4GB内存，Win10，64位操作系统，编程环境为MATLAB 2018b。

试验对象为湖南省永州市的雷叔叔油茶基地中的油茶果树，图像于2019年11月12、13日所采集。相机安装于设计的履带摇枝式油茶果采摘机顶部（图1(a)），便于观察整株果树上油茶果分布。在人工操作机械振动采摘过程中同步采集图像，安装时相机俯视角度为45°，其中相机的相位角度为73.1°，图像采集距离为2 m，拍摄示意图如1(b)所示。最终拍摄到的树体如图1(c)所示，将图中的重叠部分放大得到如图1(d)所示的重叠果实图像。

图1 图像采集过程

Figure 1 Image acquisition process

1.2 试验方法

试验由凹区域提取、分割点选择和轮廓重建3部分组成：

（1）对油茶果图像进行YIQ（Y分量代表图像的亮度信息，I、Q两个分量则携带颜色信息）颜色空间转换后OTSU阈值处理其中的I分量；采用凸壳及形态学法处理得到的二值图像，获取果实凹区域；

（2）通过Harris角点检测得到特征点集，利用主成分分析（PCA）和欧式距离方法分析距离关系，选择合适分割点；

（3）根据分割点确定分割路径，将分割后的相互独立区域作为重建范围，通过最小二乘法拟合圆完成重建，其流程步骤如图2所示。

由于油茶果果实具有体积小和分布密集等特点；多个果实邻接、重叠或果实部分受枝叶遮挡的现象，拟合后的圆与原果实图像具有一定偏的差。当确定合适的振动点时，只需研究果实在枝干上的疏密程度及分布情况，所以取拟合圆圆心作为果实的定位点，与求解目标果实的形心坐标对比试验，验证本试验方法对重叠油茶果实的分割定位性能。

2 分割路径的选择

2.1 图像分割与凹区域提取

图像中的噪声和光照强度等因素会对后续油茶果目标的识别产生影响，通过分析对比油茶果的色彩模型，找出凸显油茶果的颜色模型是图像分割的关键[16]。对200幅油茶果图像的色彩空间 HSI、YCbCr和YIQ分析对比后，发现YIQ颜色空间中I分量呈现出来的效果最好。因此，本试验采用YIQ颜色空间的I分量（色彩橙色到青色的信息）预处理待分割图像。图3(a)为HSI颜色空间三维像素分布，图3(b)为YCbCr颜色空间三维像素分布，图3(c)为YIQ颜色空间I分量的三维像素分布[17]。

图2 重叠果实分割方法流程图

Figure 2 Flow chart of overlapping fruit segmentation method

图3 颜色空间分析

Figure 3 Color space analysis

图4 凸壳处理结果及果实凹区域

Figure 4 Result of convex shell processing results and fruit concave area

YIQ颜色空间中的具体转换关系如下[18]：

之后对其中的I分量进行OTSU自动阈值[19]完成目标的背景分割。为便于图像下一步的操作，通过数学形态学[20]开运算和闭运算，孔洞填充等对阈值分割后图像进行处理，得到目标预处理结果（图4(a)）。

在提取重叠油茶果凹区域前，需要获得重叠区域的凸壳。凸壳是包含目标的最小凸集，广泛应用于计算机图形处理和模式识别等众多领域中[21]。本试验采用卷包裹凸壳算法对预处理二值图像进行处理，得到完整的油茶果的凸壳结果如图4(b)所示。

凸壳区域与油茶果目标区域相减后，得到所需凹陷区域及部分非目标区域。为减少非目标区域对于试验的影响，提取区域中面积最大的两个连通域（图4(c)），将它们指定为之后角点检测的处理对象。

2.2 特征凹点选择与连接

油茶果凹区域上特征角点是利用Harris角点检测[22]获取，研究一个3×3固定窗口在处理后的图像任意方向上滑动前后窗口中像素灰度变化程度，变化程度较大的就是需要的凹区域特征角点。定义自相关函数：

(0,0)=(+0,+0)—I,，高阶无穷忽略不计

公式（5）本质是一个椭圆函数，椭圆的扁率和尺寸是由矩阵H的两个特征值决定的[23]，判断椭圆函数的特征值与图像中的角点，边缘和平坦区域的关系依据是：

（1）如果一个特征值较大，另外一个特征值较小，属于边缘区域；

（2）如果两个特征值都很大，且近似相等，属于角点区域；

图5 分割路径确定

Figure 5 Segmentation path determination

图6 不同方法的识别结果对比

Figure 6 Comparison of identification results of different methods

图7 最小二乘法的拟合过程

Figure 7 Fitting process of least square method

（3）如果两个特征值都很小，且近似相等，属于平坦区域。

量化特征表达式值的较大或较小的过程中，定义角点响应函数：

=det()—(trace())2（6）

其中det()=12，trace()=1+2，12是矩阵H的两个特征值。是一个指定的值，它是一个经验参数，一般在0.04～0.06之间，文中取0.05。计算出角点响应值后，设定阈值H，H=0.01×max，max为角点响应最大值。当大于阈值H时，该特征点(,)被确定为一个角点。由Harris方法得到凹区域特征角点（图5(a)），后续步骤如下：

（1）对两侧的特征角点进行PCA分析，求出对应的特征向量进行矩阵投影（图5(b)）；

（2）搜寻两侧连通域的边界角点点集，根据欧式距离寻找与直线的最近点1与2，欧氏距离计算公式[24]为：

（3）连接1、2，完成分割路径选择（图5(c)）。

在进行重叠果实的分割识别时，尽可能保持果实轮廓和分割识别准确性。对比分水岭算法[8]和本试验算法得到的轮廓区域和分割结果，本研究通过对凸壳处理后的凹区域进行角点检测得到特征点，之后对特征点进行欧氏距离等处理得到分割的路径，最后结果如图6(a)所示；分水岭分割算法把图像看成一幅“地形图”，通过寻找“汇水盆地”和“分水岭界限”，对图像进行分割，最后结果如图6(b)所示。从图中可以看出，由于自然环境的影响，分水岭算法最后得到的轮廓与本研究相比并不完整，会导致最后的分割结果对接下来的轮廓重建具有一定的影响。而使用本研究方法得到的轮廓相对较为完整，更有利于进一步的处理。

3 试验与分析

3.1 分割果实图像的边缘拟合

分割后的重叠果实图像不是完整的，本研究采用最小二乘法完成油茶果图像的重叠目标重建。最小二乘法通过分割后两侧凹区域角点到未知拟合圆边缘对应点的距离平方和的最小化，计算未知拟合圆半径圆心的最佳匹配值[25]，从而完成对于油茶果轮廓的重建。拟合时两个圆分别选择以1，2区域的角点（图7(a)），拟合出最后的结果（图7(b)）。

3.2 定位识别对比

为了验证本试验方法的有效性，以20幅图像作为测试集进行试验，将本试验方法及Hough变换算法分别对重叠油茶果进行了轮廓重建与定位，采用原果实图像的质心与重建后拟合圆的圆心距离作为误差评价，对比分析这两种方法的定位误差：

Figure8 Comparison results of article method and Hough transform test

式中：1，2分别为Hough方法和本试验方法的定位误差；1，2，1，2分别为Hough方法与本试验方法定位出的采摘中心点在图像中的横、纵坐标；()为分割后不同区域的质心坐标；为重叠果实区域的长轴长度，求取与果实区域具有相同标准二阶中心矩的椭圆的长轴与横轴的交角得到长轴长度，计算长轴的斜率，经过质心点得到目标的长轴[26]，公式如下：

式中：为与目标区域具有相同标准二阶中心矩的椭圆的长轴与横轴的交角，（0,0）为质心点标。

利用本试验方法与传统Hough算法分别重建目标轮廓[27]，由于油茶果是一个类球物体，而不是一个绝对球体，因此重建后结果与原来的轮廓有所偏差，两种算法重建后的拟合圆均用红色圆表示[28]。示例结果如图8所示，图8(a)为油茶果原始图像，图8(b)为分割路径结果，8(c)为Hough法重建图像，图8(d)为本试验方法重建结果。对比图8(c)和图8(d)可知，由于本试验方法提取了目标凹区域两侧特征点集进行拟合，使重建轮廓的形状范围得到很好的控制，拟合圆的圆心明显比Hough拟合圆的圆心位置更接近实际质心位置。

图9 不同算法的重建时间对比

Figure 9 Time comparison of different reconstruction algorithms

表1 重叠油茶果采摘中心点试验结果

表2 重建误差对比

本试验方法与Hough算法的采摘中心点试验结果如表1所示。从表中可知，本试验方法的最大误差率为14.1%，最小误差率为5.5%；Hough变换算法的最大误差率为23.7%，最小误差率为9.0%。部分果实在图像中定位结果偏差过大，主要是由于枝叶遮挡等导致提取的重叠果实边缘不完整。不同算法的重建时间对比如图9所示，当进行多果重叠重建拟合时，算法的运行时间相对增加。

本试验方法与Hough算法的重建误差对比如表2所示。从表2可知，本试验方法的平均耗时为0.52 s，比传统的Hough变换算法减少0.12 s。本试验方法的平均定位误差率为8.6%，Hough变换方法后的平均定位误差率为13.7%，两者相差5.01%，表明本试验方法在自然环境下能够较好地识别油茶果目标。

导致传统Hough相比本试验方法时间增加，误差率变大的主要原因是Hough在检测之前需要对数据分割，计算的圆弧位置，提高精度需要对更多的参数进行控制，导致算法流程有所增加。本试验方法是在确定重叠果实的分割路径之后，将分割后的相互独立区域作为重建范围，以相互独立区域内的角点目标为基础，通过最小二乘法拟合圆完成重建，拟合时计算量更小，拟合结果更为准确。

4 结论

为实现重叠油茶果目标的准确分割，本研究将原始图像转换为YIQ颜色空间，经过阈值分割和形态学处理获得重叠果实的凹区域，然后在此基础上通过Harris角点检测得到凹区域的特征点集，最后利用主成分分析和欧式距离计算公式确定分割路径。

针对传统Hough方法进行重建时，造成重建位置与实际位置之间存在较大误差的问题，提出采用最小二乘法对分割后的目标区域进行拟合重建的方法，该方法可根据分割后的不同区域上的特征角点进行拟合，最后获得圆心位置和半径的最优解，完成果实的定位检测。

本研究提出的方法平均定位误差结果为8.6%与传统Hough方法相比低5.1%，重建运行速度上平均提高0.12 ms，说明文中所提算法能够较为准确地识别遮挡油茶果目标并对其进行定位检测，为之后最佳振动采摘点的选取奠定基础。

[1] 伍德林, 李超, 曹成茂, 等. 摇枝式油茶果采摘装置作业过程分析与试验[J]. 农业工程学报, 2020, 36(10): 56-62.

[2] 熊俊涛, 邹湘军, 彭红星, 等. 扰动柑橘采摘的实时识别与采摘点确定技术[J]. 农业机械学报, 2014, 45(8): 38-43.

[3] 王丹丹, 宋怀波, 何东健. 苹果采摘机器人视觉系统研究进展[J]. 农业工程学报, 2017, 33(10): 59-69.

[4] 苗中华, 沈一筹, 王小华, 等. 自然环境下重叠果实图像识别算法与试验[J]. 农业机械学报, 2016, 47(6): 21-26.

[5] BAC C W, HEMMING J, VAN TUIJL B A J, et al. Performance evaluation of a harvesting robot for sweet pepper[J]. J Field Robotics, 2017, 34(6): 1123-1139.

[6] XU Y W, IMOU K, KAIZU Y, et al. Two-stage approach for detecting slightly overlapping strawberries using HOG descriptor[J]. Biosyst Eng , 2013, 115(2): 144-153.

[7] BEHROOZI-KHAZAEI N, MALEKI M R. A robust algorithm based on color features for grape cluster segmentation[J]. Comput Electron Agric , 2017, 142: 41-49.

[8] 刘芳, 刘玉坤, 林森, 等. 基于改进型YOLO的复杂环境下番茄果实快速识别方法[J]. 农业机械学报, 2020, 51(6): 229-237.

[9] AREFI A, MOTLAGH A M, MOLLAZADE K , et al. Recognition and localization of ripen tomato based on machine vision[J]. Aust J Crop Sci, 2011, 5(10): 1144-1149.

[10] XIANG R, JIANG H Y, YING Y B. Recognition of clustered tomatoes based on binocular stereo vision[J]. Comput Electron Agric , 2014, 106: 75-90.

[11] 王小鹏, 姚丽娟, 文昊天, 等. 形态学多尺度重建结合凹点匹配分割枸杞图像[J]. 农业工程学报, 2018, 34(2): 212-218

[12] 石良德. 成熟油茶果识别与定位系统[D]. 长沙:湖南大学, 2012.

[13] 李立君, 李昕, 高自成, 等. 基于偏好免疫网络的油茶果采摘机器人图像识别算法[J]. 农业机械学报, 2012, 43(11): 209-213.

[14] 汪奇. 振动式油茶果采摘装置关键部件设计与分析[D].合肥: 安徽农业大学,2019.

[15] 徐国安. 固根摇枝式油茶果采摘装置的设计与试验[D]. 合肥: 安徽农业大学,2019.

[16] 刘平, 朱衍俊, 张同勋, 等. 自然环境下贴叠葡萄串的识别与图像分割算法[J]. 农业工程学报, 2020, 36(6): 161-169.

[17] 刘星星, 王烁烁, 徐丽明, 等. 基于OpenCV的动态葡萄干色泽实时识别[J]. 农业工程学报, 2019, 35(23): 177-184.

[18] 张建明, 黄继风. 基于视频的实时烟雾检测算法[J]. 计算机应用与软件, 2016, 33(12): 248-252.

[19] 孙肖肖, 牟少敏, 许永玉, 等. 基于深度学习的复杂背景下茶叶嫩芽检测算法[J]. 河北大学学报(自然科学版), 2019, 39(2): 211-216.

[20] 王丹丹, 徐越, 宋怀波, 等. 基于平滑轮廓对称轴法的苹果目标采摘点定位方法[J]. 农业工程学报, 2015, 31(5): 167-174.

[21] 刘斌, 王涛. 一种高效的平面点集凸包递归算法[J]. 自动化学报, 2012, 38(8): 1375-1379.

[22] 孙红, 李晶. 融合Harris角点检测算法的肺实质分割方法[J]. 小型微型计算机系统, 2019, 40(4): 818-822.

[23] 高亭, 艾斯卡尔·艾木都拉, 阿布都萨拉木·达吾提. 改进Harris特征的印刷体图像检索[J]. 中国图象图形学报, 2020, 25(2): 294-302.

[24] 李伟剑, 金建, 邸思. 基于FAST特征提取的指静脉识别[J]. 光学精密工程, 2020, 28(2): 507-514.

[25] 朱革, 潘帅嘉, 余小雨, 等. 基于机器视觉的精密零件同心度测量系统设计[J]. 传感器与微系统, 2020, 39(4): 77-79,82.

[26] 徐越, 李盈慧, 宋怀波, 等. 基于Snake模型与角点检测的双果重叠苹果目标分割方法[J]. 农业工程学报, 2015, 31(1): 196-203.

[27] 陈子文, 李伟, 张文强, 等. 基于自动Hough变换累加阈值的蔬菜作物行提取方法研究[J]. 农业工程学报, 2019, 35(22): 314-322.

[28] 周文静, 查志华, 吴杰. 改进圆形Hough变换的田间红提葡萄果穗成熟度判别[J]. 农业工程学报, 2020, 36(9): 205-213.

Research on overlapping fruit positioning method of camellia fruit harvester in complex background

CHEN Zhijian1, WU Delin1, LIU Lu1,2, LI Chao1, YUAN Jiahao1, CAO Chengmao1

(1. School of Engineering, Anhui Agricultural University, Hefei 230036;2. Anhui Province Engineering Laboratory of Intelligent Agricultural Machinery and Equipment, Hefei 230036)

The key to mechanized vibration picking technology for oil tea fruit lies in selecting vibration points, which are judged to be dependent on fruit growth density measurements and distribution estimates. However, recognizing overlapping fruits in the natural environment has a greater impact on the decision result. Therefore, this paper proposes a segmentation boundary optimization method based on convex hull recognition to improve overlapping oil tea fruit recognition and segmentation accuracy. The method firstly converts the original image into color space, and obtains the concave region of the overlapping fruits after threshold segmentation and morphological processing, then obtains the feature point set of the region by Harris corner point detection on this basis, uses principal component analysis (PCA) and Euclidean distance method to analyze the feature point distance relationship to obtain the segmentation path, and finally the least square method was used to reconstruct the fruit contour by fitting the segmented target region. Comparing the reconstructed fruit contours with the actual distribution images, the average localization error of the method in this paper is 8.6%, which is 5.1% lower than that of the Hough method; the average time taken is 0.52 s, which is 0.12 s lower than that of the Hough method. The results show that the proposed method can effectively solve the problem of overlapping oil tea fruit recognition and segmentation and lay the foundation for the vibration point selection of the picking device.

overlapping camellia fruit; image segmentation and positioning; corner detection; least square method

TP391; S24

A

1672-352X (2021)05-0842-07

10.13610/j.cnki.1672-352x.20211105.013

2021-11-8 13:22:24

[URL] https://kns.cnki.net/kcms/detail/34.1162.S.20211105.1129.026.html

2021-01-12

国家重点研发计划 (2016YFD0702105)资助。

陈志健，硕士研究生。E-mail：1178262202@qq.com

通信作者:伍德林，副教授。E-mail：wudelin@126.com