基于视觉的橘类水果识别系统设计①

*

( 佳木斯大学a.材料科学与工程学院;b.机械工程学院，黑龙江 佳木斯 154007；c.兰州理工大学材料科学与工程学院，甘肃 兰州 730050)

0 引 言

水果采收作为果园生产全过程中的一个重要环节，具有季节性强和劳动密集型的特点[1]，所用劳动力占整个生产过程所用劳动力的35%～45%[2]。目前采摘水果的主要方法是依靠人工攀爬或借助简单工具，且水果采摘效率较低。由于人工采摘水果自身所存在的劳动强度大、效率较低等原因，继而造成水果采摘成本逐渐提高[3]。使用辅助水果采摘设备能够有效提高水果采摘的质量和效率，降低人工采摘的劳动强度，具有良好的经济效益。水果识别技术作为水果辅助采摘设备的重要技术之一，其性能对于提高辅助水果采摘的效率及准确率具有很大的影响[4]。因此，对于辅助水果采摘设备的研制而言，探究水果识别技术具有重要意义。

在果实识别技术方面，陶华伟等[5]通过对果蔬的颜色和纹理进行局部二值化处理，获得果蔬的颜色和纹理特征，使用最近邻分类器对获取的特征进行果蔬识别，并在室内和室外环境下得到较好的识别率，单幅图像的识别时间约为1.1s。徐惠荣等[6]针对柑橘与枝叶在图像中的颜色差异的特点，结合动态阈值法实现柑橘与背景的自动分割，在顺光且背景反射光不强的条件下，实现了将柑橘从复杂背景中分离出来，但在背景有较强反射光的条件下识别效果较差。在果实定位技术方面，高杨[7]使用SR300深度摄像头作为水果采摘机器人的近景探测传感器，在识别果实的同时，通过摄像头内置的红外传感器获得目标的空间坐标，从而实现了先在较远距离对水果识别定位、再近距离采摘水果的功能，摄像头对水果的定位精度达到3mm。朱新新[8]使用F200深度摄像头获得当前环境的点云数据，根据识别目标与摄像头之间的距离(预设阈值)对点云数据进行筛选，通过移除前景与背景以获得目标物体的最佳识别区域，便于在最佳识别区域内查找符合柑橘轮廓的目标；通过对五个不同品种的柑橘进行识别试验，在无遮挡和有遮挡的条件下均有较为理想的识别率。

基于点云数据进行果实的识别与定位技术具有对光线强弱不敏感的特点，但其欠缺对果实成熟度的辨识能力；此外，将深度摄像头安装在机械臂末端，在一定程度上增加了识别与定位过程的复杂性；与此同时，果实的识别速度也是提高果实采摘设备工作效率的关键因素。针对此问题，提出了一种基于视觉的橘类水果识别系统，根据橘类水果成熟度及其枝叶在颜色特征方面的差异性，分别从识别与定位的技术层面进行了深入研究，并进行了实验验证，其研究结果为橘类水果采摘装置的样机研究提供了技术支撑。

1 基于视觉的橘类水果识别系统模型

基于视觉的橘类水果识别系统模型由图像采集、图像处理、目标识别和目标定位四个环节构成，如图1所示。图像采集环节使用Intel RealSense D415深度相机在室内正常光线下拍摄橘类水果图像，该图像中水果数量随机，且存在水果重叠的现象。图像处理环节包括背景移除与成熟度筛选、图像形态学处理两个部分，先在RGB颜色空间下实现背景移除与成熟度筛选，再使用中值滤波和高斯平滑消除图像噪点和空洞。目标识别环节使用霍夫变换识别目标图像中的橘类水果，获得水果中心的像素坐标。目标定位环节则根据目标识别得到的像素坐标及相机参数，计算得到目标相对于相机的空间坐标，从而实现水果的识别与定位。

图1 基于视觉的橘类水果识别系统模型

2 系统设计

2.1 橘类水果颜色分析

使用颜色特征对橘类水果进行识别时，需要对橘类水果及枝叶在图像中的R(红色)、G(绿色)、B(蓝色)颜色分量进行分析，从而实现成熟橘类水果与背景区分的目的。由图2和图3分析可知，成熟橘类水果与未成熟橘类水果及枝叶在R-G分量和R-B分量上有明显区分，成熟水果的R-G分量和R-B分量主要分布在坐标轴对角线的下方，具有明显的颜色特征；由图4可知，成熟橘类水果的G-B分量主要分布在枝叶和未成熟水果之间，与树枝及未成熟水果有一定的区别。基于以上分析可知，在RGB颜色空间中，成熟橘类水果颜色特征与未成熟水果及树枝的颜色特征有较大区别，根据颜色差异能够有效地将成熟橘类水果从图像中提取出来。

图2 枝上橘类水果图像R-G颜色分量对比

图3 枝上橘类水果图像R-B颜色分量对比

图4 枝上橘类水果图像G-B颜色分量对比

图5 图像处理前后图像

2.2 图像处理

摄像头采集到的图像经过颜色筛选后，将颜色特征符合成熟橘类水果的像素点保留下来。受光线和颜色筛选范围的影响，筛选后获得的橘类水果的边缘毛刺较多，且图像中存在较多噪点，因此，需要对该图像进行处理，以便提高后续目标识别的精确性。使用中值滤波和高斯平滑对图像进行平滑滤波处理，处理前后的图像如图5所示。

2.3 目标识别与定位

鉴于大部分橘类水果在图像中的轮廓形状近似圆形，因此使用圆检测的方法实现橘类水果识别具有一定的通用性。使用霍夫变换实现图像圆检测，同时获得目标的圆心像素坐标和半径。通过设定阈值的方式对识别目标进行初步筛选，将低于阈值的对象视为距离较远的橘类水果，不进行识别。目标定位时，由Intel RealSense D415深度摄像头获取圆心像素坐标相对于摄像头的空间坐标即可。

3 试验研究

3.1 试验平台

对橘类水果识别系统的识别效果及识别准确率进行了试验验证，试验在室内正常光线下对枝叶上的蜜桔进行识别，深度摄像头安装于水果采摘试验平台的相机支架上。硬件环境：Intel RealSense D415深度摄像头，CPU 2.3GHz，内存16GB，水果采摘试验平台；软件环境：Intel RealSense SDK 2.0，Visual Studio 2015，OpenCV3.3.1。部分实验图片如图6所示。

3.2 试验方案及结果

基于上述试验平台，分别在蜜桔有枝叶遮挡和无枝叶遮挡两种条件下进行试验研究，并在有枝叶遮挡的条件下增加有外部光源补光的试验，统计上述3种情况下正确识别到的蜜桔数量和平均识别时间，试验结果如表1所示。

表1 蜜桔识别试验结果

图6 试验图片

3.3 结果分析

经过试验验证，该橘类水果识别系统在室内自然光线下对无遮挡的蜜桔识别率达到80%(距离较远的蜜桔视为未识别)，在有枝叶遮挡的条件下有60%的识别率，在外部光源补光后对有枝叶遮挡蜜桔的识别率有一定的提高，平均识别时间为86ms，能够满足图像实时处理的要求。在对蜜桔识别时，该识别系统对成熟度不符合要求的蜜桔表现为不识别，实现了对蜜桔成熟度的判别。同时，根据深度摄像头的特性，将其安装在采摘装置的固定位置，而非末端夹持器上，实现了一次性地获取目标的空间坐标，在一定程度上简化了识别与定位系统设计的复杂性，提高了果实采摘的工作效率。但在试验过程中也发现，光线强弱对提出的橘类水果识别系统有一定程度的影响，在后续研究中可考虑使用其他颜色空间实现对橘类水果的过滤，改进目标识别原理，并增加外部光源以减少环境光线对目标识别精确性的影响。

4 结 论

设计的基于视觉的橘类水果识别系统，根据成熟橘类水果在RGB颜色空间中的颜色特征，实现了水果成熟度的判别；基于霍夫圆检测原理进行目标识别，获得目标中心点的像素坐标；使用深度摄像头，获得目标中心点与相机的相对坐标。以蜜桔为研究对象开展试验研究，在正常光线无遮挡情况下具有良好的识别率；在正常光线、有枝叶遮挡时识别率存在一定程度的降低，且在外部光源补光后识别率有明显提升，识别与定位的速度快，能够满足实时处理的要求，适应性好。试验结果表明，提出的基于视觉的橘类水果识别系统能够为水果识别与定位技术提供技术支撑和可靠数据，为实现水果智能化采摘样机的研制奠定基础。