图像处理技术在现代林果采摘中的应用

2020-03-03费叶琦缑斌丽

林业机械与木工设备 2020年4期

唐敏，刘英，费叶琦，刘阳，缑斌丽

(南京林业大学机械电子工程学院，江苏南京 210037)

我国林果资源丰富，林果采摘是林果产业中的一个重要环节，随着计算机和自动化技术的发展，基于视觉系统的采摘装置应运而生，采摘装置通过视觉系统对符合采摘要求的林果进行精确识别和定位，并按照视觉系统的指挥沿正确路径实现精确采摘。视觉系统的关键技术是图像处理，在现代林果采摘中利用图像处理技术有利于提高采摘效率及采收质量。

1 图像处理技术的定义和方法

在计算机尚未出现前，图像处理指的是模拟图像处理，主要包括光学(利用透镜)和电子处理方法，其优点是处理速度较快，缺点是精度低和灵活性较差。近年来，随着计算机技术的迅速发展，数字图像处理成为主流处理技术。数字图像处理指的是利用计算机或其他实时的硬件对经过空间采样和幅值量化后的图像进行处理，处理精度高且变通能力强[1]。随着图像处理技术趋于成熟，其在林果采摘中的应用已成为国内外研究热点，并促进了采摘机器人朝着智能化发展。

图像处理主要包括图像获取、图像增强、图像复原、图像分割以及特征提取等，一般情况下，图像恶化程度与图像场景复杂程度成正比，为了获取精确具体的目标，通常使用多种图像处理相结合的方法。

2 图像处理技术在现代林果采摘中的应用

目前，我国林果种植规模和产量已居于世界首位，如果仅靠传统人工采摘的方法来获取果实，则无法满足林果产业智能化的要求，而一般的采摘装置未配备视觉系统，无法保证采摘的准确率。因此，将图像处理技术应用于林果采摘是十分必要的。在现代林果采摘中，图像处理技术主要应用于林果的识别和空间定位。

2.1 林果识别中的关键技术

精准识别林果是实现精确定位和采摘的关键。林果识别一般是在对林果图像进行预处理后进行图像分割和特征提取，并根据特征实现分类或匹配的过程。

2.1.1 林果图像预处理

林果采摘作业大多在复杂的非结构化自然环境中进行，获取的图像受到光照、噪声等因素的影响而出现一定的失真，因此需要进行预处理以改善林果图像的质量。林果图像的预处理通常包括图像增强和图像复原。

图像增强是根据特定要求而突出图像中被模糊的细节或感兴趣的特征。徐黎明等[2]利用同态滤波算法，实现了HSV(色调hue、饱和度saturation、亮度value)颜色空间下杨梅图像V分量的亮度增强。Wang等[3]利用改进的小波变换实现了目标水果表面光照的归一化，并利用基于Retinex的图像增强算法对光照归一化图像中的目标水果进行了高光处理，提高了后续分割算法的光照鲁棒性。

图像复原是通过削弱或消除图像的模糊、噪声等来获得原来真实的图像。为提高苹果采摘机器人夜间作业效率，贾伟宽等[4]提出了一种基于粒子群优化算法(particle swarm optimization，PSO)优化的独立成分分析(independent component analysis，ICA)降噪算法(PSO-ICA)，去除了夜间苹果图像中的噪声，但运行时间较长。

2.1.2 林果图像分割

图像分割是图像处理中的一项关键技术，分割后图像的质量决定了后续任务的完成水平。图像分割是基于亮度值的相似性和不连续性两个基本特性，将图像分成各具特性的区域并提取感兴趣的目标。在林果采摘领域，目前常用的传统图像分割方法有基于聚类的算法、基于阈值的算法和基于区域的算法等。其中，阈值分割法是应用最多的一种图像分割方法，该方法能快速地利用图像灰度值的差异将图像分割成目标和背景。

Septiarinia等[5]以颜色和形状各异的油棕果为研究对象，提出了一种基于Canny边缘检测的轮廓分割方法，平均分割精度为90.13%，但在光照不均匀情况下易产生误割。汪洋等[6]提出了一种基于成熟油茶果亮度均匀化的阈值分割算法，克服了光照不均匀的影响。孙飒爽等[7]以枝条遮挡下的单个苹果为研究对象，利用基于Lab颜色空间的K-means聚类算法对目标图像进行分割，分割准确率为85%以上。罗陆锋等[8]利用改进的人工蜂群优化模糊聚类算法，实现了葡萄图像的精准分割，但针对不同种类葡萄的图像难以进行统一分割。

除了上述传统图像分割算法，近年来神经网络和深度学习的迅速发展使其在图像分割中得到了广泛应用。岳有军等[9]基于深度学习技术，利用改进Mask RCNN方法对复杂环境中的苹果图像进行分割，通过与K-means聚类算法的对比分析，证明该方法在密集、顺光和近色情况下均具有较好的分割效果。Nasser等[10]基于颜色特征，利用人工神经网络(Artificial Neural Network，ANN)与遗传算法的结合方法分割了含叶背景和目标葡萄果实图像，分割精度为99.4%。

每种图像分割方法都有一定的适用范围，需要根据实际情况，研究和选择适合的图像分割方法，通常采用多种图像分割方法相结合的方式以提高图像处理速度与准确率。

2.1.3 林果图像特征提取

由于林果与背景以及不同林果间均具有明显不同的图像特征，提取可稳定描述的特征是后续匹配或分类的前提。图像特征提取是决定每个提取的图像点是否属于一个特征的过程，主要利用的有形态、颜色和纹理特征。

刘晓洋等[11]在苹果特征提取研究过程中，提取RGB、Lab、HSI中9个颜色分量的均值，组成了超像素的颜色特征向量，通过与灰度直方图计算出的纹理特征相结合，实现了超像素的特征描述。李寒等[12]利用小波变换和Canny算子结合的方法，实现了番茄边缘的提取。Tan等[13]以不同成熟度的蓝莓为研究对象，提出了一种基于方向梯度直方图(Histogram of Oriented Gradient，HOG)和颜色特征的识别方法。Fu等[14]在粗检测基础上，结合LBP(Local Binary Pattern)和HOG(Histogram of Oriented Gradient)提取的纹理特征，能快速地识别目标香蕉。

上述方法均为浅层次结构模型，只适合特定的环境或林果，但林果采摘作业大多在复杂的自然环境中进行，导致提取效果较差。郑远攀等[15]认为深度学习算法可以弥补上述缺点，同时能提取到物体深层次的结构特征并使其更具表达力，从而提高目标识别准确率。

彭红星等[16]提出了一种改进的SSD(single shot multi-boxdetector)深度学习水果检测模型，实现了对苹果、荔枝、脐橙和皇帝柑的识别检测，泛化性较强，无需进行人工特征选择，从而简化了特征提取过程。Yu等[17]基于卷积神经网络Mask R-CNN，利用Resnet50作为骨干网络，结合特征金字塔网络(Feature Pyramid Networks，FPN)结构，实现了草莓图像的特征提取。

考虑到每种图像特征提取方法都具有各自的固有特性，在看到其优点的同时不忽略缺点，在条件允许的情况下，通常可以对同一特征采用多种提取方法相结合的方式进行处理。

2.2 林果定位中的关键技术

林果采摘点空间坐标的确定是林果识别后的一个重要环节。近年来，在林果定位领域，国内外众多学者应用图像处理技术取得了许多研究成果。李立君等[18]提出了一种基于改进凸壳理论的遮挡油茶果定位检测方法，平均定位检测误差为5.53%，有效提高了定位精度，但对颜色特征不够明显的目标果实难以实现精确定位。Thendral等[19]基于YIQ颜色空间，提出了一种成熟果实定位方法，定位准确率为93%。梁喜凤等[20]提出了一种基于果梗骨架角点计算方法，确定了番茄果实串果梗采摘点的位置，定位准确率为90%。王丹丹等[21]利用平滑轮廓对称轴算法实现了单个无遮挡苹果的精确定位，并验证了平滑轮廓算法有助于改善定位准确性及效率。熊俊涛等[22]在非结构环境扰动葡萄定位研究中，根据葡萄串的位置，确定了其上方为采摘点的检测区域，然后对该区域进行Canny边缘检测和霍夫直线检测，最后结合角度约束条件实现了采摘点的确定，定位准确率为80%以上。除了上述方法以外，目前大多数研究采用图像采集设备与视觉系统的结合来提高处理效率。杨长辉等[23]构建了基于卷积神经网络和Kinect V2相机的柑橘识别定位系统，综合定位误差为5.9 mm，具有较好的泛化能力。Zhuang等[24]提出了一种基于计算机视觉的荔枝聚类采摘点定位方法，定位准确率为83%。

除了上述定位方法以外，还有其他一些特殊的定位方法，如Hough变换[25]和BP神经网络[26]等。因为不同定位方法的定位精度不同，所以需要根据实际采摘环境选择适合的定位方法。