基于机器视觉的水果品质检测综述

何文斌，魏爱云，明五一，2，贾豪杰

1.郑州轻工业大学 机电工程学院，郑州450002

2.广东华中科技大学工业技术研究院 广东省制造装备数字化重点实验室，广东 东莞523808

1 引言

随着水果种植规模的不断扩大，水果的产量越来越大，实现大规模水果分级是急需解决的问题。早期的水果主要通过人工进行分级，分级结果缺少客观性和准确性，且人力物力消耗很大[1]。随着水果分级技术的引入，部分水果采用机械分选，但由于分选速度较快，容易损伤水果外观。机器视觉技术因具有效率高、精度高、非接触检测的优势，越来越受学者的关注，逐渐被应用到各个领域。因此，利用机器视觉技术实现水果的无损检测是行业发展的趋势。

机器视觉技术是通过摄像机来获取物体图像代替人类视觉，然后利用处理器对图像进行处理，最终实现物体的识别和检测[2]。机器视觉系统主要由光源、工业摄像机、图像采集卡、图像处理器和显示器等组成[3]，如图1所示。其中，图像采集卡是图像采集和图像处理的接口，它可以将采集到的图像转化为数字信号存储起来，也可以提供I/O 功能，实现数字化图像的后期处理；显示器主要显示图像处理的结果。

图1 机器视觉系统图

20 世纪70 年代，国外学者将机器视觉技术应用于水果的无损检测，并获取一定的成果。随着神经网络、向量机、深度学习等相关算法的不断发展和优化，大大提高了水果的分类准确率。目前，利用机器视觉技术实现水果的无损检测仍有许多问题有待解决，例如水果存在各种不同缺陷而增加检测难度；针对不同种类水果如何设计合适的检测系统实现实时检测；此外如何改进相关算法，进一步提高分拣准确率仍需研究。为此，国内外学者对水果检测系统的结构、图像处理方法以及分类器相关算法做了大量研究，极力推动了机器视觉技术在水果无损检测方面的应用，为相关产业做出了一定的贡献。

2 基于机器视觉的水果检测分级系统

国外学者对机器视觉分级系统的研究相对较早，Tao等[4]研究了一种可以对苹果和马铃薯的外皮颜色检测的机器视觉系统，通过采用多变量识别技术对外皮颜色进行识别，达到90%的准确率，然而其检测效率却不高。Blanc[5]设计了一种可以对葡萄等串状水果的重量和颜色均匀度进行分级的分级系统，大大提升了分级效率。Baigvand 等[6]在对无花果干进行品质分级时，设计了包括送料装置、传动装置、图像采集装置及分级装置的一套完整的机器视觉分级系统，实现了对无花果品质的实时检测，并将无花果干成功地分为5个等级。随着视觉技术的不断发展，国内学者在机器视觉方面的研究也取得了一定的成果。魏新华等[7]研制了一套苹果智能化检测与同步控制分级系统，通过传送链传送苹果到图像采集区域，实现图像的采集，根据等级分级结果，控制部件做出相应的动作，实现了苹果的在线自动检测，但是该系统在检测过程中为控制相机的工作温度而增大了系统设计的复杂性。王干等[8]对脐橙进行检测分级时，研制了一套针对脐橙外观缺陷和尺寸大小的机器视觉检测系统，通过采用三个摄像机实现对传输中的脐橙多面拍照，通过图像处理技术，获得相应的缺陷和尺寸参数，最终实现了脐橙的品质分级，然而采用三摄像机进行图像采集增加了后续图像处理及缺陷检测的难度。

基于机器视觉的水果品质检测系统的图像采集部分通常采用单个相机进行，很难实现对水果的全表面信息采集，对分级准确率有很大的影响。在水果品质检测之前，合理地设计检测系统的定向装置，有利于获取更全面的表面信息，以下以苹果为例来探究定向装置的研究现状。最初国外学者Bennedsen等[9]在对苹果进行分级时，设计了带有双锥滚子结构的分选机定向机构，该分选机在输送带带着苹果前进的同时位于输送带上方的定向机构带动苹果转动，这样可以采集到较完整的苹果表面图像，但该装置易造成表面信息的重采，影响分级的准确率和效率。于是Whitelock等[10]针对苹果图像信息重采的不足，通过改进苹果的输送机构，该装置让苹果滚动通过水平通道，在苹果滚动的同时对苹果的图像信息进行采集，结果表明，该装置适用于高度与直径比值较大的苹果。Throop 等[11]设计的定向装置将在传送带上移动的苹果保持与茎花萼垂直，在苹果通过成像区域时稍微倾斜，使其在滚轮上旋转，这样就可以采集到完整的苹果表面信息。但整个过程比较复杂，一定程度上影响分级效率。蒋维栋[12]改进了Throop 的定向输送机的设计，利用输送带与苹果的摩擦力带动其转动来替代苹果的倾斜，但由于摩擦力较小所需定向时间较长。马垚[13]先让苹果通过带有小滑轮组成的输送带，然后利用定向组件实现苹果的自动定向，最后采用多个相机对苹果表面信息进行采集。结果表明，合理的定向机构结合多个相机采集能够获取苹果的完整表面信息，保证了所采集图像的质量。

综上所述，基于机器视觉的水果品质检测虽然较传统的检测有一定的优势，但在图像采集方面还存在一定的不足，合理的检测系统设计，既能得到全面的表面信息，又能提高检测效率。

3 图像预处理

3.1 常见的颜色模型应用现状

颜色模型主要有RGB、HSV、HSI 和L*a*b 等几种[14]，其中RGB和HSI模型在机器视觉水果检测方面应用普遍。陈艳军等[15]设计的机器视觉苹果分选系统，利用RGB模型中的R-B双通道对苹果图像进行图像处理和轮廓特征提取，通过建立两种分类模型，实现了87%以上的分类准确率，却由于设备昂贵，未能得到广泛应用。李顺琴等[16]在对橙子品质分级时，通过图像处理发现RGB 模型中的B 分量具有明显的峰值特点，利用基于B分量的阈值分割法实现橙子图像的灰度化处理，最终通过建立三种分类理论模型实现橙子高达90%的分类准确率，却因为缺乏对多品种水果的实验验证，未能应用于实际生产。冯斌等[17]在研究以不同的色度对水果进行分级时，通过比较RGB和HSI两种颜色模型，发现HSI模型更符合人的感知方式，经建立人工神经网络识别模型，实现了对水果的分级准确率达95%，与实际情况很接近。

总之，对不同颜色的水果选用合适的颜色模型是很重要的，它对后面的图像处理以及特征提取起到关键作用。

3.2 图像去噪研究现状

采集到的水果图像因受到环境等因素的影响存在各种噪声，为了提高图像的质量，有必要对噪声进行抑制或消除。常用的滤波方法有中值滤波、均值滤波、Gauss滤波等[18]。表1归纳了几种滤波方法的应用情况。

由现有文献，与均值、Gauss 两种滤波方法比较，中值滤波因具有运算简单、去噪效果好的特点，而被广泛应用于水果图像的去噪处理中。Momin 等[21]研究了基于图像处理技术的芒果自动分选技术，提出了基于区域全局阈值处理算法，结合中值滤波和形态学分析获取芒果周长和圆度特征量，实现了对投影面积、周长等的识别。Arakeri等[22]通过中值滤波、Otsu分割法获取番茄特征向量，并建立基于神经网络的分类模型，实现了对番茄成熟、不成熟、品质评价，准确率最佳为100%。中值滤波虽具有良好的去噪效果，但在处理一幅多像素点的图像时，所需时间较长。基于上述不足，学者侯文军[14]通过改进中值滤波算法，采用快速中值滤波方法对苹果图像去噪，该方法缩短了滤波时间，且滤波效果显著，但受滤波窗口大小的影响。郑州大学的孙斐[26]在对苹果分级时，首先采用自适应中值滤波对图像进行去噪处理，但由于去噪后的图像边缘特征不明显，提出了一种基于中值滤波的小波变换去噪方法，这种滤波法很好地保留了图像的边缘信息，然而小波阈值的选取过程复杂。

在对多品种混合水果图像滤波中，于悦洋等[29]首先采用中值滤波方法对橙子、苹果和香蕉三种混合水果图像去噪，结合图像增强得到效果更好的水果图像，通过图像二值处理、特征提取后，最终利用BP神经网络实现对橙子、苹果和香蕉三种水果分类。陈源等[30]研究利用MATLAB软件处理苹果、桔子、香蕉三种混合水果图像时，首先通过MATLAB软件读取图像，然后采用中值滤波方法对混合水果图像去噪处理，然而得到的水果图像不太理想，随后采用反锐化掩模法对滤波后的混合水果图像进行图像增强，得到清晰的水果图像，最终利用BP神经网络实现了对三种水果的分类。

综上所述，中值滤波具有良好的滤波效果，在水果图像去噪处理方面应用广泛，但该方法在处理像素点较多的图像及某些特定图像时，存在运算时间长、处理效果不佳的不足。快速中值滤波虽弥补了上述不足，但对图像去噪处理中的滤波窗口有一定要求。自适应中值滤波有较好的滤波效果，但不能保留理想的边缘特征。改进的滤波方法有很多种，但没有一种方法兼具运算简单、鲁棒性高、去噪效果好、处理速度快的特点，这也正是学者仍需研究的方向。

3.3 图像分割技术研究现状

图像分割技术[31]是利用图像区域相似或相同的特征（如纹理、颜色等）将图像划分开，来达到提取关键信息的目的。常见的背景分割方法有阈值划分、区域划分、边缘检测、深度学习等[32-33]，表2 是几种分割方法在水果图像中的应用情况。

表1 滤波方法在水果图像去噪中的应用情况

常用的阈值分割方法有OTSU、迭代阈值和灰度直方图法等[26]。李庆中[34]通过研究图像灰度直方图的熵测量，确定最佳阈值法，得到了较好的苹果背景分割图像。宁夏大学的吴杰[35]通过对圣女果的灰度直方图分析，发现感兴趣区域的直方图并不连续，采用多阈值分割方法并设定对应阈值，实现了对圣女果图像背景的分割，但该方法对噪声敏感，且阈值的选择对图像分割效果有直接影响。边缘特征是水果典型的特征之一，保留水果的边缘、去除无关信息，也是图像分割中广泛应用的一种。常用的边缘检测算子有Roberts、Sobel、Laplace、Canny、LOG 等算子[25]。华中农业大学的肖壮[36]研究对红提果粒大小进行分级时，采用Sobel 算子对红提串边缘进行检测，得到了较好的边缘信息，但由于果梗过多干涉了果粒边缘，结合果梗OTSU 阈值分割，得到了理想的红提果粒轮廓图像。刘宏文[37]对苹果图像去噪后分别采用Roberts、Sobel、Laplace、Canny 算子进行边缘提取边缘，结果发现Canny算子的检测效果最佳。边缘检测分割方法可以很好地保留图像的边缘信息，但大部分水果都存在果梗，在对图像分割时，果梗极易被当作疑似缺陷区域，出现误判的情况。南京林业大学的蒋林权[38]对砀山梨缺陷表面进行分类时，通过对缺陷区域和疑似缺陷区域的单独划分，然后根据颜色、纹理等特征对这些区域进行分类识别，最终实现了砀山梨品质的分类且具有很高的分级精度，但该方法局限于各区域对比强烈的情况。聚类分割方法也常用于水果图像分割中，陈科尹等[39]针对传统模糊聚类分割方法运行速度慢的不足，提出了一种灰度图像代替彩色图像的改进方法，以荔枝和柑橘为对象进行图像分割实验，结果表明该方法分割率在93%以上且能满足实时性要求，但该方法并未用于实际作业中。

综上所述，阈值分割方法的图像分割效果好且较常用，但阈值的选择对图像的分割效果影响较大；边缘检测中的相关算子能保留清晰的边缘特征，但分割的果梗等区域易被误判为缺陷，故该方法需与其他分割方法结合使用；区域分割方法可以将缺陷区域和果梗等疑似缺陷区域单独划分，然后根据颜色等特征进行分类识别，保证分级精度；传统的聚类方法不能满足实时性的需求，改进的聚类分割方法克服了上述不足，但目前仅停留在实验阶段。

4 特征提取研究现状

特征提取是水果品质识别与检测的基础，特征参数的准确性和实时性对苹果品质的识别精度影响较大。水果的特征有几何、纹理和颜色等几种。孙斐[26]在对苹果分级时，通过研究几何特征实现苹果的特征提取，通过采用外接矩形法和内切圆法的比较，发现外接圆法的实时性与准确性更高，最终实现苹果大小的分级准确率达92.5%。蒋林权[38]研究对砀山梨的缺陷区域与果梗区域特征时，采用灰度共生矩阵提取砀山梨缺陷区域和果梗区域的纹理特征，通过比较相关特征值，发现惯性矩和能量最具代表性，融合Gabor 提取纹理特征的方法，最终提高了对砀山梨表面缺陷的识别准确率，该方法适用于各缺陷部分纹理特征区别较大的场合。肖壮[36]研究提取红提果肉和果粉区域特征提取时，通过Matlab软件处理红提串的彩色图像，获得了果肉和果粉区域的像素点坐标值和RGB 值，最终实现了颜色特征的提取。于悦洋等[29]研究对一幅图像中不同种类（香蕉、苹果、橙子）的水果进行识别时，首先利用几何特征（周长、弧度）的较大差异，将香蕉分离出来；然后根据苹果和橙子外观颜色差异，利用RGB 通道的R 分量实现对苹果的分离，最后通过训练BP神经网络，实现香蕉和橙子的识别准确率为97%，苹果的识别准确率接近100%。

综上所述，特征提取是水果品质检测的基础，也是重要环节。针对不同种类的水果可以采用不同的特征提取方法。以苹果[26，29]为例，在对苹果进行特征提取时，可以根据几何特征（如大小等）对其进行特征提取，结合相关分类算法进行苹果大小的分类；同一批次的水果，成熟度可能不尽相同，这时可以通过对苹果颜色进行特征提取，利用分类器实现对苹果成熟度的识别。因此，在对水果进行特征提取时，要结合水果的自身特点灵活应用相应的特征提取方法。由于水果种类繁多，目前没有固定的特征提取方法对所有的水果适用。

表2 几种分割方法在水果图像中的应用情况

5 分类器研究进展

分类器是实现水果品质分级的最后一个环节，相关算法设计的好坏直接影响分级精度。随着水果种植业的不断发展，水果的年产量越来越大。为了满足当前大规模、多种类的分类需求，学者们对不同的水果分类算法进行了大量研究。表3 归纳了分类算法在水果品质分级中的应用情况。

表3 分类算法在水果品质分级中的应用情况

肖壮[36]研究对红提表皮的果粉进行识别时，分别建立了BP神经网络分类器和SVM分类器，分别以R、G、B颜色特征作为输入参数，在BP神经网络分类器中，通过训练tansig 函数，对果粉的识别准确率达96.88%，但该方法的识别速度较慢且局限于传递函数的选择；而经过训练的SVM 分类器，识别准确率高达97.5%，且识别时间仅需6.36 ms；经对比，SVM分类器满足在生产线上的检测需求。同样，蒋林权[38]将砀山梨的褐斑、擦伤和腐烂缺陷以及果梗作为输入参数，通过建立BP 神经网络识别模型和SVM分类器进行对比，最终发现在SVM分类器下的缺陷识别准确率高于BP 神经网络，却由于训练的样本数有限，最终的平均识别准确率为91.5%。Unay 等[43]为解决苹果的果梗和花萼等疑似缺陷区域的误识别问题，提出了一种基于向量机的分类方法，该方法首先对苹果图形进行背景去除和区域分割（如图2所示），然后将提取到的纹理和形状特征作为输入参数，输入到支持向量机分类器和K-NN等分类器进行比较，经对比SVM 分类器的效果最好，实现对苹果梗的识别准确率为99%、对花萼的识别准确率为100%。

图2 Unay等对苹果的分割图像

针对BP 神经网络分类器的不足，朱玲[44]在对石榴的等级分类中，将K-means 算法应用到BP 神经网络进行测试试验，首先以石榴图像为输入参数，经过训练将石榴大小分为4 个等级，然后将50 张图像分别采用Kmeans 算法、BP 神经网络、K-means 算法+BP 神经网络进行测试试验，最终的识别准确率分别为91.52%、89.36%、96.28%。

随着深度学习的不断发展，相继出现了CNN[49]、RCNN[50-51]、Faster-RCNN[52-53]、SSD[54]等一系列经典框架。南华大学的曾平平[45]在研究对树上苹果进行检测时，提出了一种基于Faster-RCNN的检测模型，该模型分别以改进的LeNet-5、VGG16和ResNet101为训练输入模型，经过试验对比发现以ResNet101 为模型的检测效果最佳，实现了对苹果的检测精度为90.91%，但局限于训练样本数，此结果与理想差距较大。彭红星等[48]为解决未采摘水果的识别问题，提出了一种改进的SSD 算法，该算法引进了ResNet101 模型，经过对脐橙、苹果、荔枝、柑橘四种水果的样本进行训练、试验，实现了对环境中的水果检测精度平均为88.4%，此结果高于未经改进的SSD算法，然而该模型却降低了检测速度。

综上所述，BP 神经网络分类器虽在水果检测方面应用广泛，却在检测速度和精度方面有一定的局限；SVM 可以满足生产线检测需求，但训练样本数直接影响识别精度；深度学习及相关改进分类器为树上水果检测提供了新思路，但是相关模型的检测精度和鲁棒性仍有待进一步研究。

6 总结与展望

综上所述，基于机器视觉的水果检测方法较传统的检测方法存在一定的优势，且取得了一定的成果。但由于机器视觉涉及的学科较多，检测系统复杂，相关算法的不成熟，导致检测结果有一定的偏差。基于机器视觉的水果检测的未来发展趋势和研究方向主要包括以下几点：

（1）水果的品质检测一般是在线的实时检测，实现全表面信息的采集以及对图像信息的及时处理尤为重要。图像信息的获取与处理受光源、输送装置和相机个数等外部因素的影响较大，因此建立稳定、可靠的检测系统是未来的研究方向之一。

（2）在单一水果图像滤波中，中值滤波方法去噪效果良好且应用广泛，然而该方法在处理多像素点图像时，存在效率低、处理效果不佳的不足。相关改进的滤波方法有很多种，但单一的滤波方法在某些方面存在一定的不足，因此考虑多种滤波方法结合来实现单一水果图像的滤波是未来的研究方向。

（3）在多种混合水果的图像去噪中，中值滤波方法应用较广，却存在滤波后的混合水果图像不够清晰的不足；滤波后的混合水果图像通过图像增强的方法得到了较理想的效果，然而图像增强方法在对一幅图像中各水果颜色对比不明显的图像进行处理时也会增大难度，因此研究一种针对多品种混合水果图像的具备鲁棒性高、去噪效果好、效率高的滤波方法是未来的研究方向。

（4）常用图像分割方法有明显的优缺点，但在对复杂水果图像的分割时存在一定的不足，因此多种分割方法融合和合理使用深度学习技术是未来研究的方向。

（5）深度学习分类器较BP 神经网络、SVM 等分类器有一定的优势，可以满足水果采摘的分类需求，但该分类器的分类精度受限于训练模型样本数，因此突破监督训练模型的局限性是未来的研究方向之一。