基于图像识别的水果分拣系统

倪云峰 叶健 樊娇娇

摘要：为了解决人工水果分拣的缺点，探讨了一种基于图像识别的水果分拣系统。通过硬件采集系统采集各类不同水果的图像数据，应用图像处理技术，设定水果分类的颜色、大小特征的阈值标准，根据阈值标准对水果进行腐烂检测，区分出腐烂和完好水果;再对完好水果进行种类识别，并在相同种类下进行水果的大小等级识别和颜色状态判定。结合水果的大小及颜色，将水果分拣为特等果、优等果、次等果、劣等果四大类，以判别水果的外部和内部品质，最终实现水果的分拣。在分拣过程中实时统计已分拣水果的数量，将已识别的水果图像进行实时删除操作，减少系统内存，设置同步模块，使图像处理与自动化设备达到同步。测试结果显示，该水果分拣系统效率高、成本低，对水果供应链中的水果分拣应用具有较大意义。

关键词：图像识别;特征选择;实时统计;水果分拣

中图分类号： S126;TP391.41  文献标志码： A  文章编号：1002-1302（2021）10-0170-06

传统水果分拣主要采用人工分拣，而人工分拣效率低、易造成水果损坏、准确率低、人力物力消耗较大，极大增加了分拣成本。为了降低水果分拣成本，亟需探索出一种分拣效率高、准确率高、人力物力消耗小的自动化系统。

关于农产品的品质鉴定和分级研究，主要涉及农产品的大小、形状、颜色、表面损伤与缺陷检测等[1-5]。国外对农产品分级检测的研究开始较早。Tao等采用多变识别技术实现对苹果和马铃薯的颜色识别，识别准确率高但效率较低[6]。Blanc等设计的分级系统，对葡萄等串状水果的分级效率有较为明显的提高[7]。Baigvand等设计了完整的分级系统，实现了对无花果干的等级划分[8]。国内研究人员对农副产品的品质鉴定和分级检测也做了很多研究。叶晋涛等提出了基于 SVM 神经网络与哈密瓜图像特征的哈密瓜分级方法，对哈密瓜的分级提出了切实可靠的方法[9]。魏康丽等利用机器视觉，实现了对苹果脆片的外观品质鉴定[10]。应义斌等采用表面色泽和固酸比作为柑橘成熟度指标，实现了对柑橘的成熟度检测[11]。

针对一般分类系统存在准确率低、分辨水果种类单一、系统无法对分类结果实时计数、已经分类的图片无法实时删除导致占用系统内存、设备昂贵、系统处理时间与自动化设备处理时间匹配鲁棒性低等问题，本研究研发出一套可对多种水果进行图像分辨、实时计数分类结果、实时删除已分类图像、设备成本较低、系统与自动化设备同步性高、鲁棒性强的水果分类系统，具有一定的应用推广价值。

1 基于图像识别的水果分拣系统

本水果分拣系统基于图像识别，可以实现各种不同水果的分类。这里以较为常见的苹果和梨作为研究对象，实现了水果大小分类、腐烂水果检测、水果颜色检测、水果计数、腐烂水果发出警告、图片文件夹提取、检测后删除等功能。方案设计流程如图1所示。

2 水果图像的采集

水果图像采集是基于一定的设备，采集水果完整的图像，并将其存储在计算机中。图像采集系统模拟实现如图2所示，包括1台电脑，1个拍摄设备（相机），1块幕布或光照箱，1个光源保证获取足够清晰的水果图像，以便图像的后续处理操作。

关于图像的提取，首先需要在电脑平台上批量读取要进行系统操作的所有采集到的水果图像，具体操作如下：找到水果图像的文件夹路径;找到该文件下相同格式（本研究为.jpg格式）的图像文件，这个图像文件是一个结构体，有data、name等成员;定时提取这些水果图像以备后续操作。图像提取工作完成后，进入水果图像处理和实现分拣的具体功能，即对流程所述的其他模块逐一进行操作。

3 水果分拣系统原理介绍

3.1 水果腐烂检测

在进行水果分拣时，第一个实际步骤是水果的腐烂检测。水果的缺陷和腐烂是人们在购买水果时的第一关注点。在采摘和运输过程中，腐烂变质的水果会降低或破坏整批水果的质量。设计系统时，如果开始判定了某水果属于腐烂水果，则系统将会对操作人员发出警报，跳到水果分拣模块将其归为腐烂水果，通过移动机床将其归入腐烂水果收集筐，并进行后续计数、删除图片等操作;如果判定了此水果非腐烂水果，则进行接下来的种类识别等一系列操作。

本系统利用RGB值转换为HIS模式，得到色度直方图，通过颜色特征来进行评定。其中苹果和梨的颜色有较大差异，苹果以黄、红色为主，梨以黄色为主，梨及苹果的腐烂部分以棕色为主。公式如下：

其中，x、y分别为方形区域中心位置的横纵坐标。T（x，y）为图像二值化的阈值，m（x，y）为方形区域计算出的均值，s（x，y） 为计方形区域计算出的标准方差;k为修正系数。通过上述公式可以将像素值置为0或者255。

3.2.5 图像的孔洞填充 由于光线问题，拍摄的图像可能存在一定的反光或者模糊的情况，为避免轮廓提取等后续步骤产生误差，需要对图像做孔洞填充。一般采用的方法为先扫描将要填充的像素点（x，y）为中心的3×3的块，用计数器记录这9个点中灰度值为255的点的个数N。若N≥5，则将点（x，y）的灰度值赋值为255，即像素点（x，y）被认为是前景;否则认为是背景，将点（x，y）赋值为0。

3.2.6 图像的边缘提取 每种水果都有其特定的形状特征，因此可以通过提取水果的边缘轮廓对水果的种类进行判断。边缘提取的主要思想是利用边缘增强算子，突出图像的边缘，并设置合适的阈值将边缘提取出来。但是由于噪聲等因素常使边缘变宽或者中断，因此还需要剔除部分变宽的区域并将间断点连接。从信号处理的角度来说，边缘提取就是提取灰度变换最剧烈的位置，因此也可以按照微分的角度对信号做边缘提取。

3.2.7 图像的特征提取 每种水果都具有其独特的特征，选取合适的特征参数来表征水果的种类至关重要。Eccentricity函数是特征提取的一种方法。Eccentricity指的是与区域具有相同标准二阶中心距的椭圆的离心率，通过计算研究对象所在区域的具有相同标准的二阶中心距的大小，可以表征一种图像的形状特点。但是由于水果的形状较为接近，单纯的Eccentricity可能无法准确地将水果进行分类。本研究采取颜色与Eccentricity函数相结合的方式，大大提高了水果分类的准确性。

3.3 水果的分拣

经过了前述关于苹果一些基本特征的判定，对水果进行分拣的流程如图4所示。分拣功能和前面流程对应主要完成以下方面：第1级，腐烂水果（水果表面出现腐烂）和完好水果的分拣;第2级，在完好水果的前提下，对采集的所有水果进行分类，比如梨、苹果、香蕉等其他所有采集到的水果;第3级，在对应种类水果的基础上，依据上述的大小等级判别和颜色判定，对其进行分拣，分出特等水果、优等水果、次等苹果、劣等水果。本研究实行的水果分拣都是基于各水果的相同品种，否则在使用颜色判断品质时会不成立。

其中，以苹果和梨为例，将其大小和颜色各分为3个等级。最后再对分拣出的水果数量做统计，统计出腐烂水果、特等水果、优等水果、次等水果、劣等水果以及已分拣水果的数量。

3.4 图像的删除

进行完前面的步骤，最后要对所有进行识别的图片完成删除功能，以发挥持续检测并节省电脑内存的作用。本研究利用delete函数，直接在时间函数下对已经识别统计完的图像进行删除操作。

3.5 同步模块

由于图像采集、处理速度与自动化设备在运行时间上的不同步，可能会出现图像处理结果和自动化设备分拣出的结果不匹配，系统长时间空转造成设备故障等问题。因此本系统在图像处理过程之前设置了时间模块，通过设置合适的时间，使所有图像处理的时间与自动化设备的时间匹配，大大提高了系统的鲁棒性。

3.6 图像采集完成的判别

上述操作完成后，需要去判断采集系统对水果图像的采集是否结束：若否，则重新从第2步开始对图像进行操作处理，完成一系列水果的分拣;若是，则直接结束操作。

4 系统测试

4.1 水果的图像识别

图5为苹果的Matlab图像处理过程，包括了原始图像、增强对比图像、二值化图像、孔洞填充图像、边缘提取图像和特征提取图像。

4.2 水果的腐烂检测

对输入的水果图像进行腐烂检测时，主要依据其表面颜色特征来进行评定。梨、苹果腐烂部分的颜色以棕色为主。当苹果腐烂时，苹果红色区域面积会降低，棕色面积变大。同理，当梨腐烂时会由嫩黄变为棕色。图6展示了腐烂水果的HIS模式图和色度直方图，直方图的横坐标为像素点H分量的角度值，纵坐标为像素点的数量。

4.3 水果种类的识别

本研究只以苹果和梨为例对水果进行了种类识别。前面软件设计中提到了利用 RGB 值转换为 HIS 模式，得到色度的直方图，通过颜色特征来进行评定，其中苹果和梨的颜色有较大差异，苹果以黄、红色为主，梨以黄色为主。图7、图8分别展示了水果的HIS模式图和色度直方图，直方图的横坐标为像素点H分量的角度值，纵坐标为像素点的数量。结合色度直方图和上述的特征提取方法，可以很容易地辨别出苹果和梨。

4.4 水果的大小等级判定

对大小不同的苹果或梨做具体判定。不同大小的水果图像在整体图像中的像素点数量也不同，因此本系统以水果像素点的数量作为判决标准。图9展示2种大小不同的苹果，其像素点显示分别为86 377和65 370，根据判决参数，>30 000判断为大果，25 000～30 000为中果，<25 000为小果，可以较为准确地对水果大小进行判断。

4.5 水果的颜色判定

以苹果为例，对2种色度不同的苹果进行分析，利用RGB值转换为HIS模式，得到色度的直方图，通过颜色特征来进行评定。图10展示了颜色较黄苹果的HIS模式图和色度直方图，通过色度直方图上像素点与有色区域像素点的比例，设置合适的阈值，可以实现颜色的准确识别，与图7、图8中的苹果作比较，实现颜色的判定。

4.6 水果的分拣显示

采集到梨、苹果以及腐烂水果的若干图像，然后依据系统设计方案和软件设计流程依次实现水果的分拣，具体见图11（只選取了部分）。图11-a左为水果图像，右为分拣后的评价，显示窗口出现：完好的苹果，颜色全红，属于大果，最终分拣为“这是特等水果”;统计数量依次显示在窗口。图11-b左为水果图像，显示窗口出现：完好的梨，颜色黄中带绿， 属于大果，最终分拣为“这是优等水果”;统计数量依次显示在窗口。图11-c为腐烂的水果，显示发出：警告！这是个坏果请处理。

4.7 误差分析

在上述所设计系统进行水果分拣时，发现其中有1个腐烂程度十分小的苹果在腐烂检测模块没有判别出来（图12）。图12中的苹果是腐烂水果，但是显示窗口出现“完好的苹果”字样。而其他不同腐烂程度的水果均获得正确的识别，并且能够实现水果的种类识别、颜色判定、大小等级判别及完成水果的分拣。

5 结论

本研究探讨了一种基于图像识别的水果分拣系统。通过硬件采集系统采集的各类不同水果的图像数据，利用Matlab仿真技术实现了对水果的腐烂检测、等级分拣、实时计数、实时清空内存等功能。通过测试结果来看，实现效果较好，解决了现实生活中的水果分拣困难的一些问题。但是由于所采用的一些方法较为简单，所以存在一定的精确度问题。如对腐烂检测中，只能识别腐烂程度较高的水果，腐烂程度较低可能会出现误差。在后续的研究中可以考虑从多角度图像采集、优化特征提取方法、优化缺陷检测方法等角度出发，以提高系统的同步性和准确性。

参考文献：

[1]Kawamura S，Natsuga M，Takekura K，et al. Development of automatic rice-quality inspection system[J]. Computers and Electronics in Agriculture，2003，40（1/2/3）：115-126.

[2]赵茂程，侯文军. 我国基于机器视觉的水果自动分级技术及研究进展[J]. 包装与食品机械，2007，25（5）：5-8.

[3]Zhao M C，Hou W J. Researches of machine vision on fruit automatic grading technology and its prospect in China[J]. Packaging and Food Machinery，2007，25（5）：5-8.

[4]Yud-Ren C，Chao K L，Moon S K. Machine vision technology for agricultural applications[J]. Computers and Electronics in Agriculture，2002，36（2/3）：173-191.

[5]费琦琪，施 杰，夏敏，等. 基于CNN的冰糖橙分级系统[J]. 江苏农业学报，2020，36（2）：513-519.

[6]Tao Y，Heinemann P H，Varqhese Z. Machine vision color inspection of potatoes and apples[J]. Transactions of the ASAE，1995，38（5）：1555-1561.

[7]Blanc P. Unit for sorting and packaging products capable of being hung on a hooking member for the purpose of their conveyance，such as bunches of fruits，in particular table grapes or truss tomatoes：US，US6957940[P]. 2005.

[8]Baigvand M，Banakar A，Minaei S，et al. Machine vision system for grading of driedfigs[J]. Computers & Electro nics in Agriculture，2015，119（C）：158-165.

[9]叶晋涛，王运祥，杨 杰，等. 马本学.哈密瓜颜色特征提取及成熟度分级的研究[J]. 石河子大学学报（自然科学版），2016，34（1）：106-111.

[10]魏康丽，王振杰，孙 柯，等. 基于计算机视觉对苹果脆片外观品质分级[J]. 南京农业大学学报，2017，40（3）：547-555.

[11]應义斌，饶秀勤，马俊福. 柑橘成熟度机器视觉无损检测方法研究[J]. 农业工程学报，2004，20（2）：144-147.