基于机器视觉的双孢蘑菇品质在线分级系统

姜凤利，王誉诺，李金翰，杨 鑫，岳凡伟

（沈阳农业大学信息与电气工程学院，沈阳110161）

双孢蘑菇（Agari cus b ispor us），又名白蘑菇或纽扣蘑菇，是世界上栽培、产量及消费最多的食用菌之一[1]。2019年我国双孢蘑菇工厂化产量为24.63万t，工厂化有效产能为610t·d-1。然而双孢蘑菇工厂化生产中仍然采用人工分级，巨大的劳动量、分拣规格不统一、效率低下以及不断攀升的人工成本等问题，严重制约双孢蘑菇产后深加工发展速度和程度[2]。随着机器视觉技术的发展，农产品品质无损检测获得了广泛研究[3-10]，同时其在食用菌品质检测的应用上也得到了快速发展[11-14]。李江波等[15]采用计算机视觉技术识别不同缺陷程度的香菇，整体识别率为96.5%。CHEN等[16]基于机器视觉设计了干燥香菇大小、颜色以及破损在线分级系统，对250个香菇进行分级，准确率达到97.6%。王风云等[2]设计了基于机器视觉技术的双孢蘑菇精选在线分级系统，采用分水岭、Canny算子、闭运算等图像处理方法对双孢蘑菇的大小进行了分级，基于开发的分级系统样机与人工分级进行了对比试验，平均准确率97.42%，相比人工分级准确率提高6.84%。但上述文献的分级系统以及算法只针对蘑菇的单面进行品质检测，双孢蘑菇菌盖的完好并不能完全表征蘑菇的品质，如何实现双孢蘑菇全表面信息检测分级是配套机械装置的难点。

新鲜的双孢蘑菇含水量高、组织细嫩，采摘后通常切根处理，保留1～2cm的柄部，这样菌盖和菇柄侧占蘑菇全表面的90%以上，因此检测双孢蘑菇的正反两面品质即可，但是双孢蘑菇菇体呈圆形或近圆形，形态圆整，对双孢蘑菇翻面提出了挑战。针对双孢蘑菇结构与外形特点，本研究利用机器视觉技术设计新鲜双孢蘑菇品质检测与分类装置，通过翻面机构进行蘑菇翻面，检测蘑菇正反两面图像，通过对图像实时处理，利用阈值分割、分水岭算法、SURF算法等图像处理技术获得双孢蘑菇菌盖面积、残缺情况、褐变程度3种特征参数值，参考国家双孢蘑菇分级标准实现双孢蘑菇品质的在线分级。

1 硬件系统设计

1.1 总体结构设计

本研究设计的双孢蘑菇在线分级系统主要由上料机构、传送机构、图像采集系统、翻面机构、控制系统和分级执行机构6部分组成。其中，上料机构包括蘑菇仓、蘑菇转盘。传送机构包括传送带、驱动装置。图像采集系统包括2个暗箱、2个摄像头（分辨率3264×2448）、嵌入式模块（树莓派）、LED光源。控制系统由三菱PLC、三菱触摸屏、继电器和5个光电传感器组成。分级执行机构包括2个完全相同的分拣爪。为了尽可能多的获取双孢蘑菇的表面信息，系统中包含2个摄像头分别获取双孢蘑菇的正反两面图像，覆盖双孢蘑菇90%以上的表面信息，摄像头与传送带上蘑菇的距离为150mm，暗箱内部安装LED环形光源。整机尺寸为2000mm×500mm×1390mm，结构如图1。

图1 分级系统结构示意图Figure 1 Structure diagram for sorting system

1.2 翻面机构

由于双孢蘑菇菇体的大小差异、形状不规则性，实现翻面尤其困难。本研究设计的翻面机构由两个反作用力弹簧机构、两个铁片和1个传感器组成。两铁片近似组成三角形，其顶角部分最大开口为15cm，最小开口为2cm（图2）。图3为翻面机构的侧视图，传感器与铁片顶端在侧面成30°的夹角，蘑菇在传送带上向前运行，进入两铁片组成的三角形后，由于蘑菇直径大于三角形的最小开口宽度，被铁片夹住不再向前运行，传送带继续向前运行，蘑菇受到的合力向斜上方，蘑菇受力后会竖立起来，使得传感器检测到蘑菇，启动铁片打开，实现翻面，蘑菇进入下一个暗箱。

图2 翻面机构结构示意图Figure 2 Schematic diagram of turning mechanism structure

图3 翻面机构侧视图Figure 3 Side view of turning mechanism

1.3 蘑菇仓

蘑菇仓如图4。蘑菇仓中的拨杆将蘑菇逐个通过圆孔送到蘑菇转盘中，使蘑菇有序均匀的进入传送带。

图4 蘑菇仓Figure 4 Mushroom bin

1.4 蘑菇转盘

蘑菇转盘如图5。蘑菇转盘由7个方盒（固定部分）和6个带有开口的圆铁片（旋转部分）组成。其中每个方盒都是三面开口，一面相连，组成锯齿状。6个带有开口的圆铁片插入到锯齿方盒中，且相邻两个铁片开口相差180°。当蘑菇落入第一方盒后铁片旋转，铁片开口旋转至方盒开口处，使得第一方盒中的蘑菇落入第二方盒中，后续动作同上。此机构使原本无序的蘑菇有序地落到传送带上，为设备后续处理工序提供便利，同时一次处理的蘑菇数量为6个，提高了设备工作效率。

图5 蘑菇转盘Figure 5 Mushroom turntable

1.5 分级执行机构

分级执行机构是由2个完全相同的分拣爪组成（图6）。分拣爪是由3个固定在三棱柱上的铁片组成，每个分拣爪由电机带动，并通过电机的正反转实现2个等级的分拣，电机固定在与横梁夹角60°的位置上，每个爪的顶端与所在三棱柱面夹角为120°。分拣爪每次接收到上位机的信号后旋转120°，在旋转到60°时底面与传送带上的蘑菇接触，之后60°转动过程中，将蘑菇从传送带上推落，完成分级。与传统的气泵推离不同，此装置没有所谓的回程，在蘑菇较为集中的情况下不会对蘑菇分拣造成影响，避免漏检。

图6 分级机构Figure 6 Grading claw

1.6 控制原理

双孢蘑菇自动分级系统工作原理如图7。当传送带上的传感器检测到有双孢蘑菇时，传送带运动，使双孢蘑菇运行至A暗箱，并启动A摄像头对双孢蘑菇的一面进行图像采集；然后将双孢蘑菇送入翻面机构进行翻面，当双孢蘑菇到达B暗箱，启动B摄像头对双孢蘑菇的另一面进行图像采集，采集完成后，传送带将蘑菇送入分拣区，根据上位机图像处理算法结果，分拣爪将蘑菇送入对应的分级筐，完成分拣过程。如果上位机判断蘑菇是D级，则顺着传送带送入D级分级筐。

图7 系统工作流程图Figure 7 System workflow diagram

2 机器视觉分类检测算法

系统根据双孢蘑菇的大小、残缺以及褐变等相应的特征参数，将其分为A、B、C、D共4个等级。

2.1 感兴趣区域提取

系统获取到的图像包括传送带及其边缘部分，为准确获取双孢蘑菇的特征参数，需要对原始图像进行感兴趣区域提取，从而将双孢蘑菇的图像从整幅图像中分离出来，去除干扰，得到感兴趣区域图像，作为后续的图像处理使用。第1步对摄像头拍到的图8a左侧截取158个像素，右侧截取150个像素，去除传送带侧边铝材，得到图8b；第2步对图8b中的图像采用OpenCV中的库函数findContours和boundingRect计算出蘑菇的最小外接矩形的左上点位置（x，y）和矩形的宽度w和高度h，然后对这个矩形向外延伸50个像素点，得到矩形的位置，长：x-50～x+w+50，宽：y-50～y+h+50，根据矩形的位置截取得到图8c。

图8 感兴趣区域提取Figure 8 Region of interest extraction

2.2 分水岭分割算法

本研究对双孢蘑菇正反两面分别进行图像轮廓提取，具体过程如图9。将原始图像a转化为灰度图像b，采用OSTU阈值分割算法，得到二值化图像c，为消除小型黑洞以及裂缝，通过形态学变换去除噪声数据得到图像d，对形态学变换得到的图像进行膨胀操作，得到扩张后含背景的图像e，通过距离变换确定前景图像f，背景和前景相减确定前景和背景重合的不确定区域。提取图像轮廓，得到标记markers。根据不确定区域在markers中经过分水岭变化最终得到原始图像的边界h。

2.1 研究对象剖宫产产后出血的发生情况调查 626例>35岁孕妇剖宫产术后发生产后出血共132例，产后出血发生率为21.09%，另有494例未发生产后出血，占比为78.91%。

图9 双孢蘑菇分水岭变换Figure 9 Watershed transformation of agaricus bisporus

2.3 菌盖面积计算

根据双孢蘑菇行业标准NY/T1790-2009[17]，选用双孢蘑菇直径作为大小分级的特征参数，分为“大、中、小”3级（直径＞45mm为1级，25mm≤直径≤45mm为2级，直径＜25mm为3级），本研究在此基础上将10mm≤直径＜25mm定义为3级，直径＜10mm定义为4级。本研究通过图像分辨率计算其面积，从而获得蘑菇的直径。装置选用的摄像头分辨率为96，根据2.2节获取的前景图像（图9g），计算前景图像的像素个数m，则蘑菇的面积为：m*25.4/96 mm2。分别计算蘑菇的正面和反面的面积，由于蘑菇柄部可能使蘑菇出现侧放现象，导致正面面积减小，因此取二者最大值作为蘑菇的面积。

2.4 残缺检查

SURF（speeded-up robust features）[18]算法是基于SIFT(scale-invariant feature transform)算法的改进算法，由BAY于2008年在欧洲计算机视觉国际会议上提出，该算法不依赖于像素值且受遮挡、角度等拍摄效果影响较小，具有计算速度快、稳定性高的特点，常用于边角检测[19]。SURF算法主要包括两个部分：特征点的提取、特征点的描述。

2.4.1 特征点提取 首先需要构建Hessian矩阵。图像I中任意一个像素点X=(x,y)的Hessian矩阵H(X,σ)为：

式中：σ为尺度；Lxx(X,σ)、Lxy(X,σ)、Lyy(X,σ)分别为高斯滤波后图像I在各个方向上的二阶导数。

为找到图像的特征点，需要对原图进行变换，将积分图像与方框滤波器的卷积近似表示为Dxx,Dxy,Dyy,则得到Hessian行列式近似计算为：

式中：λ为权重系数，用来平衡使用方框滤波器近似带来的误差。

将所有经过Hessian矩阵处理后的像素点与尺度空间中的点进行非极大值比较，找出图像的兴趣点。然后在尺度空间和图像空间中进行线性插值运算获得最后稳定的特征点。

图11 图像残缺判断Figure 11 Image incomplete determination

2.5 褐变筛选

Lab格式图像中L值能够较好地反映蘑菇的亮度[20]，从而反映蘑菇褐变程度，因此将摄像头获取的RGB格式图像转化为Lab格式图像。L的数值变化范围从0～100，L=0为黑色，L=100为白色，L值大表示偏白，L值小表示偏黑；L值在86及以上为品质好的蘑菇，L值在80～85之间为较好的蘑菇，L值在70～79之间为较差蘑菇，L值低于69的蘑菇则没有食用价值[10]，分别对应1,2,3,4共4个等级。对菌盖的每个像素点进行遍历，获得每个像素点的L值。由于暗箱中光线等原因，实际获得的蘑菇菌盖图像中L值达不到实际值，根据上述4个等级L值范围确定每个实际等级的下限值。

式中：LSimax、LSimin分别为等级i（i=1，2，3，4）对应范围的L最大值和最小值；LRimax为照相机获取的菌盖图像中像素的L最大值；LRi为等级i对应范围的下限值。

通过式（3）可以获得新的4个等级对应的区间范围。统计L值在获得的这个区间的像素个数，根据分水岭算法得到的菌盖像素个数，计算出区间中对应的像素个数占菌盖像素总数的比率为R1,R2,R3,R4，经过大量试验确定，R1≥0.65为1级，0.58≤R2＜0.65为2级，0.53≤R3＜0.58为3级，R4＜0.53为4级，褐变处理过程如图12。

图12 褐变筛选Figure 12 Browning selection

2.6 蘑菇等级确定

系统根据双孢蘑菇行业标准，将大小、残缺、褐变3种特征参数作为蘑菇等级检测标准，分类方法遵守最差原则进行判断。全部分类情况如表1。

表1 双孢蘑菇等级划分Table 1 Agaricus bus por us classification

3 多客户端数据可视化

系统可以通过本地显示屏、手机移动端、Web端对蘑菇分级结果进行实时显示。触摸屏示意图如图13。触摸屏主要包括管理员测试界面、分级数据界面，实现分级系统的各个部分的控制以及分级结果的实时显示。

图13 触摸屏界面示意图Figure 13 Schematic diagram of touch screen interface

微信小程序和Web界面示意图如图14和图15，主要包括首页界面，全部蘑菇数据界面以及单个蘑菇数据界面，均能实现蘑菇特征参数及分级结果的实时显示，用户可通过任意方式进行数据查询。

图14 手机移动端界面示意图Figure 14 Schematic diagram of the mobile phone interface

图15 Web端界面示意图Figure 15 Schematic diagram of the Web interface

4 试验结果与分析

为验证双孢蘑菇自动分级系统的可靠性以及所提分级方法的有效性，对样机进行试验。从食用菌基地采摘新鲜双孢蘑菇200个，采后直接运至实验室，使用样机进行测试并与人工分级结果进行对比，人工判别使用游标卡尺测量双孢蘑菇的菌盖直径作为大小参数，褐变、残缺特征参数找行业相关专家通过肉眼观察蘑菇外观进行判别。试验结果如表2。由表2可知，使用双孢蘑菇自动分级系统平均正确率约为96.45%，其中，检测错误主要是因为残缺和褐变出现在蘑菇的柄部或者侧面，摄像头无法拍到的部分。在传送速度为0.32m·s-1时，对200个蘑菇样品单个蘑菇正反面图像处理时间平均为0.4s，自动分级系统平均分级速度可达72个·min-1，试验结果表明本研究提出的分级方法对双孢蘑菇大小、褐变、残缺检测有效。

表2 双孢菇分级试验结果Table 2 Result of A garicus b is porus grading

5 讨论与结论

随着智能控制和机器视觉技术的迅速发展，在农产品分级方面逐渐实现机器代替人工作业，尤其是食用菌产业，随着工厂化生产的实现，食用菌自动精选分级需求迫切。近年来，国内外学者做了大量的关于香菇的分级方法研究，并研究设计了一些智能分级系统。对于双孢蘑菇分级，研究相对较少，王风云等[2]基于蘑菇大小参数，设计了基于机器视觉技术的双孢蘑菇精选在线分级系统，平均准确率97.42%，但是该系统仅考虑蘑菇大小参数，未考虑蘑菇的颜色、缺陷，此外蘑菇的反面部分对蘑菇的品质影响也不可忽视，如果出现开伞情况蘑菇品质将大打折扣。因此，本研究开发设计一套新鲜双孢蘑菇在线分级装置，可实现蘑菇正反面大小、褐变和残缺程度无损检测。

针对双孢蘑菇工厂化生产中自动分级的需求，本研究设计了包括上料机构、传送机构、翻面机构、图像采集系统、控制系统和分级执行机构的双孢蘑菇自动分级系统。系统采用蘑菇转盘将蘑菇仓中的蘑菇逐个有序地送入传送带，通过翻面机构实现双孢蘑菇的正反两面图像获取，能够覆盖蘑菇90%以上表面信息；分级执行机构由3个末端位置互差120°的分级爪构成，提升双孢蘑菇在分级流水线中分级效率。图像处理方面，提出采用OSTU图像分割、分水岭算法以及SURF算法分别对双孢蘑菇的大小、褐变、残缺程度等的品质检测与分类。其中分水岭算法能够更加准确有效地标出原始图像的轮廓；SURF算法将菌盖碰伤以及菌柄的裂缝都能准确检测出来，通过3个特征参数在蘑菇正反面的统计信息判定蘑菇等级。并开发了多种客户端软件，包括本地显示屏、手机移动端、Web端对蘑菇分级结果进行实时显示，并通过样机进行了试验验证，试验结果表明该检测分类装置具有较高的准确率。