基于机器视觉的双孢蘑菇在线自动分级系统设计与试验

王风云，封文杰，郑纪业，孙家波，牛鲁燕，陈振学，张学涛，王 磊※



基于机器视觉的双孢蘑菇在线自动分级系统设计与试验

王风云1，封文杰1，郑纪业1，孙家波1，牛鲁燕1，陈振学2，张学涛2，王 磊1※

（1. 山东省农业科学院科技信息研究所，济南 250100； 2. 山东大学控制科学与工程学院，济南 250061）

针对双孢蘑菇工厂化生产中人工分级劳动量大、生产效率低、标准不统一等问题，该文研究设计了一套基于机器视觉的双孢蘑菇精选分级系统，提出基于分水岭、Canny算子、闭运算等处理的双孢蘑菇图像大小分级算法，设计了基于传送速度、距离、触发时间与算法处理时间的精确控制策略，开发了基于OpenCV 2.4.10 和visual studio 2010的系统分析与控制软件，在最大限度减少破损情况下，实现双孢蘑菇实时在线精选分级。基于研发的双孢蘑菇自动精选分级系统样机，对新鲜双孢蘑菇进行了分级性能及分级效果的测试。试验结果表明，在输送速度12.7 m/min、相机行频1 900 Hz下，自动分级系统的平均分级速度是102.41个/min、平均准确率97.42%、破损率0.05%、漏检率0.96%，相对于人工分级效率提高38.86%，准确率提高6.84%，破损率降低0.13%，可以连续稳定工作。对于长时间分级，由于人容易疲劳，自动分级的优势更加明显。

图像处理；菌；算法；双孢蘑菇；自动分级

0 引 言

分拣次品或不合格产品是工业化生产流水线的一个重要环节，由于工业产品的规则性、一致性，其产品分级或不合格产品的分拣比较容易[1-2]。对于农产品，品种繁多、数量庞大，同一种农产品由于生长环境、营养等因素，也会导致个体差异非常大，实现自动精选分级成为鲜食农产品的一大难题[3-6]。

双孢蘑菇由于含有多种氨基酸、核苷酸、维生素B1、维生素B2、维生素C、维生素PP、维生素D原等，特别是它含有的酪氨酶、多糖的醌类化合物具有明显的降低血压、抑制肿瘤细胞活性的作用，从而备受人们喜爱[7]。从菌盖直径达2 cm开始，直到将近成熟、菌幕破裂前均适于采收，用于罐头制品的菇体为较小的幼菇，以直径2～3.5 cm为宜，供人们食用的蘑菇由于其大小不同而价格不同。基于储藏与人们的食用需求，需要对双孢蘑菇根据直径大小精选分级[8]。由于鲜双孢蘑菇的易损、不规则性，目前双孢蘑菇工厂化生产中的分级主要是依靠人工进行，是双孢蘑菇工厂化生产中劳动力成本最大的一个环节，存在人工分级劳动量大、生产效率低、标准不统一等问题，严重制约着双孢蘑菇产后加工的发展。

近年来，随着智能控制和机器视觉技术的发展，国内外学者做了大量的农产品分级方法研究[9-12]，并研究设计了一些智能分级系统[13-15]。在蘑菇图像分析方面，Tillett等[16]通过图像算法识别蘑菇基床上单个蘑菇的尺寸和位置，基于蘑菇形状知识库来提取蘑菇灰度图像的轮廓。Vooren等[17]利用图像分析方法通过蘑菇图像的面积、偏心率、菇面形状系数和菇柄形状系统来识别蘑菇品种，试验识别率达到了80%。Vı́zhányó等[18]利用简单的聚类分析对蘑菇衰老、损坏以及细菌感染导致的颜色变化来识别患病蘑菇。Van等[19]对蘑菇柄部进行图像分析，利用菇柄灰度值来判断蘑菇的生长发育阶段。在蘑菇分级系统方面，Chen等[20]设计了基于机器视觉技术的香菇大小分级及异色香菇、破损香菇的识别和剔除系统，分级时间长，效率低。葛亮[21]设计了香菇实时分级生产线，对干蘑菇进行了试验，能够实现自动化，具有较强的适应性。

综上，国内外学者基于机器视觉技术对农产品的精选分级进行了大量的研究，有学者对香菇的分级进行了研究，分级时间长，效率低，在对新鲜双孢蘑菇的精选分级方面没有相关研究。本文利用机械电子、机器视觉、智能控制等技术，研究设计一套双孢蘑菇自动精选分级系统，提出基于分水岭、Canny算子、闭运算等处理的双孢蘑菇图像大小分级算法，设计了基于传送速度、距离、触发时间与算法处理时间的精确控制策略，开发了基于OpenCV 2.4.10 和visual studio 2010的系统分析与控制软件，在最大限度减少破损情况下，实现在线实时自动精选分级。基于研发的双孢蘑菇自动精选分级系统样机，对新鲜双孢蘑菇进行了分级性能及效果的测试。

1 硬件系统设计

1.1 整机结构及参数

双孢蘑菇自动精选分级系统硬件主要由输送机构、图像采集系统、控制部分和执行机构4部分组成。其中输送机构由机架、输送带、电机和变频器等组成，图像采集系统由触发器、光源、工业相机、光源控制器以及图像采集卡组成，控制部分由继电器启动装置、电磁阀和工控机组成，执行机构由空气压缩机、二联件、接头、消声器、气缸以及气路等组成。整体结构如图1所示，其中1、2、21和22组成了输送机构的主体，3～16和23～28组成了执行机构的主体，17～20组成了图像采集系统的主体。

1. 固定支架 2. 传送带 3. 第二侧板 4. 第二执行机构 5. 第四导向杆6. 第二滑块 7. 第二连接件 8. 第二拨动片 9. 第二挡板 10. 第一侧板 11. 第一级执行机构 12. 第三导向杆 13. 第一滑块 14. 第一连接件 15. 第一拨动片 16. 第一挡板 17. 光电传感器 18. 光源 19. 工业相机 20. 图像采集支架 21. 第二导向板 22. 第一导向板 23. 第一副挡板 24. 第一副出料板 25. 第一副侧板 26. 第二副挡板 27. 第二副出料板 28. 第二副侧板

1.2 输送机构

输送机构包括输送带、托辊、驱动装置、拉紧装置、清扫器和机架。输送带为聚氨酯材料，周长3 200 mm，宽200 mm，厚1.8 mm，托辊直径80 mm。驱动装置为德力电机，0.18 kW减速电机，使用施耐德ATV12H037M2变频器调速，0.1～30 m/min可调，设计有急停按钮。

1.3 图像采集系统

选用MV-LC2K40高速线阵相机（分辨率2048Í1），AFT-LCL50镜头（焦距50 mm），光电传感器，AFT-LL86232W线性光源，AFT-ALP24150-01光源控制器，LIC-2KB02图像采集卡和F口近摄接圈组成图像采集系统，对连续运动的双孢蘑菇进行持续地图像采集。

1.4 控制系统

控制系统由工控机MV-VS810、基于USB总线的USB-4761继电器启动装置和4V220-06五口两位电磁阀组成。USB-4761继电器启动装置配有LED指示灯，显示继电器的开/关状态，电磁阀的最高频率可达5次/s。

1.5 执行机构

执行机构包括完全相同的2套装置，由OLF-2524/7空气压缩机、GFC200-08二联件、BSLM01消声器、RMTL10X200A气缸、接头、气路、挡板、拨动片等组成。

1.6 系统工作流程

双孢蘑菇精选分级系统工作流程如图2所示。系统工作时，调整光源控制器，使图像清晰稳定，给空气压缩机送电，加压至额定值0.3 MPa。启动传送带电机，调整传送带速度，人工上料，双孢蘑菇等间距单排单列依次进入传送带的导向板，并跟随传送带运动，当其进入线阵相机的图像采集区域时，光电触发器产生触发脉冲，触发工业相机对运动的蘑菇进行拍摄，工控机通过图像采集卡采集图像信息，并对采集到的图像数据进行分析处理，将分级结果变成指令信息输送给相应的继电器启动装置，通过控制电磁阀的开闭来控制气缸，带动相应的拨动片将蘑菇送至相应的容器内，完成在线自动分级。

图2 系统工作流程

1.7 系统工作参数

工控机处理器3.40 GHz，内存4.00 GB，win7操作系统；输送机构工作电压220 V AC，功率0.18 kW，运动速度0.1～30 m/min，运动范围3 200 mm，运动宽度200 mm，中心最大负载3 kg，分级产品直径最大10 cm；图像采集系统工作电压12 V DC，工作功率<6 W，行频1 000～2 000 Hz；执行机构工作电压220 V，额定大气压力0.3 MPa，电磁阀最高频率5次/s。

2 图像处理

系统根据双孢蘑菇行业标准[22]，选用双孢蘑菇菌盖直径作为精选分级的特征参数，分为“大、中、小”3级[23]。在进行图像分析时，发现图像阴影的存在和双孢蘑菇柄部是影响测量最大直径的重要因素，为此先结合全局阈值分割法与寻找最大熵阈值分割法进行第1次分水岭算法去除阴影部分[24]，然后使用Canny算子、闭运算等进行第2次分水岭方法去除柄部干扰，最后采用最小外接矩形法求得双孢蘑菇菌盖的直径。

2.1 基本全局阈值法获取阈值T1

在进行基本全局阈值法之前，先对采集到的原始图像image进行感兴趣区域提取，去除无关干扰元素后，得到ROI_image，再使用基本全局阈值法进行分割[25]，方法如下：

（1）为全局阈值选择一个初始估计值（图像的平均灰度）。

（2）用分割图像。产生2组像素：1由灰度值大于的像素组成，2由小于等于的像素组成。

（3）计算1和2像素的平均灰度值1和2；

（5）重复步骤（2）和（4），直到连续迭代中的值间的差为0。

最后得到的就是需要的阈值1。对图像进行二值化处理首先需要将图像转换为灰度图，然后对灰度值大于阈值1的像素点赋值255，表现为白色，对灰度值小于1的像素点赋值为0，表现为黑色。这样整幅图像就转换为了灰度值只有0和255的二值图像，表现为非黑即白，得到图像image1。

2.2 最大熵法获取阈值T2

所谓“熵”，就是指随机变量的不确定性，熵最大的时候也就是随机变量最随机最不确定的情况。最大熵原理就是在已知某些确定的信息的前提下，对未知的信息不做任何的假设保持其最随机最不确定的状态是最合理的推断[26]。在一幅图像中，在前景与背景交界处信息量最大，也就是熵最大。这里使用KSW熵算法寻找使熵最大的阈值[27]。

设分割阈值为,图像有个灰度级，有

则这2个概率密度相关的熵()和()分别为：

定义熵函数为：

当熵函数()取得最大值时，对应的灰度级就是所求的最佳阈值2。在进行二值化处理前先将待处理图像转化为灰度图，然后对灰度值大于阈值2的像素点赋值128，表现为灰色，对灰度值小于阈值2的像素点赋值为0，表现为黑色，得到图像image2。

2.3 第1次分水岭法

以image1的前景作为标记图像marker1的前景，标记为灰度值为255的白色；以image2的背景作为marker1的背景，标记为灰度值为128的灰色；其他像素点标记为灰度值为0的黑色。设置marker1为分水岭的标记图像，标记出确定的前景区域，确定的背景区域和不确定区域，然后使用分水岭算法结合已知的前景与背景特征对图像进行处理，得到第1次分水岭结果图watershed1。

2.4 轮廓提取

Canny算子是一种用于进行边缘检测的算子[28]，高低阈值分别使用前面获得的阈值1和2。在低阈值边缘分布图上只保留具有连接路径的边缘点，同时把那些边缘点连接到属于高阈值边缘分布图的边缘上[6]，获得第1轮廓图contours1，这就使得高阈值分布图上的所有边缘点都被保留下来而低阈值分布图上边缘点的孤立链全部被移除。

2.5 或运算和闭运算

将watershed1的前景（即双孢蘑菇部分）转换为黑色（灰度值为0），背景转换为白色（灰度值为255）；将contours1的前景（由Canny算子获得的双孢蘑菇轮廓）设置为白色（灰度值为255），背景设置为黑色（灰度值为0），这2个图像进行逻辑或运算，若一个为1，则为1，只有同为0才为0，得到result1图像，这样有效去掉contours1中非双孢蘑菇的边缘，同时只保留了双孢蘑菇内部（比如双孢蘑菇与柄的连接部分）边缘。再对result1图像进行闭运算（先膨胀后腐蚀），多次试验表明进行8次闭运算处理结果较好。闭运算后得到这一步的处理结果图image_closed。

2.6 第2次分水岭

将image_closed中的双孢蘑菇部分作为标记图像marker2的前景，标记为灰度值为255的白色；以watershed1的背景作为标记图像marker2的背景，标记为灰度值为128的灰色，其他像素点标记为灰色，得到标记图像marker2，作为第2次分水岭的标记图像进行处理，得到第2次分水岭结果图watershed2。

2.7 最小外接矩形

对watershed2进行轮廓提取，并进行过大和过小轮廓的剔除[29]，获得第2轮廓图contours2，对图像先使用格雷厄姆法求解目标图像的凸壳，再使用等间隔旋转搜索的方法，求解面积最小外接矩形[30]，获得结果图result2，具体实现如下：

（1）先找到目标轮廓的一个外接矩形1，并计算它的面积1，令MIN=1，MIN=1，设置此时的位置角度==0；

（2）将目标轮廓顺时针旋转一个角度（视精确度而定），再寻找它的一个外接矩形2，计算其面积2，设置此时的位置角度=+；

（3）比较MIN与2的大小，若2MIN，则令MIN2,=，MIN=2；

最小外接矩形的2条邻边中较长的那条边即为要求的双孢蘑菇菌盖最大直径。由于菌盖是圆形对称的，虽然不同菇柄长度会导致双孢蘑菇倾斜程度不同，其投影图像最小外接矩形的短边会减小，但长边无变化，不会影响菌盖最大直径。

2.8 图像标定

由于提取特征值后得到的直径值是像素坐标下的值，需要对像素坐标和实际坐标进行转换。具体方法为：用水平放置的刻度尺作为参考，在刻度尺的两处做好标记，记录2标记点间的实际坐标差；然后多次检测2标记点间的像素坐标差，利用公式（7）求得像素坐标和实际坐标间的比例：

其中为单位长度内的像素数，1表示左标记点的像素坐标，2表示右标记点的像素坐标，表示刻度尺上2个标记点间的实际距离。利用已获得的像素坐标下的直径值除以即可得到双孢蘑菇的实际直径值。

图像处理算法流程如图3。

图3 算法流程

3 系统控制原理与控制策略

当传感器检测到蘑菇到来时，立即触发工业相机进行行扫描，工控机获得图像进行算法处理，得出蘑菇的分级结论，通过相应的时间延迟后，对应的电磁阀动作，将蘑菇送至相应容器。

传送带的速度决定着线阵相机的行频和执行机构动作的准确性。线阵相机要扫描到清晰的图片，需要相机行频和蘑菇运动速度匹配，蘑菇运动速度越快，需要行频越大，执行机构动作就越频繁。

在设计时，对应于蘑菇量最大的级别设置为容器3（离光电触发器最远的容器），这样电磁阀都不动作，直接通过传送带送至容器，对应于蘑菇量第二大的级别设置为容器2（离光电触发器较远的容器），给予较长的延迟时间，对应于蘑菇量最小的级别设置为容器1（离光电触发器最近的容器），这样离触发器比较近的电磁阀动作频率最少，使得执行机构的执行效率达到最优。

传送带速度与行频有对应关系，若速度发生变化，而不改变行频，则图像便会扭曲，试验中测定的速度与行频对应关系如表1。

表1 速度与行频对应关系

电磁阀由工控机基于USB总线直接控制，使用8路继电器输出模块USB-4761，每个继电器都带有1个显示其开/关状态的绿色LED指示灯，其中2个端口输出控制1个拨动片，本系统有2个电磁阀，使用低位的4个端口D0～D3，上升沿触发。所以初始化时，低4位全部置0，将每个拨动片对应的低端口置1，放入双孢蘑菇检测，需要拨动片动作时，对应拨动片的端口电位取反。

4 软件系统

基于OpenCV 2.4.10 和visual studio 2010设计开发了双孢蘑菇自动精选分级的图像分析处理与控制软件，如图4所示。图像分析处理软件通过图像采集卡与工业相机通讯，实时采集图像，实时分析处理，分类结果通过USB端口给执行机构发送命令，实现双孢蘑菇实时在线分级，以及相机参数（端口、行频、曝光）、控制参数（传送速度、一级挡板距离、二级挡板距离、标定系统）和分级参数（一、二、三级直径）等参数的可视化编辑，实时显示双孢蘑菇图像及分级结果。

图4 系统软件界面

5 试验与结果分析

为验证系统的适用性和可靠性，对样机进行了试验，样机如图5所示。试验根据行业标准NY/T 1790-2009，将双孢蘑菇按菌盖直径大小分为3级：直径>45 mm为一级，25 mm≤直径≤45 mm为二级，直径<25 mm为三级[22]。自2017年6月平台搭建起开始进行了大量的试验与系统完善。试验初期以调试为主，样品量比较少，直接从济南历下大润发超市购买，但超市购买到的样品大小差异性不大。系统稳定运行后进行了10次大批量样品试验，直接从济阳县垛石镇富财食用菌基地获取样品，品种W2000，每次样品500个以上。试验主要进行分级效率、准确率、破损率以及漏检率测试。

以2017年10月18号的试验为例进行分析，早8点45分左右从基地采摘样品1 160个，采后直接运至实验室，在样机输送速度12.7 m/min、相机行频1 900 Hz条件下进行试验，数据如表2。每组试验结束后进行人工统计，计算自动分级的漏检率（人工分级不存在漏检率），并使用游标卡尺测量双孢蘑菇按菌盖直径，验证自动分级和人工分级的准确性。

图5 试验样机

表2中序号1～10每组100个样品左右，时间在1 min左右，序号11是512个样品一次性分级测试，以测试长时间运行效果。设每次试验时间M（min），一级、二级、三级自动分级计数分别为G1、G2和G3，人工统计一级、二级、三级个数分别为H1、H2和H3，卡尺测量一级、二级、三级个数分别为C1、C2和C3，一级、二级、三级破损个数分别为D1、D2和D3，则分级效率E、准确率A、破损率D、漏检率L计算如下：

表2 双孢蘑菇自动分级与人工分级试验数据

注：双孢蘑菇按菌盖直径大小分为一级（>45 mm）、二级（25～45 mm）、三级（<25 mm）。

Note: Agaricus bisporus is divided to Grade I (>45 mm), Grade II (25～45 mm), Grade III (<25 mm) by the cap diameter.

人工分级的效率、准确率和破损率计算方法相同。根据式（8）～（11）分别计算出自动分级与人工分级的效率，准确率、破损率以及漏检率，对序号1～10的数据进行平均，得出平均效率、准确率、破损率和漏检率，如表3。

表3 双孢蘑菇自动分级与人工分级结果分析

通过表3可以看出，输送速度12.7 m/min、相机行频1 900 Hz条件下系统自动分级的平均速度是102.41个/min，平均准确率97.42%，破损率0.05%，漏检率0.96%，相对于人工分级效率提高38.86%，准确率提高6.84%，破损率降低0.13%，可以连续稳定工作。对于长时间分级（500多个样品），由于人容易疲劳，自动分级的优势明显。实际生产中工人每天（8 h）分拣60～100 kg，机器102.41个/min，合计约1.29 kg/min，8 h自动分拣619.31 kg，相对于人工每天最高100 kg的效率，提高5倍多。

6 讨 论

（1）理论上，每个电磁阀动作最高频率为5次/s，每分钟处理300个双孢蘑菇，2个电磁阀间歇工作达600个/min；工控机程序运行1个周期，获取图像15 ms左右，图像处理90 ms左右，界面刷新15 ms左右，每分钟处理500个左右的双孢蘑菇；传送带速度0.1～30 m/min可调，试验测得相邻蘑菇最小间距0.07 m，对应于12.7 m/min的传送速度，每分钟可以处理181个双孢蘑菇，而试验的平均分级速度是102.41个/min，远远低于理论值，主要是由于上料方式所限。系统中双孢蘑菇单个等间隔排列依次沿导向板进入输送带，设计过程中使用振动盘上料，易粘连或重叠，而且破损比较大，试验时改为人工上料，是制约本系统商用化的一个关键因素，影响着整个系统的分级效率，也是课题后续研究的重点。

（2）图像处理算法处理了影响最大直径的2个重要因素—柄部与阴影的干扰，当样品上有褐色斑点或损伤导致图像内部存在大块连通区域时，本算法会存在一定的误差，影响了分级准确性。执行机构使用同一个气源，设定值为0.3 MPa，对于过大或过小的蘑菇，由于压力不够或压力过大，存在打不出蘑菇或将蘑菇打至其它容器的个别现象，影响了分级准确性。

（3）蘑菇运动速度越快，相机行频越大，对于设定的传送带速度，相机行频固定，可识别的相邻蘑菇之间有个最小间距，当进入传送带的相邻2个蘑菇之间的距离小于最小间距时，就会存在识别遗漏现象，导致漏检，同时也影响着分级的准确性。

（4）试验中蘑菇破损是由于执行机构气压小，没有被打至适当容器，挤在挡板处导致，调整压力后，破损很少发生。试验结果显示人工分级的破损率高于系统自动分级的破损率，主要是由于人的主观因素，急于与系统自动分级对比速度，不自然地加大抓取力度，加之不抬头的向相应容器里扔蘑菇导致，而系统自动分级很好地解决了人工分级主观性问题。

7 结 论

1）针对双孢蘑菇工厂化生产中自动分级需求，首先设计了由工控机、输送机构、图像采集装置、控制模块和执行机构组成的硬件系统。

2）提出了基于2次分水岭算法的图像分析处理方法，第1次分水岭算法结合全局阈值分割法与寻找最大熵阈值分割法去除阴影部分，第2次分水岭算法使用Canny算子、或运算和闭运算去除柄部干扰，而后采用最小外接矩形法求得双孢蘑菇菌盖的直径。

3）设计了基于传送速度、距离、触发时间与算法处理时间的精确控制策略，数量最多的等级直接通过传送带送至容器，对应于数量第二的等级由离触发器较远的执行机构动作，给予较长的延迟时间，离触发器比较近的执行机构动作频率最少，使得执行机构的执行效率达到最优。

4）开发了相应的图像分析处理与控制软件，并在试验样机上进行了试验。本文提出的双孢蘑菇自动分级系统，在输送速度12.7 m/min、相机行频1 900 Hz下的分级效率可达102.41个/min，分级准确率可达97.42%，8 h工作效率提高5倍多。自动分级系统的效率和准确率都高于人工分级，破损率低于人工分级，对于长时间分级，自动分级的优势更加明显。

[1] 何泽强. 基于机器视觉的工业机器人分拣系统设计[D].哈尔滨：哈尔滨工业大学，2016. He Zeqiang. Design of Industrial Robot Sorting System Based on Machine Vision [D]. Harbin: Harbin Institute of Technology, 2016. (in Chinese with English abstract)

[2] Jyoti Jhawar. Orange Sorting by Applying Pattern Recognition on Colour Image[J]. Procedia Computer Science, 2016, 78: 691－697.

[3] 林欢，许林云. 中国农业机器人发展及应用现状[J]. 浙江农业学报，2015，27(5)：865－871. Lin Huan, Xu Linyun. The development and prospect of agricultural robots in China[J]. Acta Agriculturae Zhejiangensis, 2015, 27(5): 865－871. (in Chinese with English abstract)

[4] Kondo N. Automation on fruit and vegetable grading system and food traceability [J]. Trends in Food Science & Technology, 2010, 21(3): 145－152．

[5] 高新浩，刘斌. 基于机器视觉的鲜食玉米品质检测分类器设计与试验[J]. 农业工程学报，2016，32(1)：298－303. Gao Xinjie, Liu Bin. Design and experiment of fresh corn quality detection classifier based on machine vision [J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(1): 298－303. (in Chinese with English abstract)

[6] 张志强，牛智有，赵思明，等. 基于机器视觉技术的淡水鱼质量分级[J]. 农业工程学报，2011，27(2)：350－354. Zhang Zhiqiang, Niu Zhiyou, Zhao Siming, et al. Weight grading of freshwater fish based on computer vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2011, 27(2): 350－354. (in Chinese with English abstract)

[7] 陈青君，魏金康. 双孢蘑菇设施栽培实用技术[M]. 北京：中国农业大学出版社，2015.

[8] 刘战丽，王相友. 双孢蘑菇贮藏品质评价方法及适收期研究[J]. 食品科技，2015，40(6)：42－46. Liu Zhanli, Wang Xiangyou. Quality evaluation and suitable harvest date of mushroom (Agaricus bisporus)[J]. Food Science and Technology, 2015, 40(6): 42－46. (in Chinese with English abstract)

[9] 周竹，黄懿，李小昱，等. 基于机器视觉的马铃薯自动分级方法[J]. 农业工程学报，2012，28(7)：178－183. Zhou Zhu, Huang Yi, Li Xiaoyu, et al. Automatic detecting and grading method of potatoes based on machine vision [J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(7): 178－183. (in Chinese with English abstract)

[10] 董春旺，朱宏凯，周小芬，等. 基于机器视觉和工艺参数的针芽形绿茶外形品质评价[J]. 农业机械学报，2017，48(9)：38－45. Dong Chunwang, Zhu Hongkai, Zhou Xiaofen, et al. Quality evaluation for appearance of needle green tea based on machine vision and process parameter[J]. Transactions of the Chinese Society for Agricultural Machinery, 2017, 48(9): 38－45. (in Chinese with English abstract)

[11] 王慧慧，孙永海，张贵林，等. 基于压力和图像的鲜玉米果穗成熟度分级方法[J]. 农业工程学报，2010，26(7)：369－373. Wang Huihui, Sun Yonghai, Zhang Guilin, et al. Grading method of fresh corn ear maturity based on pressure and image[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2010, 26(7): 369－373. (in Chinese with English abstract)

[12] 王红军，熊俊涛，黎邹邹，等. 基于机器视觉图像特征参数的马铃薯质量和形状分级方法[J]. 农业工程学报，2016，32(8)：272－277. Wang Hongjun, Xiong Juntao, Li Zouzou, et al. Potato grading method of weight and shape based on imaging characteristics parameters in machine vision system [J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(8): 272－277. (in Chinese with English abstract)

[13] 李明智，张光发，于功志，等. 扇贝苗分级计数装置的设计与试验[J]. 农业工程学报，2015，31(21)：93－101. Li Mingzhi, Zhang Guangfa, Yu Gongzhi, et al. Design and experiment of grading and counting device for scallop seedling[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(20): 93－101. (in Chinese with English abstract)

[14] 展慧，李小昱，王为，等. 基于机器视觉的板栗分级检测方法[J]. 农业工程学报，2010，26(4)：327－331. Zhan Hui, Li Xiaoyu, Wang Wei, et al. Determination of chestnuts grading based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 26(4): 327－331. (in Chinese with English abstract)

[15] 王树才，文友先，刘俭英. 基于机器人的禽蛋自动检测与分级系统集成开发[J]. 农业工程学报，2008，(4)：186－189. Wang Shucai, Wen Youxian, Liu Jianying. Integrated development of the system of robot for detecting and grading eggs[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2008, 24(4): 186－189. (in Chinese with English abstract)

[16] Tillett RD, Batchelor BJ. An algorithm for locating mushrooms in a growing bed [J]. Computers and Electronics in Agriculture, 1991,6(3): 191－200.

[17] Vooren JG, Polder G, Heijden GWAM. Application of image analysis for variety testing of mushroom[J]. Euphytica, 1991, 57(3): 245－250.

[18] Vı́zhányó T, Felföldi J. Enhancing colour differences in images of diseased mushrooms[J]. Computers and Electronics in Agriculture, 2000 (26): 187－198.

[19] Van Loon PCC. Het bepalen van het ontwikkelingsstadium bij de champignon met computer beeldanalyse.[J]. Champignoncultuur, 1996, 40(9): 347－353.

[20] Chen Ho-Hsien, Ting Ching-Hua. The development of a machine vision system for shiitake grading [J]. Journal of Food Quality, 2004, 27(5): 352－365.

[21] 葛亮. 香菇实时分级生产线的研究[D]. 武汉：华中农业大学，2012. Ge Liang. The Research of The Real Time Grading Line of Mushrooms[D]. Wuhan: Huazhong Agricultural University, 2012. (in Chinese with English abstract)

[22] NY/T 1790-2009，双孢蘑菇等级规格 [S]. NY/T 1790-2009, Grades and specification of Agaricus bisporus.

[23] 陈艳军，张俊雄，李伟，等. 基于机器视觉的苹果最大横切面直径分级方法[J]. 农业工程学报，2012，28(2)：284－288. ChenYanjun, Zhang Junxiong, Li Wei, et al. Grading method of apple by maximum cross-sectional diameter based on computer vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(2): 284－288. (in Chinese with English abstract)

[24] 杜建军，郭新宇，王传宇，等. 基于分级阈值和多级筛分的玉米果穗穗粒分割方法[J]. 农业工程学报，2015，31(15)：140－146. Du Jianjun, GuoXinyu, Wang Chuanyu, et al. Segmentation method for kernels of corn ear based on hierarchical threshold and multi-level screening[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(15): 140－146. (in Chinese with English abstract)

[25] C Durastanti. Adaptive global thresholding on the sphere [J]. Journal of Multivariate Analysis, 2016, 151: 110－132.

[26] 师韵，王震，王旭启，等. 基于改进遗传算法的最大熵作物病害叶片图像分割算法[J]. 江苏农业科学，2015，43(9)：453－455. Shi Yun, Wang Zhen, Wang Xuqi, et al. Texture image segmentation method with crop disease based on genetic algorithm and maximum entropy[J] Jiangsu Agricultural Sciences, 2015, 43(9): 453－455. (in Chinese with English abstract)

[27] 夏华. 基于自然路标的室内机器人双目视觉定位系统的研究[D]. 长春：吉林大学，2017. Xia Hua. Research on Binocular Vision Localization System for Indoor Robot Based on Natural Landmarks[D]. Changchun: Jilin University, 2017. (in Chinese with English abstract)

[28] 拓小明，李云红，刘旭，等. 基于Canny算子与阈值分割的边缘检测算法[J]. 西安工程大学学报，2014，28(6)：745－749. Tuo Xiaoming, Li Yunhong, Liu Xu, et al. The edge detection algorithm based on Canny operator and threshold segmentation[J]. Journal of Xi’an Polytechnic University, 2014, 28(6):745－749. (in Chinese with English abstract)

[29] 李恺，杨艳丽，刘凯，等. 基于机器视觉的红掌检测分级方法[J]. 农业工程学报，2013，29(24)：196－203. Li Kai, Yang Yanli, Liu Kai, et al. Determination and grading ofbased on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(24): 196－203. (in Chinese with English abstract)

[30] 杨意，初麒，杨艳丽，等. 基于机器视觉的白掌组培苗在线分级方法[J]. 农业工程学报，2016，32(8)：33－40. Yang Yi, Chu Qi, Yang Yanli, et al. Online grading method for tissue culture seedlings of Spathiphyllum floribundum based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(8): 33－40. (in Chinese with English abstract)

Design and experiment of automatic sorting and grading system based on machine vision for white

Wang Fengyun1, Feng Wenjie1, Zheng Jiye1, Sun Jiabo1, Niu Luyan1, Chen Zhenxue2, Zhang Xuetao2, Wang Lei1※

(1.250100,; 2.250061,)

Whiteis an excellent source of the B vitamins, riboflavin, niacin, and pantothenic acid and also a good source of the dietary mineral phosphorus. It is one of the most commonly and widely consumed mushrooms in the world. The production of whitehas been industrialized in China. However, during the last production chain, it needs a lot of labors to sort and grade the white. The manual sorting and grading mode has many disadvantages such as larger error, low productivity, non-uniform standard, and so on. With the development of machine vision technology, it has been successfully used for automatic inspection and sorting, especially in agricultural industry due to its nondestructive characteristic. An automatic sorting and grading system based on machine vision was designed in this paper. Firstly, an automatic sorting and grading hardware system was designed. It included conveying mechanism, image acquiring system, control module and actuator. The conveying mechanism consists of the fixed support, conveyor, roller, driving unit, tension unit, cleaner and guide plate. The image acquiring system consists of a line scan camera, lens, light source and its controller. The control module consists of photoelectric sensor controlling the camera, electromagnetic valve and relay starter controlling the actuator. The actuator consists of the air compressor, duplex pieces, muffler, air cylinder, joints, gas channel, guide rod, slider, connector, flap, baffle,and so on. Secondly, it put forward an image algorithm based on the watershed method, Canny operator, OR operation and closed operation to determine the diameter of white. The first watershed algorithm combining the global threshold segmentation method and maximum entropy threshold segmentation method is used to remove the shadow of image. The second watershed algorithm based on Canny operator, OR operator and closed operation is used to remove the disturbance of petiole. The minimum enclosing rectangle method is used to get the diameter of white button mushroom. Thirdly, a precise control strategy based on the conveyor speed, distance between trigger and flap piece, trigger time and algorithm processing time was designed. Finally, the software based on OpenCV 2.4.10 and Visual Studio 2010 was developed in this paper to acquire, analyze and process the image and output the control instruction to control the valve by USB-4761 module. It also has the visual parameter configuration function for camera, control module and grading standard. When the whole system starts at the first time, the light source of image acquiring system is adjusted by the light controller to make the image clear and stable. The air compressor is powered on and pressurized to the rated pressure of 0.3 MPa. The motor of conveyor is started and the speed of the conveyor belt is adjusted according to the actual production requirement. The whitegoes into the guide bar with the conveyor belt. When the whitegoes into the region of image acquiring, it triggers the industrial camera to scan. The image data are transmitted to the industrial computer by image capture card. The software analyzes the image on line. The analyzed result is sent to the related solenoid valve through the digital control module. When the whitearrives near the container of related grade, it is sorted into the container by the related flap piece driven by the solenoid valve. In order to validate the applicability and reliability, the test of grading performance and effect was carried out with the prototype of sorting and grading system at 12.7 m/min conveying speed and 1900 Hz line frequency. The results showed that the average maximum grading speed was 102.41 pieces/min, the accuracy of grading was 97.42%, the damage rate was 0.05% and the undetected rate was 0.96%. The grading speed improved by 38.86%, the accuracy improved by 6.84% and the damage rate reduced by 0.13% compared to the manual grading. The system can stably and continuously operate. For long time grading, the advantage of intelligent system is more obvious due to the fatigue of labor. The whole system realizes the on-line automatically sorting and grading for fresh whitewith the minimum destruction.

image processing; bacteria; algorithms; agaricus bisporus; automatic grading

王风云，封文杰，郑纪业，孙家波，牛鲁燕，陈振学，张学涛，王 磊. 基于机器视觉的双孢蘑菇在线自动分级系统设计与试验[J]. 农业工程学报，2018，34(7)：256－263. doi：10.11975/j.issn.1002-6819.2018.07.033 http://www.tcsae.org

Wang Fengyun, Feng Wenjie, Zheng Jiye, Sun Jiabo, Niu Luyan, Chen Zhenxue, ZhangXuetao, Wang Lei. Design and experiment of automatic sorting and grading system based on machine vision for white[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(7): 256－263. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2018.07.033 http://www.tcsae.org

2017-11-02

2018-01-22

山东省重点研发计划（2016GNC110008）；山东省农业科学院农业科技创新工程（CXGC2017B04）；山东省农业科学院农业科技创新工程（CXGC2016A12）

王风云，副研究员，主要从事智慧农业等研究。Email：wfylily@163.com

王 磊，副研究员，主要从事农业信息化研究。Email：nkywl@126.com

10.11975/j.issn.1002-6819.2018.07.033

S24

A

1002-6819(2018)-07-0256-08