基于机器视觉的金丝皇菊智能分级系统研究

张银萍，徐 燕，朱双杰, ，周 宇

（1.滁州学院生物与食品工程学院，安徽滁州 239000；2.滁州市仙迪节能科技有限公司，安徽滁州 239000）

金丝皇菊花朵干制加工后可作为夏季饮品，其性微寒、味甘苦，有疏散风热、清肝明目、清热解毒等功效[1]。近年来，随着人们对保健养生的需求提高，金丝皇菊的消费量呈快速增长的趋势，金丝皇菊品质也逐渐受到重视[2−4]。现阶段，金丝皇菊的分级过程智能化程度还比较低，分级的过程主要还是依靠人工感官评价来完成[5]。人工分级方式不仅工作量巨大、强度高、重复大量相同工作容易疲劳导致效率低错误率高，使得金丝皇菊的生产成本也有所增加。因此，实现金丝皇菊的智能快速无损分级是非常必要的。

机器视觉技术是实现农产品快速无损分级的重要手段[6−8]，机器视觉技术无损分级和人工分级相比，具有安全性高、标准程度高、工作效率高、对象选择范围广等特点。目前，很多学者在基于机器视觉的农产品分级技术方面有了深入的研究。国外在农产品的分级检测的研究开始较早，尤其是在蔬菜水果分级领域，Kuma等[9]运用图像处理技术和机器学习技术完成对水果和蔬菜进行质量分级，解决了人工分级效率较慢的问题；Lal等[10]提出了一种基于颜色特征自动检测和分类苹果果实成熟度的方法，通过颜色特征的阈值分析对苹果的成熟度进行了自动辨别；Mesa等[11]运用具有RGB和高光谱成像的多输入深度学习模型完成对香蕉的分级；Behera等[12]使用图像处理技术完成对西红柿的分类和分级，提高了西红柿的分级效率。国内也有学者在农产品的分级检测领域做了很多研究。李倩倩[13]设计了一套针对猕猴桃无损检测和自动分级的视觉系统，对猕猴桃进行颜色分级时，提出用HSI模型描述其颜色特征并根据猕猴桃颜色特点在此基础上建立了基于粒子群优化的BP神经网络，试验结果表明分级精度高，不仅分级速度快，而且正确率高达95.6%。猕猴桃表面缺陷采用了形态学处理方式，使用基于遗传算法的BP神经网络算法对表面缺陷分级；实验准确率高达91.3%；汪威等[14]设计了一种去柄鲜香菇视觉分级系统，结果表明，相比于传统的人工分级方式,试验设计的自动分级系统的可靠性、速度、稳定性等指标具有非常明显的优势；钱柏英等[15]通过机器视觉技术完成双孢蘑菇在线自动分级，该系统通过ARM控制器自动完成图像识别，具有识别准确率高、速度快的特点，提高双孢菇分拣的工作效率。目前，基于机器视觉的分级技术在农产品领域的研究主要集中在水果蔬菜方面，在花茶领域的研究较少，利用机器视觉技术对金丝皇菊品质分级的研究更缺乏，因此对基于机器视觉的金丝皇菊品质等级的快速无损分级研究具有重要意义。

结合上述学者的研究方法，本文应用机器视觉技术通过金丝皇菊的颜色、形状、完整度、花径等外部特征对金丝皇菊进行无损分级，通过机器智能分级代替人工分级，提高分级的准确性、客观性和稳定性，对花茶领域的分级技术研究具有重要的推广价值。

1 材料与方法

1.1 材料与仪器

金丝皇菊 颜色、直径（大小）、形状、完整度等参数不同的金丝皇菊干花3000朵，由滁州学院生物与食品工程学院实验室提供。

分级系统机械设备、传送带 食品级，浙江米欧制带股份有限公司；MV-EM120C摄像头 维视智造集团；工控一体机 深圳华北工控股份有限公司。

1.2 实验方法

1.2.1 系统整体研究方案 金丝皇菊智能分级系统主要分为四个部分。本系统包括：金丝皇菊传送模块、光照与图像采集模块、图像处理模块和分级模块。本系统的工作原理为：传送模块把金丝皇菊传送给光照与图像采集模块，完成对金丝皇菊图像的采集；把包括金丝皇菊的花径、完整度与色泽等的图像数据传送至图像处理模块；比较图像识别结果及预设分级标准，得到金丝皇菊的等级，把金丝皇菊的分级结果与其位置信息传送至分级模块；分级机构中可旋转传送装置将金丝皇菊旋转至对应等级的分级通道内，完成分级过程。如图1所示。

图1 分级系统整体研究方案Fig.1 Overall system research scheme

1.2.2 分级系统机械结构与工作原理 金丝皇菊分级装置通过振料盘将金丝皇菊有序地排列并传送到传送带上，传送带利用差速原理拉开金丝皇菊的个体间距，使得它们能够逐一地通过视觉检测区域，并保证工业相机的视野范围内只出现一个待检对象。当金丝皇菊经过视觉检测工位后，进入分级区域，分级区域沿着传送带方向设置了特级、一级、二级、三级和等级外五个分级区域，实现金丝皇菊五级的划分，分级结构主要采用的是圆形可旋转分级装置，通过视觉系统识别的等级结果对传送带的转向进行控制，使其转向，从而使得金丝皇菊被送到相应等级的分级通道。圆形可旋转分级装置可以达到每秒最高可旋转10次的设计要求。金丝皇菊分级装置机械结构如图2所示。

图2 金丝皇菊分级系统机械结构Fig.2 Mechanical structure of Imperial Chrysanthemum grading system

1.2.3 金丝皇菊等级判定依据 金丝皇菊的等级主要与花的颜色、直径（大小）、形状、完整度等参数有关。本文将金丝皇菊分为五个等级（依据项目实际及金丝皇菊市场的品质需求），其判别依据如表1所示。

表1 金丝皇菊等级评判依据Table 1 Criteria for grade evaluation of Imperial Chrysanthemum

1.2.4 金丝皇菊图像采集 金丝皇菊图像的采集是基于一定的设备，采集金丝皇菊完整的图像，并将其存储在计算机中。为了得到更清晰的图像，图像采集系统主要由电脑、工业相机、工业镜头、光源等部分组成。如图3所示。

图3 金丝皇菊图像采集系统Fig.3 Imperial Chrysanthemum image acquisition system

如上图所示，在图像采集的过程中，确保相机和传送带的相对高度保持不变，本研究根据项目的实际情况，相机和传送带之间的高度为18.5 cm，其他装置的相对位置保持不变，传送带传送金丝皇菊的速度（V=2.0 m/s）保持不变，确保图像采集时的外部客观条件的一致性。

1.2.5 金丝皇菊图像的预处理 如前文所述，金丝皇菊分级过程是动态的，受外界环境影响，实时采集到的金丝皇菊图像往往包含无用信息，因此需要预处理图像消除无用信息来改善其成像效果，凸显有价值信息，利于金丝皇菊图像的深度处理。本文根据分级系统的实际需求，图像的处理流程如图4所示。

图4 金丝皇菊图像处理流程Fig.4 Imperial Chrysanthemum image processing flow

1.2.5.1 图像的灰度化 图像的灰度化指把彩色图像变换成灰度图像[16]。图像灰度化可以提高计算的效率，减少计算的时间。灰度化后图像仅保存其亮度信息，不会使图像模糊化。经过综合比较，本文选择加权平均值法的灰度化方法对彩色图像进行灰度化，其数学模型如公式（1）所示[17]。

式中，f（i, j）是灰度化后图像的像素值，范围是[0,255]；R（i, j）、G（i, j）和B（i, j）分别表示红色、绿色、蓝色三原色分量，权值分量为0.299、0.587、0.114。加权平均法灰度化前后对比如图5所示。

图5 图像灰度化前后对比图Fig.5 Comparison before and after image grayscale

1.2.5.2 图像的去噪 在金丝皇菊分级装置传送的过程中，采集到的金丝皇菊图像往往易受到外界环境的干扰，图像转换和存储过程中也容易受到处理过程的影响，产生大量噪声，因此应该先对其去噪处理。根据分级系统的实际需求，综合比较常见的去噪方式[18]。本文采用去噪效果较好的3×3中值滤波去噪模板对金丝皇菊图像去噪处理。如图6所示。

图6 图像去噪前后对比图Fig.6 Comparison before and after image denoising

1.2.5.3 图像增强 图像的增强也是图像预处理的重要方法[19]，图像增强能够让金丝皇菊的图像信息变得更加明显，图像经过直方图均衡化，灰度值像素变得更加明显，图像对比度增强能够使得图像的明亮程度得以提高，使得图像轮廓的清晰度更高。综合以上两种图像增强的优势，本文选择直方图均值化和对比度增强相结合的方式完成图像的增强，即先对图像进行直方图均值化，再进行对比度增强。效果如图7所示。

由图7可知，对金丝皇菊图像进行增强处理，能够使得图像像素点的动态范围扩大，且金丝皇菊的局部特征得到细化，有利于金丝皇菊图像的深度处理。

图7 图像增强效果图Fig.7 Image enhancement rendering

1.2.6 颜色特征的提取 根据系统的实际需求，为了更加全面有效地对金丝皇菊图像颜色特征进行提取和分析，本文选择RGB模型[20]表达金丝皇菊的色泽信息。应用RGB模型对色度不同的金丝皇菊图像进行分析，得到色度的直方图，通过色度直方图上像素点和有色区域像素点的比例，可以实现金丝皇菊颜色的准确识别。如图8 所示，选取二级金丝皇菊和等级外金丝皇菊图片各1张，对两张不同等级的图像作比较，实现金丝皇菊颜色等级的判定。

图8 金丝皇菊图像RGB分析Fig.8 RGB analysis of Imperial Chrysanthemum image

1.2.7 金丝皇菊直径大小与完整度判定 若要准确判定金丝皇菊的等级，需要完成对直径不同与完整度不同的金丝皇菊图像做具体判定。本文运用图像分割的方法对金丝皇菊的完整度进行判别，通过边缘检测的方法完成金丝皇菊直径大小的判定和计算。

1.2.7.1 图像分割 为了辨别金丝皇菊图像的完整度，需要将金丝皇菊图像的背景部分和金丝皇菊图像进行分割。本文采用阈值分割的方式，将金丝皇菊图像中灰度值高于阈值T的部分设置为1，低于T的部分设置为0，最后形成白色的金丝皇菊区域和黑色的背景区域[21]。表达式如公式（2）所示。

其中，f（x, y）是原始灰度图像；T为阈值；g（x）阈值分割后的图像。效果如图9所示。

图9 金丝皇菊图像分割效果Fig.9 Image segmentation effect of Imperial Chrysanthemum

由于在图像采集的过程中，相机、光源、相机与目标的距离等客观因素均相同。因此，本文可直接通过图像分割的方式，在分级系统中设定合适的阈值即可判定金丝皇菊的完整度。

1.2.7.2 图像边缘提取 对直径不同的金丝皇菊做具体判定。根据系统的实际需求，本文采用Canny算子[22]以对金丝皇菊轮廓区域的边缘进行检测。主要通过以下步骤完成。

首先，通过高斯平滑滤波器处理原图像f（x, y），得到图像g（x, y），如公式（3）所示；

其中，σ为高斯函数分布的标准差。

其次，对图像x,y方向上的偏导数进行计算，如公式（4）和（5）；

梯度幅值为：

公式（6）中，M（x,y）表示图像边缘强度；公式（7）中方向角θ (x,y)表示图像的边缘方向。

再次，对梯度幅值进行非极大值抑制操作；

最后，采用双阈值法的原理对图像的边缘进行检测与连接。图10为分割后的图像Canny边缘检测的效果图。

图10 金丝皇菊Canny边缘检测效果Fig.10 Canny edge detection effect of Imperial Chrysanthemum

通过Canny边缘检测提取出边缘图区，设定合适的阈值对金丝皇菊的平均直径进行分析计算，确定金丝皇菊的等级。

2 结果与分析

2.1 金丝皇菊智能分级系统的搭建

根据金丝皇菊智能分级系统的实际功能需要和软件部分设计需求，通过MATLAB[23−25]对采集到的图像进行处理及算法编写，在Microsoft Visual Studio 2017[26]平台搭建软件界面，完成金丝皇菊智能分级系统的搭建工作。其主要的工作界面情况如图11所示。

图11 金丝皇菊智能分级系统工作界面Fig.11 Working interface of Imperial Chrysanthemum intelligent grading system

如上图所示，“初始化”按钮的作用是清零，使系统恢复到全部为零的初始状态；鼠标点击“开始”按钮，分级系统开始工作，对金丝皇菊在工业相机视野范围内的图像进行实时检测；检测结果一并显示在“当前分级结果”区域，本区域可以根据系统的分级标准实时显示当前金丝皇菊的分级；检测已经完成的结果显示在“已完成”分级区域，此区域可以对检测的结果进行实时计数；点击“停止”按钮可以实时结束检测；点击“退出”按钮可以退出整个系统，返回到电脑桌面。

2.2 系统分级与人工分级对比

选取1500朵金丝皇菊进行分级测试，前文已经将金丝皇菊划分为特级、一级、二级、三级、等级外五个等级。同时，设定人工肉眼分级作为金丝皇菊对照组，整体的分级结果对比如表2所示。

表2 金丝皇菊系统分级与人工分级结果对比Table 2 Comparison of systematic classification and artificial classification of Imperial Chrysanthemum

由表2可知，金丝皇菊智能分级系统的整体分级准确率和人工相比达到了97.6%。同时对整个金丝皇菊分级速度进行了计时，金丝皇菊智能分级系统对1500朵金丝皇菊完成分级所花的时间为406 s，平均速度为3.7 朵/s；人工分级用了2124 s，平均速度为0.71 朵/s。由此可见，金丝皇菊智能分级系统的平均分级速度为人工分级平均速度的5倍多，而且由于人工容易产生劳累，后期的分级速度越来越慢。

2.3 图像处理的稳定性

为了能够验证不同金丝皇菊图像的处理速度的稳定性和不同等级金丝皇菊图像处理速度的差异性，选取已经分级完成的金丝皇菊图像各30张，输入到分级系统，计算金丝皇菊图像处理时间，实验结果如表3所示。

表3 金丝皇菊图像处理时间统计Table 3 Statistics of image processing time of Imperial Chrysanthemum

由表3可知，处理不同等级的金丝皇菊图像平均耗时基本相差不大，说明金丝皇菊智能分级系统图像处理速度的稳定性较高。

由表2和表3实验数据可以得知，基于机器视觉的金丝皇菊智能分级系统具有分级速度快、分级准确率高的特点，并且相对于人工分级，金丝皇菊智能分级系统不仅速度快而且可以长时间工作，保持着较高的工作效率和较高的工作稳定性，分级标准也与系统设置的标准保持一致，减少了主观性。因此，此分级系统能够满足食品工业智能化生产的需求。

3 结论

研究了一种基于机器视觉的金丝皇菊智能分级系统。通过图像灰度化、去噪、增强完成金丝皇菊图像的预处理，通过RGB模型完成金丝皇菊的颜色特征的提取的识别，运用边缘检测完成金丝皇菊花径的测量和轮廓的提取。结果表明：金丝皇菊智能分级系统的整体分级准确率和人工相比达到了97.6%。同时对整个金丝皇菊分级速度进行了计时，金丝皇菊智能分级系统对1500朵金丝皇菊完成分级所花的时间为406 s，平均速度为3.7 朵/s；人工分级用了2124 s，平均速度为0.71 朵/s，金丝皇菊智能分级系统的分级效率较高、分级结果准确，能够有效替代人工分级，满足食品工业智能化生产的需求。但是目前还存在一些不足，分级准确率和分级速度还需要提高，期望通过提高金丝皇菊生产线传送带传送的速度、改进图像处理算法，将其分级准确率提高到99%以上、分级速度达到每秒5朵以上。本分级系统只测试了金丝皇菊，为机器视觉技术在花茶分级领域提供了实际案例与技术参考，后续可以进行其他花茶领域的研究。