烟叶自动分离及智能定级分拣系统的研究

李 婷,王 兴,卫玲芝,高 菲,张晋塬,王雨竹

(太原科技大学 计算机科学与技术学院，太原 030024)

0 引言

随着烟草行业的飞速发展，国内外对于烟叶分离和定级检测技术的研究也在不断地进行改进升级，由此形成了大量的研究成果。国外利用计算机视觉技术对烟叶进行定级判断最早开始于20世纪80年代，1988年美国学者C.E.Thomas是最早提出利用计算机的图像识别技术对烟草及其相关产品进行检测定级的。随后津巴布韦的一名学者G.Tattersfield提出根据烟叶的叶片结构、颜色以及残伤度等外部特征对烟叶进行质量检测和分组的研究。1997年，韩国学者H.K.Cho和K.H.Paek通过利用计算机视觉技术对烟叶进行检测定级的方法进行了初步的尝试[1]。虽然国内利用图像识别技术对烟叶进行检测定级要落后于国外，但随着图像处理技术的日趋成熟，越来越多的技术运用到烟叶的分离和检测定级中。王士鑫等人提出基于卷积神经网络(CNN)的烟叶检测定级的方法，该方法通过选取合适的V3模型，结合卷积层和网络层完成迁移学习，再利用多分类的模型选取交叉熵作为损失函数进行运算，最后再结合极值点的跳跃算法，对采集到的烟叶图像进行识别分析[2]。韩力群等人提出一种利用人工智能的方法来模拟人类大脑信息处理结构的烟叶智能检测定级系统，实验结果证明该系统对烟叶分级的正确率可与人工分级相媲美[3]。姚学练等人提出首先利用主成分分析法(PCA)对烟叶进行降维处理，然后将多个降维的参数输入到支持向量机(SVM)中，再利用遗传算法(GA)对SVM模型的惩罚参数和核函数进行优化，从而达到提高烟叶分级效率的目的[4]。综合以上的国内外的研究现状来看，目前国内外的研究大多是基于图像识别技术对烟叶分级提出多种多样的方法，但对于烟叶的分离的研究却比较少，目前国内的各大烟草厂仍然是以依靠人工进行烟叶的分离，机械化程度低，分离的效率也比较低。基于此，本文提出对烟叶自动分离及智能定级分拣系统的研究，借助机械化设备提高烟叶分离、分拣的效率，运用机器视觉技术提高烟叶分级的正确率，进而达到降低成本提高经济效益的效果。

1 系统设计

1.1 系统整体设计

烟叶自动分离及智能定级分拣系统主要由烟叶进料、烟叶松散震动、烟叶自动分离、烟叶自动排列、烟叶自动铺平、烟叶智能检测及定级判断、烟叶智能分流分拣7个工段组成。系统结构如图1所示 。

图1 烟叶分离及智能定级分拣系统结构图

1.2 系统工作原理

烟草作为卷烟产品的基础，是我国重要的农业经济作物之一，在我国国民经济中有着举足轻重的地位。所以其烟叶质量的好坏将直接影响到烟草制品的优劣等级，而且在工业生产中，不同的质量的烟叶往往会被用来制作成不同的烟草制品。国家标准只是简单的从烟叶的叶片结构、成熟度、颜色、身份、油分、残伤以及长度等7个方面作出了定量的描述，对于分级标准的描述仍然比较模糊。所以为了做好烟叶在收购阶段的分级工作，提高烟草制品的质量和保障烟农的切身利益，对烟叶进行快速客观、科学合理的等级划分是十分必要的。因此，本文为实现烟叶的自动化分离及智能化分级，设计了烟叶自动分离及智能定级分拣系统。人工将成捆烟叶搬运至上料传送带，成捆烟叶被送至震动仓进行初始化处理，通过电动漏斗控制烟叶下料量并形成烟叶小堆，传送带将烟叶小堆送至电动升降平台，旋转烟叶分离刷按层分离烟叶，被分离成单片的烟叶再依次经过烟叶自动排列装置和烟叶自动铺平装置，最后对铺平后排列整齐的单片烟叶进行图像采集和预处理，再根据提取出的图像特征，借助基于宽度学习的卷积神经网络算法实现烟叶等级的智能识别，最终依据定级结果，烟叶分拣系统将烟叶分拣到等级相对应的回收箱中。

2 烟叶自动分离设计

2.1 烟叶特性分析

烟叶是一种柔性的物体，其性状复杂且彼此缠绕交错在一起，直接在成捆的烟叶中加以一定的外力将其强行扯开，分开成一片比较困难。而且烟叶从田间收获后，需要经过烘烤工序，使其水份降低。虽然在烟叶分级前会经过回潮处理，但其韧性仍较差且烤后烟叶的恢复性值较小。而且叶片在烘烤之后，其凝胶弹性有所下降，而烟叶的弹性能够在其拉力上有一定程度的体现[7]。据资料显示，我国的烟叶拉力值主要在1.04～2.52 N之间，烟叶的厚度大部分在0.036～0.128 mm之间[8]。所以在烟叶分离过程中，需要考虑其容易产生的撕坏破裂的情况。为了确保烟叶的完整性，在设计烟叶分离装置时需要考虑到烟叶的厚度、可承受的拉力等机械特征。

2.2 烟叶自动分离机构的工作原理

根据烘烤后烟叶的特性分析，并利用现有的条件模拟烟叶单片分离的过程，归纳总结出成捆烟叶分离成单片烟叶的过程。烟叶自动分离环节如图2所示。人工将成捆的烟叶搬运到上料传送带上，上料传送带将成捆烟叶按照一定频率送至震动仓进行初始化处理，震动仓做大振幅、低频上、下往复运动，同时向震动仓中输入干蒸汽气体辅助松散，因为在这个环节产生的烟渣最多，所以在传送带下部放置吸尘器用于回收烟渣和粉尘。初步松散的烟叶通过电动漏斗控制烟叶下料量预先形成规格化的烟叶小堆，并将烟叶的方向自动调整水平以及烟叶根部朝向进料方向。进料传送带将烟叶小堆送至电动升降平台，经过电动升降平台和自动升降隔板配合固定烟叶小堆，同时启动旋转烟叶分离刷组进行分层分离烟叶小堆，按照宽度1米的烟叶小堆，烟叶分离效率约每秒16片左右。落至一级出料传送带后烟叶被自动传输至下一环节处。由于烟叶落入一级出料传送带上时，烟叶的摆放不规则，所以通过烟叶自动排列装置可将烟叶自动排列规整，然后再通过烟叶铺平装置将烟叶自动展平。最后通过二级出料传送带将烟叶传送至下一环节设备处。一个周期的工作步骤完毕，重复之前的步骤，进行反复的烟叶自动分离。

图2 烟叶自动分离环节示意图

3 烟叶智能检测定级

3.1 图像采集

实现烟叶等级准确的识别和分级的重要前提条件是获取到高质量的烟叶图片，从而才能完成对烟叶图像信息具体分析的任务。所以为了避免外部环境因素的干扰，更准确地采集到烟叶图像，本文设计了烟叶图像采集系统，如图3所示。烟叶被传送带送至图像采集区域后，摄像头会快速拍下烟叶，并将拍摄到的图像储存到计算机中，借助PC机界面来对拍摄到的图像给予实时、动态显示。同时为了避免一次采集出现的图像不稳定性，系统会对同一片参考烟叶进行三次图像采集，并将三次的图像均录入到系统中。除此之外，为了便于后期对烟叶的识别和准确分级，提高烟叶图像采集的准确性，要避免外界光线进入到采集区域。

图3 密闭烟叶像采集系统

3.2 图像预处理

1)图像滤波处理。当摄像头采集完烟叶的图像之后，通常情况下，由于烟叶图像在采集过程往往会收到光照、拍摄角度、位置等各种环境因素的不良干扰，从而造成采集到的烟叶图像质量不稳定。因此为了提高烟叶图像的质量，当摄像头采集完烟叶的图像之后，需要对采集到的烟叶图像做进一步的预处理。通过对图像做预处理的方式，主要是为了降低外部环境因素的影响，改进图像的清晰度，减少图像中无关信息的干扰，进而达到简化图像的目的。通过对研究图像的各种方法的分析与比较，本文最终采用中值滤波的方法对采集到的烟叶图像进行预处理，如图4(b)所示。中值滤波法主要是将 当前图像中的像素值替换为邻域中每个点的中间值，并将这些数据放在二维模板中进行排序，由于随机出现在图像上的噪声点往往会被排在数列的最前端或最末端，并不会出现在数列的中间位置，因此通过中值滤波的方法可以达到去除噪声点，提高图像清晰度的目的[6]。类似于一维，二维中值滤波的公式如下：

F(x,y)=med{g(x-m,y-n)，(m,n)∈W)}

(1)

其中:g(x,y)表示原始图像，F(x,y)表示处理后的图像，W为二维模板。

2)图像二值化处理。为了进一步提取到烟叶的长度、宽度、面积等图像的外观特征信息，原始图像在经过中值滤波处理后，一般还需要对图像做进一步的二值化处理。二值图像其实就是由仅有“0”、“1”的二维矩阵构成的。二值化处理的过程是先使彩色的烟叶图像变成灰度图像，然后再将灰度图像转化为二值图像。通常在将彩色图像转化为二值图像的过程中，需要确定二值化时的阈值，需要先设定好一定的阈值，在转化的过程中，系统会自动将像素大于或等于阈值的判断为目标物，用白色显示，则将小于阈值的像素全部重置为0，用黑色显示。本文经过分析与比较，选用迭代阈值实现烟叶图像的二值化。如图4(c)所示，烟叶的二值化图像。

3)图像分割处理。图像分割是图像预处理过程中一个非常重要的环节，也是实现去除烟叶图像背景的重要方法，因为图像分割质量的好坏会直接影响到下一环节烟叶特征提取的准确性。图像分割其实就是把对图像中感兴趣的目标区域从背景中分割出来，而分割出来的目标区域就是后续进行图像特征提取的目标对象。图像分割技术多种多样，本文选用阈值分割法来达到图像分割的目的，阈值分割是一种简单有效地分割算法，它的基本思想是根据图像中目标与图像背景之间灰度值的差别，选取一个适合的灰度值作为阈值，然后将图像中所有的像素均与这个设定的阈值作比较，这样图像就会以阈值为界分成两个部分，也就把图像目标从图像背景中分割出来了。这种对烟叶图像的分割方法，不仅可以简化烟叶图像，还可以完成机器对烟叶数据信息的准确识别，有效降低机器学习的难度，提高分析的准确度。如图4(d)所示，烟叶经过分割处理后的图像。

图4 烟叶预处理图像

3.3 图像特征提取

3.3.1 烟叶颜色特征提取

烟叶的颜色是烟叶分级标准中的重要因素之一，由于人工分级是根据人的感官和视觉来完成的，而亮度对人视觉的影响要比颜色浓淡的影响更为显著。所以在应用计算机视觉技术分析图像时，需要通过建立更为符合人类视觉机制的颜色模型来实现烟叶颜色的准确量化，从而进行颜色分辨。通过比较分析各个颜色模型的特点，本文选用HSI颜色模型，因为HSI颜色空间更接近于人类的视觉机理，反映了人的视觉系统感知色彩的方式。

由于CCD摄像头中的图像存储一般采用RGB模式，因此首先需要利用采集到的图像分别提取出R分量、G分量、B分量，然后将RGB模式转换为HSI模式，转换公式如下：

(2)

(3)

(4)

(5)

因为现有的烟叶样本数量有限，本文仅计算出部分等级的烟叶图像的H、S、I分量的均值，用均值来表征颜色的特性。如表1所示。

表1 部分等级烟叶颜色特征分量

3.3.2 烟叶形状特征提取

烟叶的形状特征作为烟叶最为直观的特征，是对烟叶等级进行判断的重要依据。本文在获得烟叶轮廓的基础上，采用Opencv函数中cvBoxPoints算法对烟叶轮廓进行最小外接矩形拟合。根据算法找出烟叶轮廓最小外接矩形的4个点，然后再根据4个顶点的x,y坐标，分别计算出外接矩形的长度和宽度，分别记作L、W。则烟叶的长度比Y可以表示为：

Y=L/W

(6)

烟叶面积指的是烟叶图像所占有的像素总数。求出烟叶内所包含的所有像素点就是烟叶的面积。本文采用坐标法来计算烟叶的面积，即用条曲线沿着烟叶边界围一圈，求这条封闭曲线的积分，则烟叶的面积S可以表示为：

(7)

烟叶的破损率直接对应烟叶分级标准中的伤残率，很大程度上决定了烟叶的等级和质量，破损率计算公式为：

(8)

3.3.3 烟叶纹理特征提取

烟叶的纹理特征可以从侧面反映出烟叶各部位的内部结构以及叶面的平坦程度等信息，对于烟叶的准确分级是至关重要的，因此将烟叶的纹理进行量化是一种重要的区域的描述方法。本文利用灰度共生矩阵来进行纹理提取。图像的灰度共生矩阵主要反映图像在灰度方向、间隔、变化程度等相关信息。共生矩阵是用两个位置的像素的联合概率密度来定义。联合概率密度的表达式如下：

(9)

式中,d表示位移的距离，θ表示位移的方向。本文分别计算了0°、45°、90°和135°的4个共生矩阵，利用4个不同角度的共生矩阵计算图像的能量、对比度、相关性等多个特征量，取平均值作为提取的纹理特征。

GLCM纹理特征参数计算如下：

叶片纹理的相关性：

(10)

叶片纹理的能量：

(11)

叶片纹理的熵：

(12)

叶片纹理的惯性：

(13)

式中，μ为均值，σ为标准差。

3.4 烟叶识别分级

深度学习是机器学习中常用的研究领域，而卷积神经网络是最常用的深度学习模型之一[11]。本文采用了基于宽度学习的卷积神经网络算法，该算法不仅可以对烟叶进行图像识别以及特征值的采集，同时还可以解决烟叶识别过程中的快速跟踪和快速识别问题。该算法应用随机生成的卷积核和最大池化操作，对烟叶进行检测定级。以下为卷积神经网络的运作过程：

1)首先将预处理后的图像以矩阵的形式作为原始输入，经过卷积层的运算即原始图像的像素和卷积核的线性组合，从而实现对图像特征的提取。图像的抽象表达式为：

(14)

2)随后图像被传递到池化层，对提取的特征数据进行最大池化操作，进一步降低特征的冗余性。卷积神经网络重复若干次卷积层和池化层的操作运算。

3)最后图像进入全连接层，将二维特征向量转化成一维特征向量，并由分类器完成对特征图片的分类。全连接层的计算公式为：

(15)

4)最后通过输出层，将数据信息转化为相应的类别值输出。

4 烟叶智能分流分拣设计

4.1 分拣装置的工作原理

烟叶等级分拣装置主要依靠于控制系统，当经过识别后的烟叶随传送带进入分拣系统后，首先会经过分流输送装置被分流到多个分拣线体上同时进行分拣以提高分拣效率。当烟叶通过传送带旁边的位置传感器时，会触发位置传感器工作，传感器将获取到的烟叶位置信息传递给与计算机相连的控制系统，控制系统接受到传递的位置信号后会根据已经获得的烟叶等级信息，计算出烟叶到达指定分拣位置的时间，从而对电动排刷驱动机发出相应的控制指令，待烟叶到达时驱动机驱动旋转电动排刷工作，将烟叶拨送到相对应的等级回收箱中。之后旋转电动排刷回归到原始位置等待控制系统发出新的命令。

设相邻的两个电动排刷之间的距离为L，传送带的运行速度为V，电动排刷以恒定角速度W转动，烟叶在相邻两个排刷间的用时为t1,排刷将烟叶拨送到回收箱中来回转动用时为t2,则有：

t1=L/V；W=π/t2

(16)

为了提高工作效率，使系统满足在排刷回到原始位置时恰好下一个烟叶可到达指定位置，应使t1=t2。

4.2 分拣装置的设计方案

本文设计的烟叶等级分拣装置如图5所示，该系统主要由分流输送装置、电动排刷、位置传感器、电动排刷驱动机、传送带、烟叶等级回收箱等几个部分组成。

图5 烟叶等级分拣装置图

系统中的分流输送装置采用斜摆轮系统，斜摆轮系统并非是传统的传送带，而是采用的一种小型全向的轮子，这给箱子等物品更加灵活的移动能力。这些小轮子由电脑控制，它们可以根据设定让传送带上物品30°，45°和90°的方向改变。系统的分流输送装置如图6所示。

图6 分流输送装置

5 实验结果与分析

5.1 烟叶自动分离模拟实验

本文对烟叶分离模块进行了实验测试，验证该系统对成捆烟叶的分离效果。

本次实验选取3组成捆烟叶，每组烟叶均有90片，分别进行分离模拟实验。实验统计结果如表2所示。

表2 烟叶分离模拟实验统计结果

从表2的统计结果中可以看出，第一组成功分离单片烟叶88片，第二组成功分离单片烟叶85片，第三组成功分离单片烟叶86片。3组的平均分离成功率达到95.98%，表明烟叶自动分离模拟实验的效果较好，连续自动分离烟叶是可行的。

5.2 烟叶检测分级模拟实验

本文对烟叶检测定级模块进行了实验测试，验证该系统对烟叶准确定级的正确率。

本次实验首先根据确定的神经网络结构和参数，以经过预处理提取到的烟叶特征数据为样本集，对神经网络模型进行训练学习。训练学习后，对测试样本进行分级，结果如表3所示。

表3 测试样本烟叶分级结果

由实验结果可知，与分级员的评定结果相比较，总的识别率为95.83%，正确率在90%以上，预测时间为0.5 s。

6 结束语

模拟实验结果表明，本文设计的烟叶自动分离及智能定级分拣系统通过调试和模拟实验，设备运行稳定，可以按照预想的设计将成堆烟叶先分离成小堆烟叶最后再分离成单片烟叶，且系统的分选效率较高。该系统通过图像识别，可以很快的依靠烟叶的成熟度、色度、长度、残伤等外观因素快速完成检测，单片烟叶的检测速度约为0.5 s，后续的分级分拣过程约为0.5 s。每片烟叶的检测分级周期约为1～1.5 s。通过以上分析可以看出，研究科学可靠的烟叶分离及智能分级分拣技术，开发简单易操作的智能化系统，不仅可以提高烟叶分离、分级的水平和效率，还可以很好地满足烟草工业生产的需求，进一步提高烟叶分离、分级、分拣的自动化与智能化。