基于机器视觉和MSD微结构描述算法的霉变烟在线检测研究

刘斌,朱文魁，周雅宁，毛伟俊，钟科军，席建平，张辉，王艺斌,黄岗 湖南中烟工业有限责任公司，湖南长沙万家丽路88号 00； 郑州烟草研究院，河南郑州高新区枫杨街号 5000； 南京焦耳科技有限公司，江苏南京童卫路5号 00； 昆明聚林科技有限公司，云南昆明白龙路68号650000

制造技术

基于机器视觉和MSD微结构描述算法的霉变烟在线检测研究

刘斌1,朱文魁2，周雅宁2，毛伟俊1，钟科军1，席建平1，张辉1，王艺斌3,黄岗4
1 湖南中烟工业有限责任公司，湖南长沙万家丽路188号 410014；2 郑州烟草研究院，河南郑州高新区枫杨街2号 450001；3 南京焦耳科技有限公司，江苏南京童卫路5号 210014；4 昆明聚林科技有限公司，云南昆明白龙路168号650000

为实现醇化烟叶中霉变烟的自动在线精选，设计了基于机器视觉的霉变烟在线检测系统。该系统通过高速线阵CCD动态获取烟叶图像，采用MSD微结构描述算法提取烟叶图像颜色、纹理特征，基于神经网络集成分类算法，通过合格烟叶样本和霉烟样本的训练学习，实现霉变烟的在线检测识别。经过测试，该检测算法对霉烟图像样本的测度为0.918。在线检测试验结果显示，采用霉烟靶物单独过料时，机器视觉系统对霉烟的平均在线识别率在95%以上；将霉烟靶物与合格烟片混掺过料时，系统对霉烟的平均识别率在87%以上。研究结果表明，机器视觉方法用于醇化后烟叶中霉变烟的在线精选是可行的。

烟叶；机器视觉；微结构描述算法；霉变烟检测

由于烟叶醇化贮存周期较长，醇化前的复烤烟叶水分调控不均匀以及贮藏过程中环境温、湿度的波动，易导致醇化烟叶产生霉变现象[1-3]。为满足工业原料纯净度的质量要求，醇化后烟叶中霉变烟需要通过在线精选方式剔除。现行的烟叶原料自动化精选技术，包括光谱除杂、风选除杂等[4-5]主要适用于非烟叶类的异质杂物检测剔除，而对霉变烟的识别剔除主要采用人工精选方式[6]，存在分选效率低、漏检率高等缺点。近年来随着数字图像处理技术的快速发展，以形态、颜色、纹理等特征图像信息提取和辨识为基础的机器视觉方法，在种子、水果等农产品精选分级方面研究和应用逐渐增多[7-10]。王润寿等[11]将机器视觉技术应用于大豆籽粒精选，建立了精选机的机械实体模型。周竹等[12]设计了基于V型平面镜同时获取三面图像的马铃薯机器视觉分级系统，并提出了相应的分级算法。黄星奕等[13]提出基于平均灰度的区域增长法，可较好的检测识别出杏干的品质缺陷。殷勇等[14]针对苹果机器视觉分级中提取的多特征图像信息，采用主成分分析融合特征参量，提升了分级准确率。近年来，在采后烟叶精选方面，机器视觉方法也逐渐得到关注和研究开发[15-16]，但对于霉变烟叶的在线检测识别，尚未见相关研究报道。由于与正常烟叶物理性质的相似性，对该类异物图像综合特征信息提取与识别分类算法的设计，是实现机器视觉方法检测的关键。基于此，本文设计采用模仿人类视觉感知机理的MSD微结构描述算法，通过综合提取烟叶图像颜色、纹理信息，并结合神经网络集成分类算法，实现了霉变烟的在线检测和剔除。

1 材料与方法

1.1 材料与装置

以醇化后的B2F等级烤烟为原料，烟叶为2012年产上部叶，产区为云南保山。将B2F烤烟原料回潮加水，片烟含水率调节至18%待用。

图1 霉变烟在线检测系统装置图Fig. 1 Structure diagram of on-line detecting system for mildew tobacco leaves

所设计的霉变烟机器视觉检测系统结构如图1所示，主要由输送皮带、照明光源、高速CCD相机、图像采集和处理单元、霉烟剔除单元组成。输送皮带有效宽度为900 mm，输送速度在0～1.8 m/s范围内可调。照明光源采用两条高亮LED聚光光源，通过调节安装位置和角度，使两条光源照明光线在烟叶上汇聚成一条宽度为20 mm的亮直线，线扫描CCD相机对准汇聚直线采集成像，可有效提高图像亮度和稳定性。成像模块采用配置广角镜头的CVL107型3CCD彩色数字相机，其扫描速度21K line/S，像元大小14 μm x 14 μm，分辨率2048 ppi。图像采集使用时钟频率为85 MHz 的DALSA X-64 CL iPro高速图像采集卡。图像处理算法运行在高速工控机上，采用多核CPU配合软件多线程的采集处理模式，图像的采集和处理可以并行处理，满足霉烟叶采集处理的实时性要求。

1.2 试验方法

将准备好的待测烟叶在输送皮带单层离散铺料。输送皮带按1.2 m/s的设定输送速度携带烟叶经过CCD相机视场，高速CCD在LED汇聚光源照射下连续动态获取运动烟叶图像，采集的烟叶图像信号实时传送至图像处理机构，通过霉烟图像识别算法检测识别出目标物。烟叶过料后，可通过分别统计图像上有效识别的个数，计算出霉烟识别率。

2 图像特征提取与识别算法

2.1 MSD提取颜色纹理特征

霉变烟叶的主要特点在于易成团结块，色泽呈暗褐色，在叶面上的霉变区域中，不同程度地分布有点状、斑块状的霉点或霉斑。由于部分合格烟叶也具有跟霉变烟叶一样的颜色，如典型的津巴布韦烟叶，故单靠颜色特征来鉴别霉变烟叶，很难设计出有针对性的霉变烟叶去除方法。因此，除了考虑颜色信息外，进一步结合了霉变烟叶的纹理信息，即同时提取霉斑或霉点这些局部纹理信息来鉴别霉变烟叶。

图2 合格烟叶与典型霉烟叶图像Fig. 2 Images of normal and mildew tobacco leaves

使用 RGB、HSV、YCrCb，C1C2C3，rgb五种颜色空间分析霉烟的颜色特点，如图3(a)、(b)所示)，从图中可见，图3(a)中B、H和C3颜色分量相比其它颜色分量对霉变点的鉴别性较好一些，而图3(b)中B、S、C1颜色分量相比鉴别性较好一些，没有哪个颜色分量能稳定的鉴别霉变点，单靠颜色难以鉴别霉烟叶。

图3 霉变区域各颜色空间图像Fig. 3 Images of mildew area in different colors

为此，需要采用能够同时描述图像的颜色和纹理信息的图像特征提取算法。MSD(Micro-structure descriptor)是微结构描述的简称，是一种近年来提出的模仿人类视觉感知机理的图像特征提取方法[17-18]。该微结构描述算法是通过多维向量综合描述一小块图像的颜色和纹理特征，代表局部图像的微结构信息。MSD不但能同时提取和描述图像颜色和纹理，而且特征向量维数少，计算复杂度低，适用于霉变烟叶特征表示。

该方法的提取步骤是，对于一幅RGB彩色图像，首先将其变换到HSV空间，分别对H、S、V三个颜色分量采用8、3、3个等级量化。共得到8*3*3=72种颜色。将HSV从柱面坐标系变换到迪卡尔坐标系，如下式所示，式中H、S、V为原柱面坐标系下的颜色分量值，H’、S’、V’为迪卡尔坐标系下的颜色分量值。

对于纹理特征的识别，MSD算法是采用Sobel边缘检测算子从烟叶的HSV颜色信息中提取其局部纹理特征的。由于表面颜色不均匀的物体有不同的色彩或者灰度，因此物体表面存在的纹理轮廓，如霉变烟叶上的点状、斑状轮廓，往往发生在色彩或灰度突变的地方。因此，从图像上检测色彩或灰度的突变处，常常成为寻找物体表面纹理轮廓的重要方法，在图像处理中需要采用边缘检测算法。Sobel算子是在边缘检测中常用的一种算法，是根据像素点上下、左右邻点灰度值或颜色分量值的加权差，在边缘处会达到极值这一现象来检测边缘的。使用Sobel算子对每个像素点H’S’V’三个颜色分量上分别求取X和Y两个方向上的梯度值其范数|a|和|b|、点积ab、夹角θ分别由下式定义：

将角度量化为6个等级，建立角度图像F。以3*3的方形结构元素在角度图像F中记录如下模式，方形结构中周围8个邻域有与中心相同的模式，如果满足则记为1，否则置0，从而得到模式图M，以M为掩模，与C作与运算，得到结果图像T。其中C表示原始图像，即未作处理的图像，T表示掩模M与原图像C作与处理的结果。同样采用3*3的方形结构元素对图像T按照式（3）计算微结构统计直方图，建立微结构描述（72维向量）

式中，p0表示3*3方形结构元素的中心像素，f(p0)表示图像T中p0位置的值，均为向量集合符号。

对于进来的待检测图像，根据图像金字塔模型[19]，按合适的大小分解成多个尺度有重叠的图像小块，计算提取所有图像的MSD描述及分解后每个图像块的MSD描述，进入分类器进行识别。

2.2 神经网络集成算法分类

神经网络集成算法是通过训练多个神经网络，即个体学习器，对同一个问题进行学习，其结论输出由多个神经网络的输出共同决定。集成算法已被证明能显著提高分类器的泛化能力，有效降低识别结果的错误概率。代表性的集成算法包括Bagging算法和Boosting算法[20-21]，Bagging算法抗噪性较高，但学习性能不如Boosting。霉烟分类器设计将Bagging和Boosting算法优点结合，先利用Bagging方法生成多个个体学习器，再利用Boosting方法将多个个体学习器的结论选择性集成。

图4 分类器分类过程Fig. 4 Classi fi cation process for mildew tobacco classi fi er

在判别开始之前，首先要对霉变烟叶的图像进行训练学习，因此要收集大量典型霉变烟叶样本图像和正常烟叶的样本图像，计算所有图像的MSD描述，并且存储在数据库中，作为训练样本模式。利用训练样本模式对集成算法进行离线学习。得到待检测图像的MSD描述后，集成算法中多个个体学习器对图像分解出的每个小图像块进行投票表决，决定该图像块是否属于霉变烟叶。每个小图像块判决结束后，对区域内的霉变烟叶进行累加，如果判定为霉烟的图像小块的聚集度超过设定阈值，则认为待检测的烟叶图像是霉变烟叶，否则判定为合格烟叶。该阈值是依据算法对合格烟叶和霉变烟叶样本图像的检测结果设定的，即统计霉变烟叶识别的统计结果，根据较高识别准确率和较低漏检率的要求，设定合理的阈值。如图4，由合格烟和霉变烟的分类识别结果可以看出，真实的霉变区域被识别出的概率较高，易于形成霉变聚集度较高的高密度区域，而合格烟叶虽然也会有部分错误的检测，但不形成高密度区域。

3 结果分析

3.1 算法离线检测性能

按照上述图像特征提取和分类算法，在VC++6.0开发平台编制原理验证程序，进而使用该程序对烟叶图像库中所有霉变烟叶与合格烟叶图像进行识别。使用了分辨率为70*70大小的训练和测试图像，训练图像1000幅，合格烟叶500幅，霉变烟叶500幅，典型的霉变烟叶和合格烟叶的样本图像如图5所示。

图5 部分训练样本Fig. 5 Normal and mildew leaf tobacco samples

使用以上训练样本训练分类器，并对1000幅图像进行检测分别得到1000检测结果。为定量统计以上算法检测性能，定义霉烟检测率P、查全率R和测度F三个指标，如下：

其中，TP为正确检测的霉烟图像数，FP为非霉烟被错误检测为霉烟的图像数，FN为霉烟被错误检测为非霉烟的图像数。

F测度是准确率和查全率的权衡，反映算法的综合性能，3个指标的取值范围都在0到1之间，值越大表明性能越高。使用以上指标进行分析，得到TP=480，FP=65，FN=20，得到 P=0.881，R=0.960，F=0.918。表明算法对霉烟具有较好的检测性能。

3.2 霉烟在线识别效果

为了检验系统对霉烟的在线识别效果，采用霉烟靶物样本进行试验验证。第一组试验采用50片霉变烟作为靶物，将靶物单独铺在皮带上单层过料，统计设备在线识别出的霉变烟个数。第二组试验取50 kg合格烟片掺入20片霉烟靶物，将混合后的物料铺在皮带上单层过料，统计设备在线识别出的霉变烟个数。以上每组试验均重复测定2次，根据试验剔除的靶物个数，计算出的靶物剔除率结果见表1所示。

表1 霉烟靶物在线识别结果Tab. 1 Online recognition results for mildew tobacco leaves

可以看出，采用50个霉烟靶物单独过料时，系统对靶物漏识的个数在3个以内，霉烟在线识别率较高，平均在95%以上。而第2组试验中将大量合格烟片与霉烟靶物混掺过料后，系统对霉烟的在线识别率有一定程度降低，但平均识别率仍在87%以上。第2组试验识别率降低的原因，可能是大量烟叶在皮带上单层铺料时，各烟片之间未能达到完全离散化，从而影响部分烟叶中霉变区域的有效检出。

4 结论

本文采用MSD微结构描述算法提取烟叶图像颜色、纹理特征，采用Boosting-bagging集成的神经网络分类算法生成个体学习器，通过合格烟叶样本和霉烟样本的训练学习，实现了霉变烟的检测识别。经过测试，该算法对霉烟图像样本的测度为0.918。试验结果表明，采用霉烟靶物单独过料时，机器视觉系统对霉烟的在线识别率平均在95%以上；将霉烟靶物与合格烟片混掺过料时，系统对霉烟的平均识别率在87%以上。实验证明，基于机器视觉和MSD微结构描述算法的霉变烟在线检测是可行的，具有实际应用价值。

[1]卓思楚, 郑湖南, 齐凌峰, 等. 国内烤烟烟叶醇化机理及技术研究进展[J]. 中国农学通报, 2012, 28(10): 91-94.

[2]李春艳, 赵高岭, 叶红朝, 等. 河南烟叶仓储期优势霉菌的分离鉴定及防霉剂的筛选[J].烟草科技, 2011 (7): 64-68.

[3]彭清云,易图永. 烟叶霉变的原因及其防治研究进展[J].中国农学通报, 2007, 23(11):146-94.

[4]张文海. 柔性风选在多种卷烟品牌中的应用[J]. 安徽农学通报, 2013, 19(18): 123-124.

[5]郭粉林, 廖光军, 王艺斌. 光学烟叶杂物分选机的原理与结构[J]. 烟草科技, 2002(3): 22-24.

[6]YC/T 147-2001 烟叶 打叶复烤工艺规范[S].

[7]陈艳军, 张俊雄, 李伟, 等. 基于机器视觉的苹果最大横切面直径分级方法[J]. 农业工程学报, 2012, 28(2): 284-288.

[8]刘燕德, 彭彦颖, 高荣杰, 等. 基于LED组合光源的水晶梨可溶性固形物和大小在线检测[J]. 农业工程学报,2010, 26(1): 338-343．

[9]赵吉文, 高尚, 魏正翠, 等. 基于FPGA的西瓜子机器视觉色选系统[J]. 农业机械学报, 2011, 42(8):173-177．

[10]展慧, 李小昱, 王为, 等. 基于机器视觉的板栗分级检测方法[J]. 农业工程学报, 2010, 26(4): 327-331.

[11]王润涛, 张长利, 房俊龙, 等. 基于机器视觉的大豆籽粒精选技术[J]. 农业工程学报, 2011, 27(8): 355-359.

[12]周竹, 黄懿, 李小昱, 等. 基于机器视觉的马铃薯自动分级方法[J].农业工程学报, 2012, 28(7): 178-183.

[13]黄星奕, 钱媚徐, 富斌. 基于机器视觉和近红外光谱技术的杏干品质无损检测[J]. 农业工程学报, 2012, 28(7):260-265.

[14]殷勇, 陶凯, 于慧春. 基于机器视觉的苹果分级中特征参量选择方法[J]. 农业机械学报, 2012, 43(6): 118-121．

[15]张绍堂, 董德春, 任友俊, 等. 烟草异物剔除系统中典型异物处理方法[J]. 烟草科技, 2009(5): 22-25.

[16]汪庭春, 梅健, 朱文燕. 基于机器视觉的烟草分拣系统的设计[J]. 机械制造与自动化, 2011, 40(5): 112-114.

[17]Liu J H, Zhang L, Hou Y K. Image retrieval based on micro-structure descriptor[J]. Pattern Recognition, 2011,44(9): 2123-2133.

[18]Wang XY, Wang ZY. A novel method for image retrieval based on structure elements descriptor[J]. Journal of Visual Communication and Image Representation, 2013, 24(1): 63-74.

[19]任获荣, 王家礼, 张平. 形态金字塔图像分割算法[J]. 西安电子科技大学学报(自然科学版), 2004, 31(2): 248-251.

[20]霍红文, 封举富. 基于多类在线Boosting的图像识别算法[J]. 计算机辅助设计与图形学学报, 2011, 23(7): 1194-1197.

[21]蒋芸, 陈娜, 明利特. 基于Bagging的概率神经网络集成分类算法[J]. 计算机科学, 2013, 40(5): 242-245.

Study on on-line detection of mildewed tobacco leaves based on machine vision and MSD descriptors

LIU Bin1, ZHU Wenkui2, ZHOU Yaning2, MAO Weijun1, ZHONG Kejun1, XI Jianping1, ZHANG hui1, WANG Yibin3, HUANG Gang4
1 China Tobacco Hunan Industrial Co., Ltd., Changsha 410014, China;2 Zhengzhou Tobacco Research Institute, Zhengzhou 450000, China；3 Nanjing Jiao’er Science and Technology Ltd., NanjingJ210014, China;4 Kunming Julin Science and Technology Ltd, Kunming 650000, China

In order to realize automatic screening of mildew tobacco leaves, a moldy tobacco online detection system based on machine vision was developed. Tobacco leaf images were obtained by high-speed linear CCD. MSD (Micro-structure descriptor) was used to extract image color, texture features. Neural network ensemble was adopted to generate individual learning algorithm, which realized the recognition of mildew tobacco leaves by training and learning. Recognition algorithm measure for mildew tobacco samples was up to 0.918.Results showed that recognition rate of target object was higher than 95% for mildew tobacco detection alone, while it was higher than 87% when mildew tobacco was mixed with normal tobacco leaves. It was indicated that the machine vision method is feasible for on-line selection of mildew tobacco leaves.

tobacco leaves; machine vision; MSD descriptor; detection of mildew tobacco

:LIU Bin, ZHU Wenkui, ZHOU Yaning, et al. Study on on-line detection of mildewed tobacco leaves based on machine vision and MSD descriptors [J]. Acta Tabacaria Sinica, 2015, 21 (2)

刘斌，朱文魁，周雅宁，等. 基于机器视觉和MSD微结构描述算法的霉变烟在线检测研究[J]. 中国烟草学报，2015,21（2）

国家烟草专卖局重点实验室项目“打叶复烤均质化加工技术研究”（212014AA0630）; 湖南中烟工业有限责任公司科技项目“在线智能化片烟精选系统的研制”(KY2011ZB0003)

刘斌（1969—），本科，高级工程师，主要从事烟草工艺研究和新技术开发,Email: liub0813@hngytobacco.com

朱文魁（1979—），博士，副研究员，主要从事烟草工艺技术研究，Email: wkzhu79@163.com

2014-04-20