机器视觉在卷烟生产中的应用与展望

李 郸,梁洲源,马慧宇,李海燕,王春琼,张 轲,廖泽容,张榆锋*

(1.云南省烟草质量监督检测站,云南 昆明 650104;2.云南大学 信息学院,云南 昆明 650500;3.昆明医科大学康复学院,云南 昆明 650500)

0 引 言

机器视觉以图像采集系统模拟人眼的视觉感知功能,利用计算机对图像进行分析处理,实现对客观世界的感知、理解和识别,其作为无接触、无损伤的自动检测技术,是实现设备智能化精密控制的有效手段,具有安全、可靠、高效、便捷等优点[1-2]。典型的工业机器视觉系统使用摄像机采集被测目标图像信息,然后传送给上位机处理系统,系统根据图像信息计算被测目标的形态和位姿特征,据此控制执行器进行响应操作[3]。随着信息检测和人工智能信息处理技术的快速发展,机器视觉已被广泛应用于缺陷检测[4]、过程监控[5]、交通导航[6]和目标识别[7]等多个领域,市场规模日益扩大。

烟草是国家和地方财税的重要来源,而卷烟是最主要的烟草制品。作为全球最大的卷烟生产规模与消费市场,中国生产并消费了全世界约三分之一的卷烟产品[8-9]。卷烟生产包括烟叶加工、制丝工艺、烟支卷接和卷烟包装等主要环节,工艺复杂,随着测控技术的发展,各环节自动化程度越来越高[10]。然而,烟叶烘烤、烤烟分级、质量检测等关键工序还停留在人工或半自动水平。机器视觉的引入,解决了人工生产存在的主观性强、耗费人力、效率低下等问题,进一步提高卷烟生产自动化和标准化程度。如图1所示,按照主要工艺流程,将机器视觉的核心方法大致分为图像处理技术、传统机器学习和深度学习三类,对近年来该技术在卷烟生产中开展的研究以及取得的应用性成果进行梳理。最后,对机器视觉在卷烟制造业面临的挑战及发展趋势进行分析与展望。

图1 机器视觉在卷烟生产主要环节的应用

1 基于机器视觉的烟叶加工

1.1 烟叶烘烤过程控制

烘烤工艺很大程度上影响着烟草的质地和香气。主流烘烤方式是将烟叶置于密集烤房中,利用热风使烟叶流失水分并产生化学变化。烤房配备的烘烤控制器可以调节温度、湿度、烘烤时间等参数。然而不同批次烟叶的品种、成熟度、含水量都不一致,相应的烘烤生产过程存在差异。为达到理想的烤制效果,烘烤过程中需要人工观察烟叶状态动态调整参数设置。这种半人工方式实时性差,主观性强,烘烤质量不稳定;此外,恶劣的烘烤环境也会对技术人员健康造成伤害。因此,通过烟叶图像精准判别烘烤烟叶的变化,实时调整控制策略,对提升烤烟质量、降低劳动强度和人工成本有重要作用。

1.1.1 烘烤阶段判别

文献[11-12]获取并分析烘烤过程中各阶段烟叶图像的特征,作为判别烘烤阶段的重要依据。Wang等[13]提取了烟叶图像的颜色特征,通过长短时记忆和极端梯度增强融合模型进行烘烤阶段判别,准确率达97.4%。李增盛等[14]对比了基于遗传算法的支持向量机、基于粒子群算法的反向传播神经网络和极限学习机等三个模型,结果表明基于遗传算法的支持向量机性能最佳,测试集判别准确率达98.5%。杨海清等[15]将压缩激励网络结构用于残差网络模型,提高了提取深层特征的能力,判别精度达99.1%。

1.1.2 烘烤策略调整

Wang等[16]将手动提取的烟叶图像颜色和纹理特征与专家经验知识结合,利用神经网络对干球温度、湿球温度的设定值以及到下一烘烤阶段的变化时间进行预测,预测均方误差分别为1.7,2.0和8.2。Wu等[17]采用卷积神经网络(Convolutional Neural Networks,CNN)自动提取烟叶图像特征,与手动特征提取、堆叠稀疏自编码器,以及其他两种深度学习模型相比,干球温度和湿球温度的预测均方根误差分别下降约20%～50%和40%～70%。

上述研究表明,机器视觉在烟叶烘烤过程控制中取得显著成效,其中机器学习方法表现突出。未来还需对更多品种及产区烟叶开展针对性的研究,进一步提高应用水平。

1.2 烟叶分级

分级有助于合理利用烟草资源,保证配方工艺的稳定。烘烤后烟叶外部形态、内部物质发生显著变化,颜色、形状、纹理等外部特征与内部质量密切相关,是影响烟叶等级的关键因素。

Harjoko等[18]利用区域颜色分析对黄、棕、绿三类烟叶进行分类,准确率达91.7%,表明图像处理技术可用于简单的颜色分组。然而,细化分级不仅取决于烟叶颜色,还取决于生长位置、外观质量等因素,需要提取更多特征,使用智能分类方法。Zhang等[19]通过二级模糊综合评价法和神经网络对X1L,B4L,S1三个等级烟叶进行分级,准确率为72%,表明传统机器学习可用于烟叶分级,但精度有待提高。

有研究者基于深度学习进一步对烟叶分级进行研究。Liu等[20]联合烟叶可见光图像特征与红外光谱特征,应用广义回归神经网络进行分级,准确率达到93.5%。Luo等[21]基于改进AlexNet自动挖掘困难样本的深层图像特征,并与表观特征结合,平均相邻精度达98.6%。上述研究分级准确率较高,但仅针对烟叶分级数较少的情况。

实际烟叶划分多达数十个等级,部分等级之间差异很小,分级任务将愈发困难,因此具备高精度的深度学习方法备受关注。叶大鹏等[22]通过多光谱成像技术采集烟叶图像,并利用图像翻转和亮度变化扩充样本量,在改进VGG11网络下分级准确率达99.8%。随机裁剪、缩放、擦除等简单高效的增广方式有待尝试,但考虑到颜色特征是划分烟叶等级的关键因素,基于色域变换的增广方法或许并不适用。

1.3 片烟形态检测

打叶复烤指利用打叶设备将片烟和烟梗分离后,再次进行加热干燥处理,目的是调整原料水分,利于长时间贮藏发酵。片烟形态反映打叶复烤质量,也是影响烟丝形态的重要因素[23-24]。

一方面,片烟形态检测关注片烟面积大小及其分布。徐大勇等[25]通过片烟图像的像素点数量计算片烟的实际面积,测试相对误差小于4%。朱文魁等[26]探究了复烤工艺对片烟面积的影响,根据干燥前后的片烟图像计算片烟收缩率,当测试样本在200 g以上时,重复测试的变异系数低于6%。此外,应用分形理论有助于描述片烟复杂的几何特性。李晓等[27]联合片烟的面积和feret直径建立了片烟分形模型,利用分维数定量表征片烟结构。基于该理论,余娜等[28]建立了片烟面积分布的分形模型,用于表征片烟面积分布的均匀程度和大中片率。另一方面,片烟形态检测关注片烟形状。徐大勇等[29]结合分形维数和傅里叶描述子定量描述片烟形状,效果好且鲁棒性强。刘泽等[30]基于片烟外轮廓建立了特征分析方法,比较了不规则片烟的形状特征。

片烟形态检测对片烟的颜色、纹理等信息关注较少,极大降低了问题复杂度,因而图像处理技术足以较好完成检测任务,具有简单、快捷等优点。

1.4 精选除杂

优良的发酵工艺可以去除烟叶刺激性气味,突显烟草香味,改善卷烟吸味,但由于醇化周期长,贮藏环境温、湿度波动,发酵过程中烟叶易发生霉变。传统霉烟的剔除主要采用人工精选方式,该方法分选效率低且漏检率高。刘斌等[31]采用微结构描述算法获取图像特征,并基于集成神经网络检测霉变烟叶,结果表明,该方法对霉烟的平均识别率在87%以上。此外,在片烟加工过程中难免会混入多种异物,该研究团队还设计了一款在线片烟精选系统[32],结果表明,系统对结团烟、含梗烟、青霉烟及杂物的有效剔除率分别为95%,91%,75%和92%,达到或高于人工精选水平。

表1对机器视觉在烟叶加工中的主要工作进行归纳。总体上看,图像处理主要用于片烟形态检测任务,机器学习则被广泛用于烘烤过程控制、烟叶分级和精选除杂等任务,其中以CNN为代表的深度学习备受关注。多项研究显示,深度学习抓取的深层语义特征是提升模型性能的关键,因此在复杂任务中,深度学习的精度和适应性普遍优于传统机器学习,但由于需要大量训练样本,具有一定局限性。

2 基于机器视觉的制丝工艺

2.1 烟丝形态检测

制丝是卷烟生产中流程最长、工序最多的环节,切丝是其中的必要工序。烟丝形态是衡量切丝质量的重要指标,决定着成品卷烟的填充量、焦油量和含末率等物理指标[33-35]。

赵维一等[33]通过图像分割、细化等方法计算多根叶丝的平均宽度,测量相对误差小于0.5%,变异系数小于0.2%。夏营威等[34]通过霍夫变换识别烟丝切口,利用配对切口间距进行烟丝宽度测量,减少了烟丝扭曲、弯折、异形区域对宽度测量的影响,检测时间仅为标准方法的1/8。张超凡等[35]基于形态分析、骨架提取、霍夫变换等方法计算出梗丝的含丝率、长度均匀性和宽度均匀性,结果表明,含丝率检测准确率达到98.7%,长度和宽度测量偏差仅为0.02。李晓等[36]采集了8种不同工艺处理的梗丝样品图像,通过方程拟合得到梗丝特征宽度,结合占比最高的梗丝宽度区间建立梗丝形态的表征方法,将梗丝划分为4种形态:丝状、片状、近丝状和近片状。

2.2 烟丝组分识别

叶丝、梗丝、膨胀叶丝、再造烟叶丝等组分的配比是卷烟配方设计的核心,决定了卷烟的烟气特性和感官质量,研究人员利用深度学习开展了烟丝组分识别研究。高震宇等[37]应用CNN对采集的烟丝局部微观图像进行识别,训练集和测试集准确率分别为100%和85%,泛化性一般。钟宇等[38]以残差神经网络为基本框架识别烟丝类型,并利用几何变换扩充样本量,测试集准确率达96%以上,泛化性得以提升。

本节概述了机器视觉在制丝工艺中的应用研究,对其中的主要工作进行归纳,详见表2。可见图像处理技术主要应用于烟丝形态检测,而深度学习主要用于图像信息更加复杂的烟丝组分识别任务。并且由于烟丝结构细微,因此该环节对采集图像的分辨率要求较高。

表1 机器视觉技术在烟叶加工中的主要研究

表2 机器视觉技术在制丝工艺中的主要研究

3 基于机器视觉的烟支卷接

烟支卷接是将烟草原料制成卷烟产品的关键步骤,自动化的卷接设备每分钟可卷制上万支香烟,在高效生产的同时难免会产生翘边、褶皱、破损及油污沾染等烟支缺陷。

为测量烟支污点面积,刘勇等[39]通过图像变换处理将烟支柱面图像展开,利用图像分割提取污点并计算面积,精度可达0.03 mm2,检测时间仅为人工方法的3%。为检测卷烟封口胶量,刘仁瑞等[40]通过模糊支持向量机对增强处理后的封口图像进行检测,结果显示该系统对不同规格卷烟的检测精度达99%以上。李捷等[41]设计了以二级检测模型为核心的烟支外观在线检测系统,第一级基于最大轮廓面积检测明显的缺陷,第二级基于模板匹配检测轻微的缺陷,准确率达98%。上述研究表明,图像处理技术和传统机器学习都可以较好地进行烟支缺陷检测。

近年来,深度学习也被用于检测烟支缺陷。为实现缺陷自动分类,袁国武等[42]提出了一种基于ResNeSt模型的改进分类方法,采用迁移学习解决了样本量不足的问题,并通过h-swish替换ReLU激活函数将准确率提高至92%。王端生等[43]通过VGG19模型识别缺陷类型,再利用YOLOV3模型进行缺陷定位,查找易产生缺陷的工艺步骤。VGG19和YOLOV3模型测试准确率分别为97.6%和96.8%。

机器视觉在烟支卷接中的应用研究主要面向烟支缺陷检测,对其中的主要工作进行归纳,详见表3。总体而言,机器视觉在烟支缺陷检测中性能表现出色,图像处理技术和传统机器学习主要用于检测烟支是否存在缺陷,而深度学习侧重于识别缺陷类型以及定位缺陷位置,以进一步改善相关工艺。

表3 机器视觉技术在烟支缺陷检测中的主要研究

4 基于机器视觉的卷烟包装

包装是产品形象的重要体现,粗劣的包装质量会损害品牌价值和影响力,因此检测并剔除包装缺陷产品十分重要。区别于上述提及的烟支缺陷检测,包装图像背景繁杂,缺陷类型更加多样,因此检测难度大幅提升。

4.1 烟箱缺条检测

烟条装箱过程中可能出现缺条、错装等严重质量问题。董鸿江等[44]应用激光反射进行烟箱缺条检测,同时通过多个摄像机对堆垛、入箱过程中的烟条进行多方位图像采集,定位缺条位置。为避免随机性高光反射对检测的影响,倪松鹏等[45]基于禁忌匹配算法对预处理后的烟箱图像进行判别,与未考虑高光影响的检测结果相比,新方法误检率更低。王伟等[46]采集烟箱内部前后位图片,通过相似性分析检测缺条,并在检测过程中利用新的合格产品图像校正阈值,提高了系统的适应性和稳定性。此外,应用传统机器学习方法也取得较好的检测性能,原志雷等[47]采用BP神经网络对烟箱图像的7种显著特征进行识别,对缺条产品的检出准确率达99.9%。

4.2 烟条缺陷检测

实际生产中,烟条包装会出现起皱、破损、透明纸缺失、无拉线或拉线错牙等缺陷。方隽等[48]和秦晓敏[49]重点关注拉线缺陷检测,利用图像处理获取拉线间距,并通过阈值判定拉线是否合格。赵霙等[50]和吴伟等[51]基于模板匹配进行透明纸缺陷检测,识别率达90%以上。为过滤强反光的干扰,蔡培良等[52]使用滤光及偏光技术采集烟条图像,基于One Rule算法训练分类器,用于识别并剔除拉线和透明纸缺陷产品,剔除率达99.8%,误剔率小于0.01%。

除了外观缺陷,研究人员还对烟条的内部缺陷检测展开研究。基于烟条内部X光图像,颜西斌[53]提出了基于人类视觉感知的特征提取算法,并结合传统机器学习分类器进行烟条内部缺陷检测,检测精度可达95%以上。

4.3 烟包缺陷检测

由于烟包包装速度快,经常出现包装破损、翘边、脱落、错位和封签偏移等瑕疵。邱超等[54]在线获取生产线上的高速烟包图像,通过最佳分割阈值迭代、轮廓提取等算法准确描述烟包边缘信息,对烟包封签缺陷检测准确率达92%。同样针对封签缺陷,赵众等[55]通过烟包黑白图像特征直线的角度和位置判断封签是否合格,结果显示,该系统对不合格烟包剔除率达98%。刘浩等[56]利用快速定位配准和改进差分算法进行烟包商标纸缺陷检测,该方法通过分区域检测实现像素点快速差分,与传统差分算法相比,平均准确率提高15%。为检测烟包方正度,张勍等[57]通过相移法和多频外差法获取烟包表面各像素点的三维坐标信息,联合4个不同角度的三维信息计算方正度,测量误差低于0.2°,检测时间小于3 s。由于合格烟包图像特征稳定,模板匹配方法备受关注。文献[58-61]将模板匹配应用于烟盒缺陷检测中,展现出优异的检测性能。

除图像处理技术外,有研究者基于机器学习对烟包缺陷检测进行研究。为识别多类烟包缺陷,贺鑫[62]基于支持向量机对烟包多面图像进行检测,对多种缺陷的识别准确率达90%以上。杨超等[63]基于改进YOLOV4-tiny算法检测小包外观缺失,并使用数据增广扩充样本,系统平均检测精度达97.4%,平均检测时间为17 ms,在精度和速度上具有显著优势。朱立明等[64]基于无监督深度神经网络搭建了小包缺陷检测系统,用于识别并剔除无拉线、拉线偏移、包装破损等多种缺陷烟包。

表4归纳了机器视觉在卷烟包装缺陷检测中的应用研究。可见图像处理技术具有精度高、速度快、使用样本少等优点。然而,该技术普遍对采集环境要求严格,采集参数的轻微变化都可能严重影响检测结果。相较之下,深度学习通过复杂的网络结构和丰富的样本提升模型适应性,降低对采集环境的要求。

表4 机器视觉技术在卷烟包装缺陷检测中的主要研究

5 结束语

对近年来机器视觉在卷烟生产中的应用进行回顾,可以看到该技术在各生产环节中大量应用,进展显著,未来有巨大发展空间,但现阶段仍有部分问题亟待解决:

(1)样本缺少问题。深度学习的优越性能建立在大样本基础上,但由于样本获取、采集、标定困难,部分领域存在样本缺少问题。(a)整体样本不足,这在烟叶分级中尤为明显。绝大部分等级缺少足够的烟叶样本,致使该领域研究只集中于少数烟叶级别。(b)部分样本不足,特别在缺陷检测任务中部分缺陷类型少见,样本数量稀缺,容易引发数据不平衡问题。

(2)检测速度问题。(a)为获取更高的检测精度,需要从高分辨率图像中获取更多的细微特征,这将导致计算量剧增,减慢检测速度。(b)机器学习通过复杂的模型架构获取强大的学习能力,其代价是更长的运算时间,难以达到一般图像处理技术的快速检测。

(3)成本问题。一方面,计算机硬件性能是影响检测效率和稳定性的关键因素,另一方面,部分检测任务对采集环境要求严格,需要配备精密的采集系统。因此,搭建硬件设备成本高昂。

针对以上问题,笔者认为机器视觉在卷烟生产中的发展方向包括以下几个方面:

(1)构建标准的烟叶分级数据库。针对各级别烟叶样本不足问题,数据增广可作为阶段性的弥补措施,但在实际部署中,缺少真实样本会严重干扰分级系统的精度和稳定性。因此,收集各级别足量的烟叶样本,搭建统一的图像采集平台,构建标准的烟叶分级数据库,是实现烟叶自动化分级的重要基础。

(2)应用深度学习异常检测方法。鉴于缺陷样本具有数量少、类型多的特点,可广泛使用异常检测方法。该方法仅使用正常样本构建检测模型,通过比较待测样本与正常样本之间的差异性判别异常,避免了缺陷样本不足问题。

(3)构建轻量化网络模型。轻量化网络在保证精度的同时缩小网络规模,减少模型参数量和计算量,能够大幅提升检测速度并降低计算机性能需求。

(4)构建一体化检测系统。许多应用在检测对象和采集方式上存在共同点,可根据这些共同点搭建统一的硬件设备,针对具体的检测任务搭建子功能模块,并整合为一体化检测系统。一体化检测系统的构建可以极大地降低硬件部署成本,有助于卷烟生产各环节的统一管理。