深度学习算法在卷烟外观质量检测中的应用

焦 俊，郝静烈，冷晓飞，刘 娅，杨彤瑶

(红云红河烟草（集团）有限责任公司昆明卷烟厂，云南昆明 650000)

中国烟草十四五规划中提出了按照“形成强大国内市场，构建新发展格局”的总体部署，中式卷烟知名品牌既要在畅通国内大循环、促进国内国际双循环和优化供给结构、改善供给质量中承担更大责任、发挥更大作用，也要通过技术创新、品牌创新、产品创新来更好地满足人民群众日益增长的物质文化需求。行业深入实施“三品”战略，增品种、提品质、创品牌，寻找新的增长点。品牌卷烟成品的任何包装质量问题都会影响企业品牌形象，失去企业的信誉度，如何保证包装生产的稳定质量，减少和杜绝不合格的卷烟产品流入市场，是各卷烟企业在全面质量控制中的一个关键环节。目前，中国烟草品牌优势随着卷烟设备自动化程度的不断提高以及生产效率的提升，对卷烟产品质量检测和工艺环节中的质量控制提出了新的要求，针对香烟包装质量检测的研究也逐步被付诸实践，在新出厂的卷烟机和包装机中，基于传统机器视觉相机的在线外观质量检测模块逐渐成为标准配置，然而，作为烟草企业品牌质量的管控者，烟草企业三级站仍然在采用人工抽检和人工目检方式，随着企业产量和卷烟制品品种的增加，对卷烟产品质量检测和工艺环节中的质量控制提出了新的要求，人工抽检方式已经无法满足现代化实际生产中的需求。通过机器视觉检测，克服了人工检测存在的问题，提高了检测效率和检测质量，从而保证了产品品质的需求，在国内烟草企业变得越来越具备普遍性和必要性。

现在国际国内的烟草烟支和小包装外观质量的检测出现了很多针对包装质量检测的算法，其中最主要的是图像匹配算法，图像匹配是指通过一定的匹配算法在两幅或多幅图像之间识别同名点。现行国际国内的烟草烟支和小包装外观质量检测装置主要就是基于工业相机，其理论基础就是固化在工业相机内部的图像匹配算法。

图1是现行小包在线检测的安装方式。基本工作原理就是通过固化在工业相机内部的图像匹配算法，工业相机内部的处理器对图像信息进行处理。通常采用的模板匹配是基于像素的匹配，用来在一副大图中搜寻查找模版图像位置的方法。与 2D 卷积一样，它也是用模板图像在输入图像（大图）上滑动，并在每一个位置对模板图像和与其对应的输入图像的子区域进行比较。通过诸如平方差匹配法、相关匹配法、相关系数匹配法、归一化平方差匹配法、归一化相关匹配法、归一化相关系数匹配法等匹配算法找最大匹配的点，设置一个匹配阈值来匹配多个物体。

图1 现行小包在线检测安装方式

模板匹配算法从自身的数学基础而言，具有自身的局限性，主要表现在它只能进行平行移动，若原图像中的匹配目标发生旋转或大小变化，该算法会失准。

而受限于机器视觉相机本身处理器的处理能力，在加载多种瑕疵的模式匹配算法会显得力不从心。

较新的机器视觉相机也逐步引入了特征匹配算法以应对检测目标的旋转，移动以及视场光线变化，通过特征提取、匹配器和单应性匹配以实现更灵活的瑕疵检测。

SIFT 特征提取分析通过尺度空间滤波器构建尺度空间，模拟图像数据的多尺度特征。使用具有不同方差值的高斯拉普拉斯算子（LoG）对图像进行卷积。LoG 的计算量非常大，为了有效地在尺度空间检测到稳定的关键点，所以SIFT 算法使用高斯差分算子（DoG）来对LoG 做近似，利用不同尺度的高斯差分核与图像卷积生成。在传统机器视觉相机中，完成大数据量的计算非常困难，也就导致传统机器视觉相机出现算力瓶颈，极大影响了瑕疵检测能力的提升。

随着深度学习理论的日益发展，卷积神经网络算法获得越来越复杂的图像特征并进行学习。2014年以来，研究人员将这些网络应用于特征提取的步骤，而不是使用SIFT 或类似算法。2016 年，DeTone 等发表了Deep Image Homography Estimation，提出了HomographyNet 回归网络，这是一种VGG 风格模型，可以学习两幅相关图像的单应性。该算法具有以端到端的方式同时学习单应性和CNN 模型参数的优势。HomographyNet 回归网络产生八个数值作为输出。以监督的方式进行训练，并计算输出和真实单应性之间的欧几里德损失。该单应性估计方法需要有标记数据。虽然很容易获得真实图像的单应性，但会消耗极大的实际算力。而以无监督的方式进行训练与传统的基于特征的方法相比，这种无监督方法具有相当或更高的准确率和鲁棒性，并且具有更快的执行速度。此外，与有监督方法相比，它具有更好的适应性和性能。同时来源于医学图像配准的强化学习方法可以用于更复杂的转换。Krebs 等使用人工代理优化变形模型参数。该方法对医学MRI 图像的配准进行实验，在2-D 和3-D中表现出了较好的结果。

1 深度学习检测技术可以显著简化瑕疵检测和缺陷检查

该技术可以自主学习特定缺陷特征，从而可以识别特定的问题类别。如果用户使用预训练的深度学习网络，例如MVTec 的图像处理软件Halcon 的那些网络，则基于样本图像，算法可以训练各种各样的瑕疵和缺陷类型，然后可靠地识别它们。

采用深度学习技术进行瑕疵检测大致可以分为如下几个步骤（图2）。

图2 瑕疵检测步骤

1.1 图像采集

通过采用西门子伺服系统控制的送检皮带和翻转机构，可以准确地将送检样本停留在预先标定位置，从而触发对应检测位置的工业相机，获得清晰可靠的样本图像。

1.2 样本识别

采用卷积神经网络（Convolutional Neural Network，CNN）和循环神经网络（Recurrent Neural Network，RNN）相结合完成瑕疵检测的识别分类。

相比于传统的图像处理算法，卷积神经网络CNN 避免了对图像进行复杂的前期处理（即大量的人工图像特征提取工作），也就是说，CNN 能够直接从原始图像出发，经过非常少的预处理，就能从图像中找出视觉规律，进而完成识别分类任务，其实这就是端到端（end-end）的含义。CNN 的基本结构包括以下两层。

（1）特征提取层。每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征。一旦该局部特征被提取后，它与其他特征间的位置关系也随之确定。

（2）特征映射层。网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等。特征映射结构采用影响函数核小的sigmoid 函数作为卷积网络的激活函数，使得特征映射具有位移不变性。此外，由于一个映射面上的神经元共享权值，因而减少了网络自由参数的个数。卷积神经网络中的每一个卷积层都紧跟着一个用来求局部平均与二次提取的计算层，这种特有的两次特征提取结构减小了特征分辨率。

如图3所示，CNN 的核心在于卷积（Convolution）、池化（Poling）和非线性处理（ReLU）。

图3 CNN模型步骤

二维图像的卷积公式如下：

针对不同的瑕疵类型，选用不同的卷积核可以挖掘出更多的图像特征，例如，采用如下的高斯-拉普拉斯算子，可以得到图像的边缘，从而使瑕疵的特征更为突出。

CNN 主要用来识别位移、缩放及其他形式扭曲不变性的二维图形，该部分功能主要由池化层（Poling）实现。①由于CNN 的特征检测层通过训练数据进行学习，所以在使用CNN 时，避免了显式的特征抽取，而隐式地从训练数据中进行学习；②由于同一特征映射面上的神经元权值相同，所以网络可以并行学习，这也是卷积网络相对于神经元彼此相连网络的一大优势。卷积神经网络以其局部权值共享的特殊结构在图像处理方面有着独特的优越性，其布局更接近于实际的生物神经网络，权值共享降低了网络的复杂性，特别是多维输入向量的图像可以直接输入网络这一特点避免了特征提取和分类过程中数据重建的复杂度。

在烟草瑕疵检测中，采用了一种新的级联自动编码器（CASAE）结构（图4），用于缺陷的分割和定位。级联网络将输入的缺陷图像转化为基于语义分割的像素级预测掩模。利用压缩卷积神经网络（CNN）将分割结果的缺陷区域划分为特定的类。分割网络定位像素级别的缺陷位置，然后通过分类网络对缺陷进行识别。

图4 CASAE结构

在刚开始检测一个新的项目，只需要采集几百到一千的图像数据，在这些图像数据上面标记缺陷种类，然后进行一轮训练。训练过后再放进一批新的样品图，会发现检测率相当高，一开始就可以保持在95%～98%。在训练次数越多的情况下，检测率是可以无限接近100%。

CNN 模型框图，如图5所示。

图5 CNN模型

卷积神经网络CNN 无法利用历史数据的时间依赖关系，从而导致CNN 的预测和分类出现偏差或加大计算资源的耗散。

由于烟草成品具备一定的时间关联性，例如同一品牌的外包装具有极强的一致性，包装和瑕疵图像数据同样也具有较强的依赖性，即在烟草瑕疵检测的应用中，数据之间存在相互依赖关系。充分利用这些数据间的依赖性以及历史数据的时间依赖关系，是在烟草瑕疵检测中使用时间递归神经网络（recurrent neural network）的重要基础。

图6 为Elman RNN 网络模型。Elman RNN 网络模型中，X向量表示输入层的值，O向量表示输出层的值，一共就有三类参数值，分别是U、V和W。假设输入层神经元个数为n个，隐层的神经元个数为m个，输出层的神经元个数为r，那么U是输入层到隐藏层的权重矩阵，大小为（n×m）维；V是隐层到输出层的权重矩阵，大小为（m×r）维。RNN 中隐层s（t）的值，不仅取决于当前输入x，还取决于上一次隐层的值s（t-1）。W表示的是隐藏层上一次输出值而作为本次输入的权重矩阵，大小为（m×m）维。

图6 Elman RNN网络模型

在理论上，这个模型可以扩展到无限维，也就是可以支撑无限的时间序列，但实际应用中，考虑到历史数据的相关性和时效，如下列公式所示。

将过去的所有序列作为输入，从而生成当前的状态，其中θ 表示激活函数σ 中所有的参数集合。表示序列中的第t时刻或第t时间步的输入数据，它通常也是一个向量；向量，表示隐层的值。

都可以看到，第t时间的记忆信息是由前（t-1）个时间步累计而成的结果和s（t-1）当前的输出X（t）。

由于传统的RNN 存在梯度弥散问题或梯度爆炸问题，导致第一代RNN 基本上很难把层数提上去，因此其表征能力也非常有限，应用上性能也有所欠缺，在烟草成品外观检测的应用中，具体表现为算法收敛性不强，不利于提取外观质量瑕疵特征值，因此会导致在保证外观瑕疵被检出的前提下，需要大量的训练样本和建立庞大的外观质量瑕疵，从而导致系统资源耗散过快，使系统过于庞大和复杂。

根据胡伯提出的LSTM 改进算法，通过改造神经元，添加了遗忘门、输入门和输出门等结构，让梯度能够长时间地在路径上流动，从而有效提升深度RNN 的性能。

在RNN 算法中引入梯度截断（图7）有助于处理爆炸的梯度。为了解决消失的梯度和更好地捕获长期依赖，一种方法是使用LSTM 以及其他自循环和门控机制；另一个想法是正则化或约束参数，以引导信息流。LSTM 通过引入巧妙的可控自循环，以产生让梯度能够得以长时间可持续流动的路径避免长期依赖问题，而GRU 它将忘记门和输入门合成了一个单一的更新门。同样还混合了细胞状态和隐藏状态，及其他一些改动。

图7 RNN中的梯度截断

自主瑕疵检测。在通过训练获得瑕疵特征库后，即可进入自主瑕疵检测。当待检测样品通过送检皮带进入后，通过工业相机获得的样本图像进入模型，自动得出检测结果，同时，RNN 模型可以充分利用检测的历史数据，使整个瑕疵检测系统具备了记忆学习的功能，提升了系统智能程度，减少了样本训练时间。

通过优化的深度学习算法，利用采样图片进行训练，从而得出各个品牌卷烟的瑕疵特征库，训练图片如图8所示。

图8 训练图片

对于实时采集的样品图像及时进行研判，研判图片如图9所示。

图9 训练过程中对图片研判

可以清晰标定瑕疵部位的瑕疵类型，瑕疵面积和瑕疵拟合度。

实施前：

（1）仅能采用人工方式进行外观质量评价，结论受个人习惯、外部因素影响较大，难以准确化。

（2）人工检测方式需要有经验的检测人员，工作量大。

（3）检测人员不能跟班生产。

实施后：

（1）采用设备对外观质量进行测试，不受个人与外部环境因素的影响，测试结果客观准确。

（2）按照设备的使用操作规程，可以制定标准化的检测流程，按步骤进行测试，检测过程得以标准化。

（3）节约人力物力，结果清晰可见，耗用时间短。

（4）使用了外观检测装置进行检测后，随着深度学习算法的逐步完善，以及AI 在学习足量的样本数后越来越聪明，具备了深度学习和人工智能所带来的种种优势，为后续的质量管理工作提供了便利，使原来采用定性描述的指标得以定量评价。

2 结语

烟草制品外观质量检测对于企业品质管理具有重大意义，本项目开发的目的为研制一套具有国际国内领先水平的外观质量检测。实现基于深度学习算法的品质检测研究和探索，对于卷烟生产上的众多外观质量检测装置具有重大的指导意义，同样深度学习的视觉检测算法也具备极强的应用外延，可以为烟草生产分析，智能化水平提升提供较强的理论基础和实践探索经验。