基于深度学习的烟支外观检测系统的设计与实现

2022-12-05张维琛赵海挺李端端张健龙劣旺涛张连连

科学技术创新 2022年35期

张维琛，赵海挺，李靖，李端端，张健龙，劣旺涛，张连连*

（1.张家口卷烟厂有限责任公司，河北张家口 075000；2.河北建筑工程学院，河北张家口 075000）

引言

中国烟草产业产量一直位居世界第一，中国烟草每年给国家所缴纳的税额达到了1.2 万亿，烟草行业是中国的支柱产业之一，随着我国经济水平的不断提高和设施的不断完善，其竞争也日益激烈，持续提高烟草行业自动化生产能力、提高烟支瑕疵检测灵敏度来提高产品质量，是烟支企业发展的必经之路。烟支质量的优劣直接影响到消费者对于该产品的选择及使用，同时也间接地反映了一个烟草企业的技术实力。目前的自动生产流水线上烟支的生产速度已经达到了300 支/秒，靠人工去分辨缺陷已经不太现实，迫切需要检测出烟棒外观缺陷并剔除，基于深度学习的图像处理技术代替人工是一种切实可行的技术方案。

1 研究背景及意义

目前，应用视觉检测技术对烟支的外观质量进行更完善的监测，是保证烟支质量合格率的有效检测手段之一。张烟公司卷包车间现有烟支外观检测设备昂贵，多数卷烟机未安装烟支外观检测系统，采购安装烟支外观检测系统很有必要。但是，采购成本高；算法复杂、参数多、参数间具有严格的相关性、调整难度大；对车间电气技术人员要求高；难以适应不同烟支的检测等成为困扰该问题解决的因素。因此自主开发烟支外观在线检测系统，应用人工智能、机器视觉等技术手段实现烟支刺破、烟支夹末、烟支黄斑、烟支长短、烟支污渍、水松纸泡皱、水松纸夹末、水松纸长短、双层水松纸、水松纸错牙等外观缺陷烟支的检测剔除，加强对烟支质量的把控力度，提高视觉检测应用可靠性，减少设备改造投入，减少因外观缺陷造成追溯而带来的原材料浪费，提高技术人员开发水平。

2 烟支外观检测系统设计

通过对目前的香烟外观检测数据进行统计分析发现，香烟由装烟丝的烟棒和装过滤器滤嘴2 部分组成，常见的外观缺陷包括错牙、局部泡皱、滤嘴暗点、烟棒斑点、烟棒刺破等。这些图像具有缺陷面积大小不一、缺陷种类多样、缺陷占比小、烟支图像狭长等特点，导致传统的图像处理算法分辨缺陷的准确率较低及烟支的误剔除。近年来，机器学习算法，在语音和图像识别方面解决了很多复杂的模式识别难题[1-2]，人工智能相关技术取得了很大进步，使得基于深度学习的烟支外观检测成为可能。

根据生产过程、外观缺陷的位置和形成原因，主要研究以下4 类缺陷：错牙、局部泡皱、烟棒暗点、特殊检测。错牙指烟支的包装纸在生产过程中没有对齐，主要由生产机器造成；局部泡皱指烟支上有像皱纹一样形状的破损，主要是由生产机器用烟棒纸卷烟丝时造成；烟棒暗点指烟棒上面有大小不一的暗点，主要由烟棒纸印刷不合格形成；特殊检测指烟支生产结束后缺少滤嘴[3]。在处理烟支图像时首先要进行预处理消除噪声干扰；然后对目标烟支分割得到的烟棒和滤嘴，最后提取烟支缺陷特征，对缺陷分类。针对烟支各类缺陷，从硬件、软件两个方面进行烟支外观检测系统的设计开发。

2.1 烟支外观检测系统的硬件实现

本系统中单片机与上位机采用TCP 网络通信，与其他通信方式相比，TCP 通信方式更加稳定，在烟机检测系统通信测试中测得网络通信每秒最高可以完成800 测收发，远超我们所需的150 测收发需求，在不追求高速的情况下可选择TCP 网络通信。当单片机接收到时钟同步信号后，根据预先设置的图像拍摄方案进行控制相机及补光电路完成图像获取。烟支外观缺陷检测系统框图和流程图见图1 和图2。当上位机对烟支分析结果为合格时，单片机记录合格烟支数量；若分析结果为不合格时输出剔除信号并记录。基于STM32 单片机控制电路板自主开发电控箱、光源触发板等，完成卷烟机相位采集、拍照触发、剔除信号输出等功能。STM32 通过时钟脉冲与烟机生产线进行同步，同时控制频闪亮度增益实现相机的补光电路。工控图像处理机同步获取相机拍照内容应用软件部分进行缺陷的识别和分类，并将处理结果反馈回STM32控制电路进行瑕疵烟支的剔除。

图1 烟支外观缺陷检测系统硬件框图

图2 烟支外观缺陷检测流程图

STM32 单片机控制电路板用于烟支外观成像的工业相机的硬件触发功能，工业相机采用高低电平触发，实现多线程图像处理器中图像的标记与反馈功能、实现不合格烟支在卷烟机上的剔除功能、实现由图像处理器软件对相机与光源的参数设置功能。为实现高清高速移动的烟支图像，避免烟支图像产生拖影，需缩短摄像机的CCD 曝光时间，导致摄像机的图像变的更暗，需要增加补光电路的设计，使摄像机有较好的宽动态。因此设计了一种频闪亮度同步可调的LED 补光灯，包括灯壳及设于灯壳内的电源和LED灯板，频闪亮暗控制电路板。在单片机控制电路板外围设计LED 光源电路板，解决工业相机对烟支实时拍照时背景中的技术问题，实现拍照时的补光功能。

2.2 烟支外观检测系统的软件实现

烟支外观检测系统的软件部分以Pycharm 开发环境为平台，Python 语言为基础，基于Resnet50 完成烟支缺陷检测，主要包含预处理、图像分割、缺陷检测分类等内容[4-5]。在进行烟支图像的缺陷识别及分类时首先对图像进行预处理及噪声滤除；其次对烟支图像进行分割，将烟嘴和烟棒进行分离并提取特征参数；最后对烟支图像进行识别和分类。在进行预处理时发现在均值滤波与中值滤波对图像进行处理[6]，都会使图像变得模糊。均值滤波还会使瑕疵变形，从而对缺陷的判别产生影响，故而我们选择高斯滤波对图像进行去噪处理。

通过对设计需求的综合考虑，软件需具备处理图像和缺陷检测两大功能。图3 为系统功能图，在烟支检测种划分为图像检测和视频检测两种类型分别进行缺陷检测和分类。如图4 所示，界面划分为结果登录界面、显示区域、图像显示区域以及控制区域四大区域。登陆界面由账号密码来进行登录，从而确保本系统由烟厂的专业人士来操作。图像显示区域主要显示原始灰度图像以及预处理图像。由4 个模块组成4个显示区域。在进行图像检测时，预处理最为关键。控制区域由4 个按键共同组成：①选择图片：通过单击打开图像，选择图片类型，并在编辑框内对其路径进行显示；②截取烟棒：对图像进行预处理工作，分别是二值化和去除噪声；③缺陷分类：这一按键用于烟支特征的判断，并在下面的编辑框进行判断显示；④保存截取图像：对分割后的图像进行保存到程序设定好的文件夹中。检测结果显示区域包含2 个编辑框，检测结果在文本框内显示。检测烟棒出现缺陷，则显示烟缺陷类型及检测的准确率。

图3 烟支外观缺陷检测系统功能图

烟支图像分割采用全局阈值分割法，在整个图像中采用的是固定的阈值进行图像分割，因此在数字图像处理中应用比较广泛。依据选择阈值的方式不同，可将全局阈值法分为迭代式阈值选择、模态等方法，同时还有最大类间方差法、最大熵分割法、共生矩阵分割法等。采用的是全局阈值分割法中的手动阈值法，由于烟棒图像简单，根据实验法合适设定分割阈值同时允许微调，这样做的好处是计算量小速度快。获得二值图像后，首先对预处理后的二值化目标烟支进行形态学预处理，使用开运算突出目标边缘并消除多余信息，针对预处理后的图像，使用Canny 边缘检测算子进行边缘检测特征分析，使目标烟支的烟棒和滤嘴连接的边缘实现烟棒和滤嘴的分割。如图4 所示，图4 中第一幅图为原始烟支图像，第二及第三幅图是对图像进行二值化后进行烟棒和滤嘴的分割图像，第四幅图是对原始图像的烟棒和滤嘴进行分割。分割完成后需要根据图像特征进行缺陷检测及分类，在对烟支缺陷进行检测分类时采用了Resnet50 网络，Resnet 是一种残差网络，特点是容易优化，并且能够通过增加深度来提高准确率。其内部的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题，因为深度的增加，结果得到了明显提升。Resnet50 网络中包含了49 个卷积层、一个全连接层。Resnet50 网络结构可以分成七个部分，第一部分不包含残差块，主要对输入进行卷积、正则化、激活函数、最大池化的计算。第二、三、四、五部分结构都包含了残差块，图中的绿色图块不会改变残差块的尺寸，只用于改变残差块的维度。在Resnet50 网络结构中，残差块都有三层卷积，那网络总共有1+3*（3+4+6+3）=49 个卷积层，加上最后的全连接层总共是50 层，这也是Resnet50 名称的由来。网络的输入为224×224×3，经过前五部分的卷积计算，输出为7×7×2048，池化层会将其转化成一个特征向量，分类器对特征向量进行计算并输出类别概率。图4 右侧部分显示烟支缺陷为错牙，准确率为92.6%。图5 是对大量烟支进行检测后的不同缺陷检测的平均准确率，从图表中可以看出不同缺陷类型准确率有一定差距，准确率最高的为烟支破损达到了98.5%，准确率最低的为错牙仅为93.2，这是因为破损特征较为明显更容易检测，而错牙集中在烟支滤嘴接口处，错牙特征较难提取导致的。