雪茄烟烟支外观质量检测方法

张鹏飞，陈姣文，郭洪滨，杨荣超，贺 琛，张 勍，李青常，李素晓，慎龙舞，苗 芊*，薛 芳*

1.中国烟草总公司郑州烟草研究院，郑州高新技术产业开发区枫杨街2 号 450001

2.四川中烟工业有限责任公司技术中心，成都市锦江区成龙大道一泉段56 号 610066

3.郑州大学物理学院，郑州市高新区科学大道100 号 450001

雪茄烟是以雪茄烟叶为主作为茄芯，雪茄烟叶或再造烟叶作为茄衣，经过干燥、发酵等工序制作而成的一种具有雪茄烟风味特征的烟草制品［1］。近年来，国产雪茄烟消费呈现爆发式增长态势，成为国内卷烟消费新热点。雪茄烟外观质量是雪茄烟产品质量的重要组成部分，直接影响消费者对产品的印象。雪茄烟外观质量缺陷包括病斑、污痕、洞眼等，目前生产企业普遍采用感官观测法对烟支外观质量进行检测，存在人为影响因素大、检验工序耗时费力、质量数据难以分析与应用等问题。随着机器视觉和深度学习等技术的发展，生产制造领域的检测技术得到进一步优化。李捷等［2］设计了基于机器视觉的烟支外观在线检测系统，烟支质量识别准确率达到98%。张超凡等［3］提出一种基于视觉形态特征检测的烟梗切丝质量分析方法，能够对烟梗切丝质量进行快速准确评估。袁国武等［4］通过改进ResNeSt网络，建立了基于ResNeSt的烟支外观缺陷分类方法，有效解决了烟支外观缺陷分类检测效率低等问题。徐龙泉等［5］基于计算机视觉技术建立一种高精度气泡缺陷检测方法，通过在卷烟爆珠放行检验中准确检测出气泡缺陷爆珠，避免将污点、白斑以及胶皮粘附等非必检缺陷误识别为气泡。丛明等［6］针对复杂铸件外观缺陷体积小、背景复杂干扰大、难以实现高精度缺陷检测等问题，提出一种基于深度学习的铸件外观缺陷检测模型。此外，孙浩巍等［7］通过研究雪茄烟烟叶外观质量评价体系，总结了雪茄烟烟叶相关术语，建立了雪茄烟烟叶外观评价规则及评价指标，初步构建了雪茄烟茄衣、茄套、茄芯质量评价体系。但关于雪茄烟烟支外观质量缺陷检测方法的研究则鲜见报道。为此，搭建了一种雪茄烟烟支外观质量检测装置，并基于机器视觉技术和深度学习建立了雪茄烟烟支外观质量检测模型，以期提高雪茄烟产品质量检测精度和效率。

1 材料与方法

1.1 材料

“王冠”牌手工雪茄烟（安徽中烟工业有限责任公司蚌埠卷烟厂蒙城雪茄烟生产部提供），用于建立缺陷数据集；“长城”牌手工雪茄烟（四川中烟工业有限责任公司长城雪茄厂提供），用于测试应用效果。

1.2 雪茄烟烟支外观质量检测装置

搭建了雪茄烟烟支外观质量检测装置，见图1。其中，柱面相机和端面相机均为A7B00CGZY-01 工业相机（浙江大华技术股份有限公司），镜头分别为MH0814X 和MH1228X（浙江华睿科技股份有限公司）。雪茄烟烟支外观质量检测分为柱面检测和端面检测：①柱面检测时，将烟支放置在可调节平台上，通过调节平台位置使烟支处于相机焦距处，采集烟支柱面图像，然后旋转烟支120°采集图像，继续旋转烟支120°采集图像，实现烟支圆周全覆盖拍照。②端面检测时，调节端面相机左右位置，使烟支端面位于相机焦距处，采集烟支端面图像。与柱面检测不同，端面检测只需拍摄1次即可完成图像采集，在此过程中要确保烟支稳定且拍摄角度正确。

图1 雪茄烟烟支外观质量检测装置结构图Fig.1 Structure of cigar appearance inspection device

1.3 数据集构建

以不同外观质量缺陷的雪茄烟烟支样品作为实验对象，包括脱皮、青斑、病斑、切口破损、缝口5种缺陷类型。采集缺陷图像包括脱皮600 张，青斑297张，病斑149张，切口破损299张，缝口88张。5种缺陷类型图像见图2。

图2 雪茄烟烟支外观质量缺陷图像Fig.2 Images of cigar appearance defects

为保证5 种缺陷数据之间均衡，采用图像平移和翻转的方法对数量较少的缺陷类型进行数据增广，处理后图像效果见图3。增广后各种缺陷类型的图像数量分别为脱皮600 张，青斑594 张，病斑560 张，切口破损598 张，缝口528 张。采用LabelImg 标注工具对所有缺陷图像进行标注和框选［8-9］，每个图像对应一个txt 文件，用于记录缺陷类型和位置，见图4。

图3 图像平移和翻转处理效果Fig.3 Effects of image panning and flipping

图4 缺陷图像标注Fig.4 Defect labeling on an image

增广后数据集包含2 880 张缺陷图像，将其按照8∶1∶1的比例划分为训练集、验证集和测试集。其中，训练集2 304 张，验证集288 张，测试集288 张。利用训练集进行训练，同时利用验证集对每个训练周期的模型进行性能监测。训练结束后，使用测试集对模型性能进行检测。

1.4 柱面缺陷检测方法

1.4.1 检测模型

近年来，目标检测模型被广泛应用于缺陷检测领域，对比Faster-RCNN、FSSD 等检测模型，YOLO模型具有轻量化、便于迁移、泛化能力强、检测速度快等特征。因此，采用基于深度学习的YOLOv5［10］模型实现雪茄烟烟支柱面缺陷检测。YOLOv5模型由特征提取网络、特征融合网络和检测头3 部分组成。常用的特征提取网络有ResNet 系列［11］、CSPDarkNet 系列、DarkNet 系列［12］等，本文中采用CSPDarkNet作为特征提取网络，在减少参数的同时具有较高检测精度。特征融合网络有FPN、PANet［13］等，见图5。本文中采用PANet 对特征进行融合，通过自上而下和自下而上两次融合，使每个特征图都具有较强的语义特征和位置特征，从而提高检测精度。检测头的作用是对特征融合网络的特征图进行预测，从而完成训练或推理。

1.4.2 先验框和数据预处理

为进一步提高检测精度，采用YOLO 系列模型的K-means聚类算法完成数据集先验框（anchors）的生成，步长为8、16和32的特征图生成的先验框见表1。为提高模型的鲁棒性和泛化能力，在加载缺陷图像时，采用尺度缩放、平移、翻转、饱和度增强和色调增强等方法对图像进行预处理。结果显示，尺度缩放、平移和翻转可以为模型性能带来正增益效果，饱和度增强和色调增强则为模型性能带来负增益效果。

表1 不同步长特征图生成的先验框Tab.1 Anchors generated from feature maps with different step sizes

1.4.3 模型评估

采用精确率P（Precision）、召回率R（Recall）、某类别平均准确率AP（Average Precision）、多类别平均准确率MAP（Mean Average Precision）和每秒传输帧数FPS（Frames Per Second）评估模型表现［14］。

1.4.4 实验环境和参数设置

实验在Windows 10 操作系统上进行，CPU 为12th Gen Intel Core i7，内存64 GB。GPU 为NVIDIA GeForce RTX 3080Ti，内存12 GB。检测模型在Pycharm中开发和训练，开发语言为Python。深度学习框架为Pytorch1.13和Cuda11.6。模型在训练时，输入图像经过双线性插值和双边填充后尺寸为1 280 px×1 280 px，批大小为8，训练周期为150，初始学习率为0.01。权值优化采用随机梯度下降法（Stochastic Gradient Descent），学习率调整策略采用线性衰减方式，学习率与训练周期呈线性相关。其他参数均采用YOLOv5 原始参数，动量因子为0.937，为防止早期训练时出现较大波动，设置前3个周期为预热周期。损失函数由定位损失、置信度损失和分类损失3部分组成，置信度和分类损失采用二分类交叉熵进行计算，定位损失采用CIoU（Complete-IoU）［15］进行计算。为加快模型收敛速度，采用迁移学习方式，使用YOLOv5模型在COCO（Common Objects in Context）数据集上的预训练权值对模型进行初始化。

1.5 端面缺陷检测方法

端面主要检测空头缺陷，空头是因烟丝缺失而造成的质量缺陷，见图6。因空头缺陷种类单一、特征鲜明，本文中采用传统的图像处理方法完成空头缺陷检测。为提升缺陷与背景的对比度，采用环形光源作为端面光源。经过对比分析RGB（红、绿、蓝）、HSV（色调、饱和度、明度）等颜色空间，发现在HSV 空间的V 通道中，空头缺陷与背景呈现较大差异。为此，采用大津法求得最佳阈值对图像进行分割，通过统计烟丝缺失比例，实现空头缺陷检测。

图6 空头缺陷图像Fig.6 An image of loose end defect

2 结果与分析

2.1 柱面缺陷检测结果

2.1.1 训练结果

在实验环境下开展150个周期的训练，并使用测试集对模型性能进行测试。结果显示，模型的精确率P为91.2%，召回率R为85.1%，IoU（Intersection over Union）阈值为0.5 时的MAP 为87.7%。测试集的P-R曲线和混淆矩阵见图7和图8。

图7 测试集的P-R曲线Fig.7 P-R curve of the test set

图8 测试集的混淆矩阵Fig.8 Confusion matrix of the test set

2.1.2 检测结果

为验证YOLOv5模型对雪茄烟烟支外观质量缺陷检测的有效性，将该模型与其他模型同时进行检测，结果见表2。可见，与Faster-RCNN模型［16］相比，YOLOv5 的MAP 提升13.9 百分点；与FSSD 模型［17］相比，YOLov5 的MAP 提升9.3 百分点。此外，YOLOv5 的检测速度分别是Faster-RCNN 和FSSD的8倍和5倍。

表2 不同检测模型的测试结果对比Tab.2 Comparison of test results between different inspection models

采用未参与训练的缺陷图像对模型的鲁棒性和泛化能力进行检测，结果见图9。由图9a和9c可见，YOLOv5 模型能够检测出单个缺陷和多个缺陷；由图9a、9b 和9c 可见，YOLOv5 模型对各种尺寸缺陷均具有较好检测效果；由图9b可见，YOLOv5模型能够实现对比度差、不易发现的缺陷检测；由图9d 可见，YOLOv5 模型能够完成多种缺陷和密集缺陷的检测。

图9 不同外观质量缺陷检测结果Fig.9 Inspection results of different appearance defects

2.2 端面缺陷检测结果

在HSV 颜色空间中提取V 通道信息，使用大津法自适应计算每张图像的阈值，并对图像进行分割。由图10可见，在实验室不同光照亮度环境下，该方法均能够完成烟丝缺失区域检测。

图10 实验室不同光照亮度环境下空头缺陷检测结果Fig.10 Inspection results of loose end defects under different luminance environments in a laboratory

2.3 应用效果

采用基于YOLOv5训练的雪茄烟烟支外观质量缺陷检测方法，对四川中烟提供的“长城”牌雪茄烟不同类型缺陷烟支进行测试，验证方法的有效性，结果见图11。可见，该方法能够适应各种复杂环境，对不同烟支缺陷均具有较高检测精度，泛化能力强，稳定性好，可以实现多个缺陷的同时检测和精准定位。

图11 雪茄烟烟支外观质量缺陷验证结果Fig.11 Validation results of appearance defects of cigars

图12 为端面空头缺陷检测结果。可见，生产现场不同光照亮度环境下图像分割效果良好，通过分割烟丝缺陷部分，进一步计算烟丝缺失比例，从而实现空头缺陷检测。结果表明，端面检测方法具有较强抗干扰能力，适用于不同亮度环境。

图12 生产现场不同光照亮度环境下空头缺陷检测结果Fig.12 Inspection results of loose end defects under different luminance environments in site

3 结论

基于机器视觉技术和深度学习构建了一种雪茄烟烟支外观质量检测方法，采用YOLOv5 模型对柱面缺陷进行检测，利用传统图像处理方法完成空头缺陷检测。结果表明：①采用YOLOv5 模型对柱面缺陷进行检测，MAP为87.7%，单张图像检测时间为13.1 ms/张，检测精度分别比Faster-RCNN 和FSSD提升13.9 和9.3 百分点，检测速度分别是Faster-RCNN和FSSD的8倍和5倍；YOLOv5模型对不同种类缺陷、多尺寸缺陷和密集缺陷均具有较好检测效果。②采用传统的图像处理法对端面缺陷进行识别，在不同光照亮度环境下，均能够完成烟丝缺失区域检测。③通过雪茄烟烟支外观缺陷检测方法，可准确检测不同缺陷类型及位置，从而实现雪茄烟烟支缺陷分类。