基于C-YOLOv5的烟叶烘烤熟度检测模型

郝亦龙，吴慧欣*，刘明堂，刘 洋，郝用兴

（1.华北水利水电大学 信息工程学院，郑州 450046；2.华北水利水电大学 电子工程学院，郑州 450046；3.天昌国际烟草有限公司，许昌 461000；4.华北水利水电大学 材料学院，郑州 450046）

0 引言

烟草业是我国社会经济的重要支柱，烟草产业纳税占国家总税收的比例很高。我国的烟草总产量占全球的39.7%，是烟草主要的生产国和消费国[1-3]。而烘烤是烟叶生产的关键环节之一[4]。目前烟草烘烤设备系统普遍存在一系列的问题，包括较差的烘烤质量、较低的自动化水平、需要大量的人工操控烘烤设备、工作条件差，对相关从业者有较高的业务要求等问题。随着我国人口老龄化加剧和人口负增长时代的到来，以及人工智能技术的快速发展，研究基于人工智能技术的烟叶方法与设计烘烤房设备方案，以解决这些问题，提高烘烤烟叶的烘烤效果和烟叶品质，降低用人成本，具有需求迫切性与现实可行性。

1 国内外研究现状

国内的烤烟设备与国外设备比较，有基于种植模式等造成的国情不同，也有科技发展水平产生的差别。

欧美等发达国家主要是大农场烟草种植模式。生产规模和种植面积较大，易于保证相同批次的烟叶品种相同、性状相同，易于实现烘烤自动化。早在1960年美国的Johnson等人在就对密集烤房进行了试验研究[5]。而最早将图像分析技术应用于烟叶检测分级的是Thomas，他在1988年进行了相关研究[6]。

国内烟叶烤房的发展经过了普通的密集化烤房、烘烤能源变化、烤房自动化的一系列发展[7]。但是国内的烟草种植大多数都是小规模烟草种植模式，大规模的烟草种植较少，因此烟草性状一致性较难保证。此外，由于生产区域与地理气候条件的差别，适宜的烟草品种也不同，由此造成了性状的差异性更大。由此导致烟草烘烤的自动化普及率较低，很多地区的烟叶烤房还处于自动化较低的水平。近年，伴随着工业与自动化技术的发展以及人工智能的应用，自动化程度也逐渐得到了提高。郝同盟基于改进的YOLOv4网络提高了烟梗检测的准确率与模型的检测速度[8]。YICHAO WANG和QIN LANG建立LSTM与XGBoost融合模型SPFM能较好的预测烟叶烘烤状态[9]。KESU WEI等利用深度迁移学习对近红外光谱呈现的烟叶成分进行在线检测[10]。

2 三段式烘烤设备设计

2.1 三段式烘烤存在的问题

常用的三段式烘烤工艺本身有一定缺陷，造成良品率低，产品质量难保证[11]。这种缺陷导致次品的情况包括烟叶油分差、光泽淡等。而且目前使用较多的烘烤房，由于空气流动不够充分，烟叶位置固定等的原因，会出现烤房内各区域烘烤温度不均匀，最终造成烟叶被烤青、烤黑等现象。其次，生产自动化程度低，劳动条件差，劳动强度大[12]。目前国内烤烟房主要的自动化设备是温湿度自动控制系统，但是在烘烤过程中温度的调整还是要依据高水平的烘烤师傅的经验主观判断，然后通过修改控制器参数来保证烤制质量。由于这种方法并没有定量的判断标准，烘烤质量波动较大，可靠性不高，较难保证烘烤质量，同时也增大了劳动力成本。

烤烟三段式烘烤工艺是烟草加工较为重要的流程[13]，其工艺流程的好坏直接影响到烟草制造的质量，当前人工智能技术，特别是图像识别技术迅速发展。为了更好地实现加工的标准化、优化工艺生产流程及参数、提高生产控制技术水平，本文提出一种流水线式自动烤烟设备方案，研究开发了一种基于机器视觉与图像识别技术的烟叶熟度检测技术。

2.2 设备控制系统

该设备控制系统结构图如图1所示。整个设备包括：后台的服务器，现场工控机、图像采集模块、温湿度传感器、报警模块、驱动模块、显示模块、温控模块。现场工控机的输入端主要接受图像采集模块以及温湿度传感器采集到的数据，包括烟叶图像和烘烤房内温湿度等。工控机输出端与服务器、报警模块、驱动模块、显示模块、温控模块相连。当图像模块采集到烤房内工作时有人进入或其他异常状态会使报警模块报警，各色LED灯表示系统工作状态，红色为停止工作、黄色为系统异常、绿色为正常工作。工控机与显示模块相连，可以将烤房内的温湿度、以及烟叶熟度等相关信息展示到显示模块上。工控机控制驱动模块，实现物料的自动装填与输入，并使物料在烤房内不断输送，使保持烤房内空气流通。图像采集模块采集到的烟叶信息发送给工控机，由工控机回传给服务器，服务器对烟叶进行熟度判断，判断后对工控机下达相应的控制指令。服务器可以对数个工控机收集到的图像数据进行判断。

图1 烤房设备控制系统结构图

图2 烤房系统组成方案

图3 人工筛选后的未熟、半熟、全熟烟叶图片

2.3 烤房系统组成方案

烟叶烤房主体为保温箱，保温箱内有回风管、冷凝排、换气风机组件、排水组件、干燥空气通风管、通风风机、闭环轨道物料轮转输送机构、压缩机等部件，控制器安装在箱体上，此外烤房内还有物料装填机构、输出机构。

其中闭环轨道物料轮转输送机构是用于将物料在保温箱中输送，使物料均匀受热。烟叶物料通过在闭环轨道的循环轮转，可实现烟叶运动与热气流动的循环变化，使得烟叶各部位得到比较均匀的烤制，易于稳定品质，排除由于烟叶在烤房内摆放位置差异，而造成的烤制工艺差别。通过烟叶物料的循环轮转，也为收集烟叶图像数据，从入口与出口自动输入输出物料，实现流水线加工提供了方便。

2.4 烤房系统运行

装填机构、保温箱、输出机构隔离，能够保证保温箱内状态稳定，减少环境扰动。设备运行分为四个阶段：预热阶段，设备空机运行，通过调整加热、除湿功能使保温箱内环境达到工艺标准；装料阶段，装填机构运行，将原料组件载入到工艺机构中；烤制阶段，在装料完成后，执行工艺设定，检测原料组件状态，及时将达到标准的产品输出至输出机构退出工艺流程；停机阶段，将未完成的原料从设备中退出，设备停止运行。

通过上述装置，可以方便地对烤烟三段式烘烤工艺进行研究、优化，提高生产效率，提高产品品质，降低对材料的浪费。

同时本设备可以采用并联或者串联形式，实现多个设备流水线作业，可以通过对单个设备单元进行不同温度的设定，来控制其达到分段烘烤的效果。也可以使多个设备独立运行，各自进行烘烤。

3 烟叶熟度检测

为了能够实现对烟叶熟度的判断，本文提出了一种基于YOLOv5改进模型的烟叶熟度检测判别方法，用于判断烤烟三段式烘烤工艺中产品的品质，通过上述平台实现成品和残次品的自动化检出，进而实现产品的自动化流水分阶段处理。

3.1 数据采集及处理

数据的采集包括从河南省某烟草公司提供的烟叶照片，以及互联网上烟叶相关的照片。然后对采集到的图片进行人工筛选，将像素较低以及烟叶状态呈现较差的图像舍弃，最终得到4346张图片。将采集到的图片按照烤烟三段式烘烤工艺分为未熟、半熟、全熟。

根据划分的烟叶成熟程度对采样图片进行标注，使用标注工具LabelImg生成模型可读的数据格式。标注工作完成后，共得到未熟2487个,半熟1746个,全熟4231个。共计8464个标注。数据集划分为验证集、测试集和训练集的比例为1:1:3。

3.2 注意力机制

本文选用Yolov5[14-16]目标检测模型作为基准模型，该模型由四个部分组成。Input负责向模型输入数据的输入端、Backbone主要负责特征的提取、Neck负责将特征进行融合、Prediction对目标进行预测。

注意力机制的本质就是定位到感兴趣的信息，抑制无用信息，该方法受到人类视觉原理的启发而来。其原理在于，当人在进行观察的时候，视觉图像中虽然有大量、丰富、完整的对象信息，但是，人们往往只会重点关注自己最感兴趣、或最引人注目的那部分信息，而其他部分并不会被给予详细处理，有的甚至被忽略，这种只选择处理关键场景的行为被称为注意力机制。

CBAM是一种在2018年被提出来即插即用的轻量级注意力机制模块，该模块的特点是由串行链接的通道注意力模块和空间注意力模块组成[17]，图4是CBAM的原理图。从图4中可以看出，被通道注意力模块处理过的输入特征会与原始特征融合，作为新的输入进入到空间注意力模块。然后，被空间注意力模块处理过的特征也会与未被其处理过的特征融合，作为最终的特征输出。其中，通道注意力模块强化处理输入特征中的关键特征，空间注意力模块进一步强化处理关键特征的位置信息。

图4 CBAM注意力机制

我们把原始特征F∈RC*H*W输入到通道注意力机制模块，则有：

通道注意力机制加强和空间注意力机制加强的具体原理如下：

3.2.1 通道注意力机制加强

通道注意力机制的本质，在于区分各个特征重要性的不同，对于不同的任务可以根据输入进行特征分配，简单而有效。通道注意力机制模块的主要功能是通过建模各个特征通道的重要程度，然后针对不同的任务增强或者抑制不同的通道，突出需要给予重点关注的目标关键特征。其原理是通过分析比对相同特征在不同通道之间的关系，通过学习强化被关注目标权重，以此来实现突出目标的关键特征。图5是通道注意力机制的结构图，其包含一个池化层、多层感知器、以及池化层经过多层感知器后的带权重层。从图中可以看出被输入特征传入该模块，池化层会分别对输入特征进行最大池化和平均池化操作，以此来对特征进行压缩，通过这一层就能获取到各个通道之间的全局信息，也可以用通道描述符SC表示。将这些特征都输入多层感知器，这样就获得了每个通道的权重，最后对这些特征进行加权运算并输出。

图5 通道注意力机制

式(3)表示一个长和宽分别是H和W的输入特征经XC过池化层R(XC)后所获得的通道描述符即SC，其通道数为C。特征中的位置用XC(i,j)表示：

通过对SC进行卷积、激活操作就可以描述特征的全局信息之间的关系。式(4)来表示卷积、激活流程。

3.2.2 空间注意力机制加强

空间注意力的本质就是定位目标并进行一些变换或者获取权重，使得输入样本更加容易学习。空间注意力机制用于强化特定区域的关键特征信息表达，减弱背景区域的特征表达。就是通过对输入特征中关键区域的特征进行强化表达，达到提高检测精度的效果。其与通道注意力机制存在一定差异，不同于比较不同通道，其主要是分析相同的原始特征被转换到另一空间，且保留特征的空间位置信息。将这些位置的特征加权并输入，分析输出的权重。

空间注意力机制的结构如图6所示。从通道注意力机制获取的加强特征F′要先后进行最大池化和平均池化，用7×7卷积核进行融合，得到卷积层。同通道注意力机制一样，依旧用Sigmoid激活函数生成权重信息，并与F′进行操作得到空间注意力信息F′′。

图6 空间注意力机制

式(6)是空间注意力机制的原理表达式：

YOLOv5增加CBAM注意力机制后的结构图如图7所示。对增加CBAM注意力机制的YOLOv5模型称为C-YOLOv5。

图7 C-YOLOv5模型结构图

4 实验与结果分析

4.1 实验

实验环境：操作系统为Windows10，编程语言为Python3.9，框架技术为PyTorch，加速环境为CUDA11.6，GPU为NVIDIA GeForce RTX 3090，显存大小为24G。

模型参数：模型参数条件不同，实验后得到的最终结果也会有一定差距。为了烟叶熟度识别模型对烟叶熟度具有较好的识别率，我们在其他参数相同的条件下对各项参数进行了一系列的调试，来尽量提高识别的准确率。实验中，首先通过用测试数据进行测试，然后评估模型性能，并对各项参数做相应调整。综合考虑实验硬件配置和模型效果，最终模型参数如下：batchsize为64，学习率大小为0.01，epoch为300。

实验步骤：采集3类熟度烟叶图片；对数据进行处理，构建数据集；将CBAM网络与Yolov5融合，构建为新的模型——C-Yolov5；使用数据集对YOLOv5模型和改进后的C-YOLOv5模型进行训练。

4.2 实验结果与分析

图8和图9分别是YOLOv5与C-YOLOv5训练过程中的损失函数与mAP_0.5:0.95变化，图中横坐标为训练次数，纵坐标分别是总损失和mAP_0.5:0.95。此处，mAP_0.5:0.95表示从0.5至0.95，步长为0.05的预测图相框与标注图相框重叠程度的平均值。

图8 YOLOv5训练损失函数与mAP变化

图9 C-YOLOv5训练损失函数与mAP变化

在相同参数下，改进模型后两种模型的实验结果对比如表1所示。

表1 两种模型实验结果对比 %

从实验结果可以看出，对全熟的烟叶，YOLOv5和C-YOLOv5总体判断精确度高于未熟与半熟阶段。这说明，在数据集设置阶段，由于全熟的烟叶图片较多，提高了YOLOv5的学习数量，提高了精确度。YOLOv5每个训练轮次的平均时长为2分27秒，而C-YOLOv5每个训练轮次的平均时长为2分36秒，总时长用时接近。YOLOv5对3种烟叶的识别精度为89.7%，88.3%，93.4%，相同条件下，改进模型后，精度比之前分别提高了3.5%，4.1%，4.2%。对于整体数据集而言，YOLOv5达到了90.5%，C-YOLOv5达到了94.4%的精度，比原模型高出3.9%。从mAP来看，YOLOv5的mAP_0.5:0.95最终达到0.79，而C-YOLOv5的mAP_0.5:0.95达到0.83，这可以看出改进后的模型训练结果较好。

5 结语

本文提出了一种自动化烤烟设备，该设备可以从一定程度上实现自动化烤烟三段式烘烤，实现自动投递物料、烘烤、判断熟度以及输出物料。利用该设备提高烤烟三段式烘烤的自动化水平，降低工人劳动强度，提高烟叶烘烤质量。将YOLOv5的改进模型C-YOLOv5模型应用于设备，可以对烟叶熟度自动进行判断，改进后的模型可以有效的提高识别准确率。本文的不足之处在于，数据集规模较小，场景不是特别丰富，会造成一定程度的过拟合。在后续的研究中，一方面是实现系统的硬件设计与布局，另一方面，提高数据集数据量，优化数据集图片背景多样性与复杂性，使其更符合该设备复杂、丰富的应用场景，并重新对算法进行训练，依据训练结果，不断优化算法，使其达到更高的准确率、和场景的适应性。