基于加权K-means与GhostNet融合改进YOLOv4的卷烟厂物料输送巷道异物视觉检测方法

刘军，辛秋生，李文灿，卢志敏，黄艳辉，杨凤

基于加权K-means与GhostNet融合改进YOLOv4的卷烟厂物料输送巷道异物视觉检测方法

刘军1，辛秋生2*，李文灿3，卢志敏3，黄艳辉2，杨凤1

1 衢州学院机械工程学院，浙江衢州九华北大道78号 324000；2 东华理工大学机械与电子工程学院，江西南昌广兰大道418号 330013；3 龙岩烟草工业有限责任公司，福建龙岩乘风路1299号 364000

【目的】针对卷烟厂物料输送巷道因人员闯入或穿梭车运载散落物料（统一称为“异物”）导致的安全隐患及其检测存在的实时性和准确性问题。【方法】提出一种改进的YOLOv4的物料输送巷道异物视觉检测方法。采用融合SE注意力机制的GhostNet作为YOLOv4模型特征提取网络，一方面解决CSPDarknet53参数过多而导致实时性差的问题，另一方面增强小物体特征提取能力；利用加权K-means对锚框进行聚类，解决初始锚框对巷道异物不适应问题。【结果】通过卷烟厂物料输送巷道状态数据集训练与现场应用，该方法对异物的平均检测精度达98.48%，误检率为0.62%，检测速度为58 FPS。【结论】该方法达到较好的检测效果且具有较好的泛化能力。

穿梭车；YOLOv4；视觉检测；SE注意力机制；加权K-means；锚框

物料输送穿梭车的安全运行是保证卷烟厂生产的重要环节，穿梭车运行的物料输送巷道的转弯、衔接等形成不可避免的防护缺口，运行中的穿梭车装载的物料亦难免出现散落状况，导致穿梭车运行故障甚至存在安全隐患，因此对物料输送巷道的实时安全检测具有重要意义。

目前卷烟厂物料输送巷道普遍采用人工巡检[1]和激光检测方法。人工巡检是通过现场人工巡查或人眼观察输送巷道监控视频，以确保穿梭车安全运行，人工方法虽能较准确排除安全隐患，但实时性无法保障。激光检测法则通过定点安装的单点激光发射-穿梭车上的某点反射-激光接收的方式反馈输送巷道是否通畅，该方法虽然可实现实时检测，但除了激光发射-反射路径之外皆为盲区，产生严重的漏检现象，无法保证穿梭车的安全运行。

随着人工智能深度学习的发展，机器视觉检测及其应用取得了跨越性的提升，利用基于深度学习方法对轨道/巷道安全运行检测的研究获得了较多关注与深入开展。张雪艳[2]提出单定点多边框检测器SSD（single shot Multibox Detector）用于运输轨道异物检测，旨在解决轨道异物目标检测特征提取难度高、算法性能易受周围环境影响的问题，但该算法的实时性和预测框的准确度不高。王伟[3]利用改进的运动目标自适应ViBe算法进行轨道异物入侵检测方法，以抑制ViBe算法的Ghost区域，减少因环境变化产生误检或漏检情况，但该算法对小目标检测的适应性较差。刘力[4]提出一种欧式距离度量代替随机选择的K-means轨道障碍物检测方法，用以解决侵限异物检测方法检测类别单一性和实时性差的问题，但该方法的检测精度与对小目标物体检测未达到良好效果。

针对卷烟厂物料输送穿梭车的安全运行和现有方法存在的原理和适用性问题，本文提出一种基于加权K-means（Weighted K-means，WK-means）与GhostNet融合YOLOv4的物料输送巷道异物检测方法。首先利用WK-means对锚框进行聚类，解决初始锚框对巷道异物不适应问题，再采用融合SE注意力机制的GhostNet作为YOLOv4模型特征提取网络，在解决CSPDarknet53参数过多而导致实时性差的问题的同时增强小物体特征提取能力，进而实现物料输送巷道异物的在线、准确检测。

1 改进的YOLOv4模型目标检测模型

1.1 YOLOv4模型

1.2 GhostNet-SE网络模型

针对YOLOv4模型中CSPDarknet53参数过多而导致实时性差的问题，同时为增强小物体特征提取能力，采用融合SE注意力机制的GhostNet作为YOLOv4模型特征提取网络，以Ghost模块为核心，结合传统卷积和线性变换[6]。Ghost模块是基于传统卷积生成特征图再利用特征图进行线性变换得到相似特征图，从而产生高维卷积效果的方式，减少了模型参数和计算量。

为丰富特征图的特征信息，将SE（Squeeze-and- Excitation）注意力模块[7]与GhostNet融合进行特征提取，旨在确保异物特征提取鲁棒性的同时增加异物特征的权重[8]。

SE注意力机制如图1所示。SE注意力机制首先将物料输送巷道图像经过GhostNet获取特征层X（图像通道数、图像高度和图像宽度分别为c、h和w）进行传统卷积获得特征层Y（图像通道数、图像高度和图像宽度分别为1、h和w），再将特征层Y通过SE注意力模块，包括Squeeze和Excitation两项操作，即（1）对特征层Y进行全局平均池化，把×w的特征层转化为1×1的特征层；（2）将1×1的特征层经过两个全连接层，获得不同通道的比重。最后利用sigmoid对比重信息进行归一化处理获得通道权重，将通道权重分别与Y对应的1个通道特征图数据相乘，得到新的1××w的特征层。

图1 SE注意力机制

图2 YOLOv4-GhostNet-SE网络结构

利用SE注意力模块改进GhostNet网络中19×19、38×38和76×76三种大小不同的特征图与特征提取网络上采样输出的特征图进行融合拼接，得到最终检测模型的特征层。改进后的网络结构如图2所示。

2 Wk-means优化锚框算法

YOLOv4目标检测训练时采用预先设定先验锚框参数的方式，该方法对COCO、VOC等数据集[9]有较好的适应性，而本文数据集检测目标主要是穿梭车、人及凳子，与COCO、VOC等开放环境的数据集的多种检测目标存在较大差异，且不同的检测目标适合的先验框大小也各异，导致YOLOv4的锚框机制并不适用于卷烟厂物料输送巷道运行状态数据集。

因此采用加权K-means（WK-means）聚类算法对锚框进行加权聚类处理，每个特征维度赋予初始权重值，等到目标函数收敛，非目标检测区域所对应的权重趋于0，从而尽可能降低非目标区域对巷道异物目标的影响，提高异物的检测精度。

ModBus总线是在硬件基础上的一种通信协议，该协议应用广泛，被很多厂家支持。各个不同的厂家可以通过该协议进行相互的数据传输。ModBus协议是通过不同的命令确定需要进行的操作功能。

WK-means聚类算法的目标函数为：

并且所有的权重应服从：

其中A表示簇分配矩阵：

C表示簇中心矩阵：

W为权重矩阵：

3 实验及结果分析

3.1 数据集

在龙岩烟草工业有限责任公司卷烟厂辅料库搭建视觉系统采集物料输送巷道运行状态图像数据集。该数据集的巷道异物主要包括闯入的人员和穿梭车运载散落辅料，数据集样例如图3所示。

图3 卷烟厂物料输送巷道状态视觉数据集样例

Fig.3 Samples of visual data set of material conveying roadway in cigarette factory

数据集由分辨率为390×882，格式为bmp的共4686张图像构成。数据预处理使用LableImg对数据集上面的穿梭车、人及散落物料进行标记，标签文件为xml格式。

3.2 实验环境

实验环境如表1所示。

表1 实验环境

Tab.1 Experimental environment

3.3 模型训练

将数据集按9∶1的比例随机划分为训练集和验证集。训练阶段的参数设置为：采用Adam自适应梯度下降算法，权重衰减设置为0；Focal Loss平衡正负样本，正负样本平衡参数设置为0.25，难易分类样本平衡参数设置为2；学习率等间隔调整策略的最大学习率设置为0.001，最小学习率为0.00001。

然后对物料输送巷道运行状态数据集进行训练，实验中共训练100个Epoch，同时保留每个Epoch对应的权值文件，训练获得损失曲线如图4所示，可知，模型的总损失在前5个Epoch的下降速度较快，当Epoch至20之后train loss和val loss基本保持稳定，表明该算法的学习率衰减明显，且较快地达到了最优值。

3.4 实验评估指标

模型使用检测速度(Frames Per Second, FPS)、平均检测精度(Mean Average Precision, MAP)、精确率(Precision)、召回率(Recall)和误检率(Noise factor)作为评估指标，计算式分别为：

3.5 实验结果分析

网络模型尺寸越大，对处理器性能要求越严格[10]。主干特征提取网络模型参数量跟模型尺寸成正比，各常用的轻量级特征提取网络主要有Densenet[11]、Vgg[12]、Mobilenet[13]、Resnet[14]及GhostNet。其网络参数量如表2所示。利用本文数据集对多种轻量级特征提取网络进行训练，其中GhostNet的参数量最少，也即GhostNet的特征提取网络速度最快。

表2 各轻量级特征提取网络参数量

Tab.2 Parameter quantity of the lightweight feature extraction networks

为验证GhostNet-SE特征提取网络的优越性，在相同训练集和验证集上，对表2中算法与改进模型进行消融实验。利用常用的轻量级特征提取网络代替YOLOv4的CSPDarkNet 53网络，并验证检测性能，结果如表3所示。由性能对比结果可知GhostNet在检测速度（FPS）和精度（MAP）上都具有优越性。

表3 轻量级特征提取网络与本文方法的检测性能对比

Tab.3 Comparison of detection performance between the lightweight feature extraction networks and the proposed method

利用WK-means聚类算法对锚框进行优化，并和K-means锚框优化算法针对该模型进行对比实验，实验结果如表4所示。WK-means聚类算法比K-means检测性能的检测速度提高了3 FPS，平均检测精度提高了1.1%，召回率提高了0.18%，精确率提高了1%，误检率下降了0.08%。

表4 WK-means对算法的影响

Tab.4 Influence of WK-means on the algorithm

综上可知，本文提出的YOLOv4-GhostNet-SE- WK-means模型对卷烟厂物料输送巷道异物具有较好的检测效果，检测效果图如图5所示。该算法的检测速度达到58 FPS，平均检测精度为98.48%，误检率为0.62%。

为了进一步研究验证该模型的泛化能力，利用VOC2007数据集和COCO数据集上对本文模型进行训练，检测结果如表5所示。

表5 本文模型在VOC2007和COCO数据集的检测结果

由表5可知，该模型对于VOC2007和COCO2017数据集的检测精度均达到90%以上，检测速度分别为48 FPS和52 FPS，误检率分别为3.15%和2.93%，表明该模型在VOC2007和COCO数据集上也具备良好的检测性能，具有较好的泛化能力。

4 结论

本文采用机器视觉实现卷烟厂物料输送巷道异物检测，同时解决异物识别存在的实时性和准确性问题，得出结论如下：

（1）提出了一种GhostNet改进YOLOv4的卷烟厂物料输送巷道异物检测模型。

（2）采用SE注意力机制融合GhostNet特征提取网络，加强特征提取网络的提取能力，丰富特征图信息，提高模型的检测速度和精度。

（3）利用WK-means聚类算法对锚框进行优化，去除不适合卷烟厂巷道异物检测的锚框，提高目标的检测速度，降低模型的误检率。

实验表明，该模型比YOLOv4模型平均精度提升了4.61%，检测速度提高了26.59 FPS，且具有良好的泛化能力。与常用的轻量级特征提取网络相比，表现出了较强的优越性，实现了卷烟厂物料输送巷道异物的准确检测，为物料输送穿梭车的安全运行提供了可靠保证。

[1] 钟亮，黎利华. 多层穿梭车技术在烟草物流中的应用研究[J]. 物流技术与应用，2018, 23(10): 175-177.

ZHONG Liang, LI LIhua. Research on application of multi-layer shuttle vehicle technology in tobacco logistics[J]. Logistics & Material Handling, 2018, 23(10): 175-177.

[2] 张雪艳. SSD算法及其在铁路场景异常目标检测中的应用研究[D].北方工业大学，2019.

ZHANG Xueyan. Research on SSD algorithm and its application in abnormal object detection in railway scene[D]. North China University of Technology, 2019.

[3] 王伟. 运输轨道周界异物入侵检测方法研究[D]. 兰州交通大学，2020.

WANG Wei. Research on foreign body Intrusion Detection in Rail transportation perimeter[D]. Lanzhou Jiaotong University, 2020.

[4] 刘力，苟军年. 基于YOLO v4的铁道侵限障碍物检测方法研 究[J]. 铁道科学与工程学报，2022, 19(2):9.

LIU Li, GOU Junnian. Research on railway intrusion obstacle detection method based on YOLO v4[J]. Journal of Railway Science and Engineering, 2022, 19(2):9.

[5] LIU Jinhui. Multi-target detection method based on YOLOv4 convolutional neural network[J]. Journal of Physics: Conference Series, 2021, 1883(1).

[6] HAN Kai, WANG Yunhe, TIAN Qi, et al. GhostNet: More features from cheap operations[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Seattle, USA: IEEE Computer Society, 2020: 1580-1589.

[7] HU J, SHEN L, SUN G. Squeeze-and-excitation Networks[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018: 7132-7141.

[8] HUANG J Z, NG M K, RONG H, et al. Automated variable weighting in k-means type clustering[J]. IEEE Transactions on Pattern Analysis and Machine Intelli gence, 2005, 27(5): 657-668.

[9] 蓝新斌，李富盛，余涛. 基于改进长短时记忆网络的短期负荷预测方法[J]. 新型工业化，2019, 9(11): 6-9.

LAN Xinbin, LI Fusheng, YU Tao. Short term load forecasting method based on improved short term memory network[J]. Modern Computer, 2019, 9(11): 6-9.

[10] 付思琴，邱涛，王权顺，等. 基于改进YOLOv4的焊接件表面缺陷检测算法[J/OL]. 包装工程，2022.

FU Siqin, QIU Tao, WANG Quanshun, et al. Welding surface defect detection algorithm based on improved YOLOv4 [J/OL]. Packaging Engineering, 2022.

[11] Girshick R, Donahue J, Darrell T, et al. Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation[J]. IEEE Computer Society, 2013.

[12] Sengupta A, Ye YT, Wang R, et al. Going deeper in spiking neural networks: VGG and residual architectures[J]. Front Neurosci, 2019, 13: 95.

[13] Howard A G, Zhu M, Chen B, et al. MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications[J]. 2017.

[14] HE Kaiming, ZHANG Xiangyu, REN Shaoqing, et al. Deep residual learning for image recognition[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Long Beach, CA, USA: IEEE Computer Society, 2016: 770-778.

Improved YOLOv4 visual detection method of foreign bodies in material delivery roadway of cigarette factory based on the fusion of weighted K-means and GhostNet

LIU Jun1, XIN Qiusheng2*, LI Wencan3, LU Zhimin3, HUANG Yanhui2, YANG Feng1

1 College of Mechanical Engineering, Quzhou University, Quzhou 324000, China;2 School of Mechanical and Electronic Engineering, East China University of Technology, Nanchang 330013, China;3 Longyan Tobacco Industry Co., Ltd., Longyan 364000, China

[Objective] There are inevitable hidden dangers in material conveying roadway in cigarette factory caused by intrusion of outsiders and the material falling into the roadway from the shuttle car. We call the intrusion of outsiders and falling material "foreign objects" in this article. Besides, it is difficult to detect the foreign objects in real-time and accurately. [Methods] This article proposed an improved YOLOv4 visual detection method for foreign objects in material conveying roadway. An combined GhostNet-SE model, which fuses GhostNet model SE attention mechanism, was used as the feature extraction network of YOLOv4 model. On the one hand, it solved the problem of poor real-time performance caused by too many parameters of CSPDarknet53. On the other hand, it enhanced the feature extraction ability of small objects. Then, the weighted K-means method was used to cluster the anchor frame to solve the problem that the initial anchor frame does not adapt to the foreign objects in the roadway. [Results] Finally, by training of the image data set of material conveying roadway and field application in cigarette factory, the average detection accuracy of the method in this article was 98.48%, the false detection rate was 0.62%, and the detection speed was 58FPS. [Conclusion] The results show that the proposed method achieves good detection results, and it has a good generalization ability.

shuttle car; YOLOv4; visual detection; SE attention mechanism; weighted K-means; anchor box

Corresponding author. Email：1318992050@qq.com

国家自然科学基金“复合式连铸铸坯表面在线测温方法”（No. 61963002）；辽宁省教育厅基本科研项目“基于深度学习的轻量化裂缝检测方法研究”（No. LJKMZ20220478）

刘军（1981—），博士，副教授，硕士生导师，主要研究复杂过程参数检测、系统建模、人工智能等，Tel：18070024180，Email：1528673750@qq.com

辛秋生（1995—），硕士，主要研究人工智能，Tel：15970512292，Email：1318992050@qq.com

2022-08-18；

2023-03-09

刘军，辛秋生，李文灿，等. 基于加权K-means与GhostNet融合改进YOLOv4的卷烟厂物料输送巷道异物视觉检测方法[J]. 中国烟草学报，2023，29（5）. LIU Jun, XIN Qiusheng, LI Wencan, et al. Improved YOLOv4 visual detection method of foreign bodies in material delivery roadway of cigarette factory based on the fusion of weighted K-means and GhostNet[J]. Acta Tabacaria Sinica, 2023, 29(5). doi:10.16472/j.chinatobacco.2022.T0225