基于深度学习的复杂背景下条烟识别分割研究

摘要：便利店和街边小店承担了相当比例的香烟销售，商家根据需求在网上下单后，烟草物流中心根据订单自动分拣配货并打包出库。由于物流中心产线多为黑色皮带，而条烟颜色五花八门，当配送黑色条烟时传统方法易出现检测错误进而导致报错或重复配送等问题。在此基础上，研究了基于深度学习的识别分割模型来提升复杂背景下分拣系统的准确率。首先，构建不同种类条烟组成的数据集；其次，搭建深度学习模型并基于已有数据集进行训练；最后，在实际环境下完成模型的测试验证。结果表明，深度学习技术的采用不仅大幅提高了检测分割的准确率，并具有较好的识别速度。

关键词：深度学习；分割；烟草；物流

中图分类号：TP391 文献标识码：A

ResearchontheRecognitionandSegmentationofCigaretteinCartonintheComplexBackgroundBasedonDeepLearning

DIAOLihua1TIANRuiyang2*BAIQiang2

（1.NetworkCenterofGuiyangUniversity;2.SchoolofMechanicalEngineering，GuiyangUniversity，Guiyang，GuizhouProvince，550000China）

Abstract：Conveniencestoresandsmallstreetstoresaccountforaconsiderableproportionofcigarettesales，andaftermerchantsplaceonlineordersaccordingtodemand，thetobaccologisticscenterautomaticallysortsanddistributesgoodsaccordingtotheordersandpacksthemoutofthewarehouse.Mostofproductionlinesinthelogisticscenterareblackbelts，andcigaretteincartonareofvariouscolors，sotraditionalmethodsarepronetodetectionerrorswhendistributingblackcigaretteincarton，leadingtoproblemssuchaserrorsorrepeateddistribution.Basedonthis，thispaperstudiestherecognitionandsegmentationmodelbasedondeeplearningtoimprovetheaccuracyofthesortingsystemunderthecomplexbackground.First，itconstructsthedatasetofthecompositionofdifferentkindsofcigaretteincarton.Secondly，itbuildsadeeplearningmodelandtrainsbasedonexistingdatasets.Finally，ittestsandverifiesthemodelintheactualenvironment.Theresultsshowthattheapplicationofdeeplearningtechnologynotonlygreatlyimprovestheaccuracyofdetectionandsegmentation，butalsohasgoodrecognitionspeed.

KeyWords：Deeplearning;Segmentation;Cigarette;Logistics

烟草行业是我国经济的重要组成部分之一，具有极其重要的民生和商业价值。国内将烟草和深度学习结合的研究并不少见，但多集中在设备开发、烟叶外观鉴定和病虫害检测等领域[1-3]，对物流中心分拣系统的研究较少。本文通过调研发现，目前自动化分拣中心普遍存在两个问题：（1）多采用的是模板匹配方法，鲁棒性不高；（2）传输带多为黑色，当分拣到黑色条烟时容易出现漏检/拣，进而导致配货异常等情况的发生[4]。不同于传统的目标检测算法，语义分割算法能实现像素级的检测，这将极大地提升算法的应用领域，为深度学习的落地应用打下坚实基础[5-8]。本文针对烟草分拣系统目前存在的问题，将基于已有语义分割算法和分拣系统实际工况来设计新的算法结构，进而提升条烟分拣的准确率[9]。

1数据集和模型结构

足量的数据集和合理的模型架构是保证语义分割算法性能的基本条件，因此，本文将首先从这两个方面开展研究。

1.1数据集

数据集是模型训练的基础，合理且足量的数据集对模型架构和参数的调整以及性能的实现至关重要。本文从贵州某烟草物流中心采集到1281张条烟数据集，由于条烟在传送带上处于运动状态，所以存在相当数量清晰度不高的图片。由于该物流中心配送某款畅销的黑色条烟，故存在分拣错误率较高的问题。

由于本文数据集是在物流中心充足的光照下拍摄的，而条烟外面覆盖的塑料薄膜会不可避免地出现反光现象，所以首先清理掉反光严重的照片。如果不同数据占比不平衡将对模型性能产生较大影响，通过数据增强将包含黑色条烟的比例调整至合理范围。

标签信息是数据所包含的期望值，其对模型的训练有着至关重要的作用，而标签数据的制作成本较高，也是限制某些领域发展的原因之一。一个合理的数据集将是全球研究者共用的对象，如ImageNet数据集的发布对目标检测算法的快速发展功不可没。本文使用labelme软件对所有采集到的信息进行了语义信息标注，这是目前该领域已知的第一个数据集。

1.2模型

传统的语义分割算法（如FCN、SegNet、U-Net、DeepLab）普遍是针对静态目标开展研究，而分拣中心的条烟一直处于动态运行状态，一旦停机将造成后续分拣任务的拥堵。另一方面，研究者普遍更关注精度而忽略效率，这不利于落地应用，精度和效率一直是相互矛盾的，本文将在二者之间进行合理取舍，在保证精度的同时努力提升效率。语义分割模型的基本架构主要由特征抽取模块和解码模块组成（如图1所示），特征抽取是完成语义信息的获取，图像会逐渐变小，解码是细节信息的恢复，图像逐渐还原至输入尺寸。

深度学习早期的研究思路多集中在精度问题，这导致模型复杂度越来越高（如RseNet已经达到152层），这导致模型很难应用在移动或嵌入式等实际场景中。首先，模型过大容易导致硬件内存不足；其次，过高的延迟都导致不符合任务要求。基于本研究的实际要求，本文使用skipNet[10]作为元结构（meta-architecture），SkipNet的具体结构如图2所示。

首先，根据同一个数据集中存在不同清晰度图片的情况，SkipNet设计了自主跳跃连接块（block），即当图片清晰度较高时提高跳跃连接的步幅来提高模型速度；反之，则降低步幅来保证准确率（如图2a所示）。其次，每个block并联一个门（gate）来控制是否跳过此block，具体包含两种形式：一种是每个门作为一个独立个体作用于block（Fee-forwardgate）；另一种是多个block共用一个门（如图2b所示），公式如下。

式（1）中：Gi=1表示不跳过该层，Gi=0表示跳过该层。

特征抽取模块是语义分割算法的核心，为实现精度和速度的兼顾，本文使用mobileNetV3[11]作为特征抽取模块，具体结构如图3所示。MobileNetV3在继承前两个版本优势的基础上主要做了以下改进：推出了Large和Small两个bneck，引入SE通道注意力结构并设计了一种新的激活函数h-swish（x）代替Relu6，修改了MobileNetV2后端输出head。

本文正是基于SkipNet和mobileNet的优点，将二者结合后作为本文语义分割模型的基本架构，并将其改进后用于动态工况下条烟分拣系统，提升工作效率并降低错误率。

2实验结果与分析

由于本文数据集整体规模不大，因此，本文将随机分配90%的数据用于模型训练，10%的数据用于测试验证。

2.1设备与环境

训练环境是ubuntu18.04的64位操作系统，采用的是Pytorch深度学习框架，硬件配置为：corei9-9900X，RAM128GB，NvidiaGeForceRTX2080Ti*2。

2.2结果对比

本文前期实验了“大—中—小”三种跳跃连接结构，发现在本数据集上性能差距不大，因此为提升模型运行速度，后期实验采用较大的跳跃连接设置。图4详细展示了模型的训练和测试曲线，随着epoch的增加，损失值和性能逐渐下降和上升，未出现明显的性能波动，这表明模型的结构设计是合理的。

模型训练只是第一步，测试集上的性能表现才是检验性能的金标准，因此，本文将训练好的模型在10%测试集上进行验证测试。通过实际测试发现模型在不同清晰度的图片上均实现了较好的识别精度，图5将识别结果进行了可视化。首先，模型能同时实现多条条烟的分割识别，这表明模型具有很好的通用性；其次，即使存在和传送带颜色非常相近的黑色条烟，模型也能实现精准分割，这很好地解决了分拣中心目前存在的问题；最后，当突发障碍物对条烟遮挡时（图5左下角），模型依旧能准确完成条烟分割。

为体现本文研究的先进性，本文继续搜集了其他轻量化模型来和本模型进行性能对比，具体结果如表1所示。IOU是评价语义分割算法性能的通用标准而GFLOPs则反映了模型的速度。由表1可知，本文提出的结构无论在精度上，还是速度上，均实现了优异的分割性能。

3应用

语义分割算法的研究取得了长足发展，但其一直存在落地应用效果不佳的问题，这也是以深度学习为代表的智能算法普遍面临的问题。为证明本文提出模型的应用价值，本文将训练好的模型部署在四川某物流分拣中心服务器上进行了实际测试。图6展示了具体流程，机器人将条烟分拣后放置在传送带上会经过检测装置进行正确性检查，将目前使用的模板匹配替换为本文提出的语义分割模型。商家订单信息会直接传输至条烟仓库，机器人根据订单信息完成分拣后将条烟放置在传送带上，经过检测装置时模型会对条烟进行核对，正确则顺利出库，错误则输送至暂存区，然后重新拣货并检查。

表2展示了不同分拣方法的速度精度及成本，发现无论是基于模板匹配，还是语义分割算法，都比人工大幅节省成本，且效率更高。本文提出的语义分割算法更是在精度和速度上全面超过人工检测，这将对提高分拣效率做出巨大贡献，并且将大幅降低企业成本。

4结语

本文以SkipNet和MobileNet为基础，构建了轻量化语义分割模型用于条烟分割研究，并且完成了该领域第一个数据集。通过本文研究，在提升条烟分割效率的同时，还保证了速度。为验证模型的综合性能，将模型部署在某物流中心进行了实际测试，取得了98.9%的精度，速度是人工检测的30倍以上，这表明本文提出的模型具有优异的综合性能，并且为深度学习的落地应用作出了有益探索。

参考文献

[1] ;徐诚，邱栋辰，彭雪涛.以变频器为基础的烟草储柜剩料量计算方法[J].设备管理与维修，2022（19）：128-130.

[2]邓瑞君，常晟，赵欣斐，等.烟草行业中细支卷烟表观燃烧性能检测设备优化研究[J].中国设备工程，2022（18）：16-18.

[3]王子维，黎宇辉，童宇星，等.稠浆法烟草薄片试制设备及热风定型质量控制[J].包装工程，2022，43（17）：243-248.

[4]唐海军，李凯迪，薄志杰，等.烟叶收购站分类及设备配置研究[J].物流技术与应用，2022，27（9）：150-153.

[5]汪睿琪，张炳辉，顾钢，等.基于YOLOv5的鲜烟叶成熟度识别模型研究[J].中国烟草学报，2023，29（2）：46-55.

[6]贺国强，黄宗伟，张立锟，等.不同施肥处理下烤后烟叶化学成分特点与综合评价[J].浙江农业科学，2023，64（1）：225-229.

[7]管庆林，朴晟源，张思唯，等.中微量元素配施对雪茄烟叶光合特性、碳氮代谢及产量和质量的影响[J].作物杂志，2023（5）：187-196.

[8]吴玉生，李安虎，万亚明等.基于机器视觉的烟草在线检测技术研究进展[J/OL].激光与光电子学进展：1-25[2024-01-24].http：//kns.cnki.net/kcms/detail/31.1690.TN.20230821.1402.058.html.

[9]古振猛，孙士日.基于深度学习的人脸识别技术在烟草商业内部监管的应用[J].信息与电脑（理论版），2023，35（6）：181-183.

[10]GARGG，GUPTASP，MISHRAP，etal.Cropcare：Anintelligentreal-timesustainableiotsystemforcropdiseasedetectionusingmobilevision[J]IEEEInternetofThingsJournal，2023，10（4）：2840-2851.

[11]KRISTIANIE，YANGCT，HUANGCY.Isec：Anoptimizeddeeplearningmodelforimageclassificationonedgecomputing[J]IEEEAccess，2020，8：27267-27276.