基于远程调控的烟包外观视觉检测系统的研发

杨彩虹，蔡培良，易进参，金学鹏，吕国强，黄莉，张晶

基于远程调控的烟包外观视觉检测系统的研发

杨彩虹，蔡培良，易进参，金学鹏，吕国强，黄莉，张晶

（红云红河烟草（集团）有限责任公司曲靖卷烟厂，云南 曲靖 655001）

小盒烟包在包裹过程中易出现烟包内框纸破损、脱落、丢失，以及铝箔纸破损、刮烂等缺陷，为解决在完全包裹好小盒商标纸之前，GD包装机未对这些缺陷进行相关检测和剔除而带来的质量风险问题。通过对视觉技术的研究、全方位可旋转支架的设计制作、PLC控制程序的设计与IPC系统融合等，设计一种新型烟包外观视觉检测装置；通过多次实验调整可旋转支架的角度确定检测的最佳安装位置及角度；采用高斯核滤波、卷积等方法对图像进行预处理，采用相对熵对颜色相近的铝箔纸与内框纸进行图像处理分析；利用In–Sight资源管理器，并结合远程控制设计，实现对烟包内框纸、铝箔纸与商标纸同时检测的远程调试与监测。该新型外观视觉检测装置安装后，实现在完全包裹好小盒商标纸之前对烟包铝箔纸、内框纸与商标纸的精确检测，缺陷烟包的产品检测剔除率≥99.99%，误检率≤0.01%。所设计的新型小盒烟包外观检测装置能在完全包裹好小盒商标纸之前远程调试与监测烟包内框纸、铝箔纸与商标纸，并对缺陷烟包进行准确剔除，降低有缺陷烟包进入下道工序的风险，可推广应用于烟草行业内所有包装设备上。

GD包装机；5号轮第5工位；高斯核；相对熵；In–Sight资源管理器；远程监控

GDX2硬盒包装机（以下简称为GDX2）为国内主流中高速烟草包装设备。烟包经过3号轮、4号轮完成铝箔纸、内框纸的包裹，然后进入5号轮进行小盒商标纸的包裹，完成商标纸包裹的烟包通过6号轮、7号轮加热烙烫后传送到烟包输送带，从而完成整个小盒烟包的包裹。在小盒烟包包裹过程中，容易出现内框纸破损、脱落或丢失，铝箔纸破损、刮烂、商标纸磨损等问题，这些缺陷烟包经过5号轮后完全被小盒商标纸包裹起来，无法再对其内部缺陷进行检测及剔除，而原机5号轮在未完全包裹小盒商标纸之前没有相关检测对上述缺陷烟包进行检测和剔除，故存在一定的质量风险。潘安岳[1]通过在5号轮加装2个电感式传感器、李忠科等[2]在5号轮墙体位置通过增加2个接近开关的方法实现对5号轮包装过程中产生的铝箔纸缺陷产品进行检测，但对内框纸和商标纸的缺陷产品不能有效检测和剔除，同时，安装位置不利于检修和调试；古劲声等[3]设计了基于机器视觉的内框纸自动检测装置，只针对内框纸进行检测，不能同时对3种辅料进行检测；为降低包装过程中摩擦等因素的影响，王涛等[4]分析了产生“磨痕”的原因,并采用毛刷方式减少包装过程中“磨痕”烟包的数量。上述研究采用不同的方法来单一的检测铝箔纸、内框纸、商标纸等，但不能对三者同时进行检测，而上述缺陷烟包具有偶发性和间断性，给产品质量带来风险。故通过对GDX2工艺流程的分析，借鉴相关机器视觉技术[5-6]，在GDX2的5号轮第5工位处（小盒商标纸刚好包裹之前）进行视觉检测装置的设计，通过图像识别技术[7-8]，判断该烟包内的内框纸、铝箔纸及商标纸是否完好，通过移位控制与远程控制设计[9]，将生产中存在质量缺陷的烟包在6号轮剔除口自动准确剔除，保证产品质量，降低缺陷产品流入下道工序的风险。

1 问题分析

如图1所示，在GDX2包装生产过程中，内框纸经裁切机构裁切后传送至4号轮，在4号轮的第2工位检测内框纸是否存在，经2号轮、3号轮完成铝箔纸包装的烟包在4号轮的第3工位与内框纸汇合，然后由4号轮的第7工位进入5号轮；汇合后的烟包与传送来的商标纸在5号轮相汇合，后由推杆向上推出进入5号轮第1工位，在该工位，由色标传感器[10]检测商标纸是否存在；在5号轮第2工位处，由金属传感器[11]检测烟包铝箔纸是否存在；烟包在5号轮的折叠与旋转臂处完成商标纸的部分折叠与传送，5号轮第5工位（即GDX2的第123号工位）刚好处于5轮顶部位置，且该工位是商标纸刚好完全包裹烟包的前一个工位，后续工位烟包完成商标纸包裹，故无法对烟包内的内框纸与铝箔纸的缺陷进行检测。烟包在5号轮的折叠与旋转过程中，容易导致内框纸破损、脱落、丢失及铝箔纸破损、刮烂等问题产生，而产生上述缺陷的烟包在5号轮处被小盒商标纸包裹起来，无法对其进行检测和剔除，且原机系统在5号轮处没有相关检测对上述缺陷烟包在未包裹小盒商标纸之前对其进行检测和剔除，给产品质量带来风险。同时，烟包内框纸与铝箔纸缺陷的产生具有不定时、随机性的特点，仅靠操作人员无法控制，而设备又不能杜绝上述问题的发生，一旦产生上述缺陷的烟包时，需要排查大量产品，造成人力物力的浪费，降低设备效率，产品质量风险加大。

图1 GDX2包装机生产流程简图

2 5号轮外观视觉检测系统

为解决上述问题，借鉴相关视觉检测系统[12-13]，设计一套能对烟包商标纸、内框纸与铝箔纸3种辅料同时检测的远程调控的外观视觉检测系统，该检测系统能在刚好包裹商标纸之前对烟包的铝箔纸、内框纸和商标纸进行同时检测，并对缺陷烟包进行准确剔除，杜绝商标纸包裹后无法对烟包的内框纸、铝箔纸缺陷进行检测而造成缺陷产品流入下道工序的情况发生，保证产品质量。

2.1 视觉检测系统组成

通过检测位置的工艺流程分析、万向连接支架的设计与制作、智能相机的安装分析等研究设计出一套新型烟包外观视觉检测系统，该外观检测系统由智能相机、LED光源、PLC等组成，其检测系统的组成见图2。

图2 外观视觉检测系统组成

为保证检测系统的精确性与稳定性，按照设备最大速度400包/min进行计算，5号轮共计8个工位，计算得出每个工位的停顿时间150 ms，为保证原机的正常运行并保证检测的精确性，采用康耐视1400以上智能相机，利用原机的MES显示屏与网络实现对检测系统的实时监控，并利用光耦把检测系统的输出信号接入原机的剔除点，实现检测系统剔除的精确性。

2.2 视觉检测系统原理

生产中，烟包在5号轮的第5工位进行商标纸的最终折叠成型，此时5号轮的第5工位的停顿相位在235°～260°，经多次试验，243°相位是商标纸刚好未完全折叠包裹在烟包上，将该相位作为相机拍照信号、光源的触发信号，原机PLC输出DC24 V给光电耦合器A，光电耦合器A接通，其常开触头闭合，DC24 V送入智能相机，智能相机触发拍照，对5号轮的第5工位的烟包在未包裹商标纸前进行拍照，拍摄的照片在智能相机内进行识别、图像算法、灰度处理等一系列分析处理[14-15]，与设定的图像进行比对，如果其处理计算值超出设定值，则该烟包判断为存在质量缺陷，此时智能相机输出高电平控制光电耦合器B的线圈端，光电耦合器B导通，DC24 V送入原机PLC输入端，原机PLC程序移位值达到设定值，PLC控制器输出控制6号轮剔除电磁阀，将该缺陷烟包准确剔除，从而实现检测的准确剔除、与原机运行速度的匹配。

同时，利用原机的上位机，通过控制程序的融合与远程控制设计[16]，用户可通过上位机对智能相机各检测窗口基准参数设定、对智能相机的拍照触发使能信号相位、缺陷烟包剔除移位步数、剔除烟包数量等相关参数进行调整，也可实时查看剔除数据等，从而实现小盒烟包在未包裹商标纸前对內框纸、铝箔纸与商标纸3种辅料的在线精确检测和准确剔除，外观视觉检测系统的控制原理见图3。

2.3 视觉检测系统最佳检测位置分析

对GDX2的工艺流程分析，要实现对烟包内框纸、铝箔纸与商标纸的同时检测，必须在商标纸完全包裹烟包前进行检测。GDX2小盒烟包的3种辅料只在5号轮同时存在，5号轮第5工位（GDX2的第123工位）是商标纸刚好包裹烟包的前一工位，后续工位烟包被商标纸完全包裹，无法对烟包内的辅料进行检测，故外观检测系统需安装在5号轮第5工位及以前工位；同时，烟包内框纸、铝箔纸与商标纸在5号轮的第1工位才汇合，要同时检测3种辅料，外观检测系统必须安装在5号轮的第1工位及以后。5号轮的第1工位需完成商标纸与烟包的交接与输送，且空间狭小，不利于检测系统安装；5号轮的第1、第2、第3与第4工位主要是商标纸的部分折叠与包裹，且这几个工位外侧均有护板装置，使小盒烟包正面无法裸露出来，故检测装置不能在这4个工位进行拍照检测；烟包到达GDX2第123工位时，在该工位进行商标纸的正面上部和下部折叠成型，在2个折叠臂刚要折叠前，整个烟包正面的铝箔纸、內框纸全部裸露，视觉检测效果较好，且上部空间充足利于检测系统安装。

图3 外观视觉检测系统原理简图

经综合分析，5号轮的第5工位（即GDX2第123工位）的斜上方，空间充足利于检测装置的安装；5号轮顶部空间位置的光照视野良好，利于检测效果；其最佳检测安装位置见图4。

图4 GDX2 5号轮外观检测系统最佳检测位置确定

相机与光源安装在万向连接支架上，支架固定在GDX2的机器墙体上，通过调整万向连接支架的角度，实现相机与光源的上下/左右/旋转调整，通过多次试验调整万向连接支架的角度，最终确定如图12所示的支架角度，保证相机对GDX2第123工位的烟包进行最佳角度拍照以及光源的最佳照射角度，保证检测的精准性。

2.4 图像处理

相机采集的图像无论采用哪种图像分析工具，首先要对图像进行滤波处理，在保留图像细节特征的条件下对目标图像的噪声进行抑制，图像滤波的处理效果将直接影响到后续图像处理和分析的有效性和可靠性。一般视觉系统采用均值或中值滤波，而均值滤波容易产生边界模糊、细节特征丢失严重等问题，中值滤波比均值滤波稍好，但当图像增大时，图像的边界模糊效应还是存在，不可避免地会破坏图像的线段、锐角等信息。

育秧环节工序复杂、操作繁琐、技术性强、各项要求严格，而农村里大量劳动力外出务工，在家务农的多为年龄大、文化程度低的农民，农民们掌握技术有难度，导致机插秧技术推广难度增加。

图5 万向连接支架

文中利用形态学运算所具有的几何特征和良好的代数性质，主要采用卷积与微分运算进行滤波，既能有效滤除噪声，又能完整保留图像细节

首先采用5×5高斯核对整合后的图像进行滤波，高斯核如下：

图6 5×5高斯核滤波处理

图7 移位处理后的5×5高斯核

将处理后的高斯核和图像窗口中每一个点作卷积运算，再将运算结果除以2的15次方, 即存储器中二进制右移15位，可得到滤波后的图像。这样极大的提升了计算速度，且降低了硬件成本，不需要昂贵的支持浮点运算的处理器。

对图像水平方向（方向）求导，求出图像各点的梯度。同样采用5×5卷积核对滤波后的图像方向取偏导数。其卷积核如下：

图8 图像x方向的5×5高斯核

同理，对图像垂直方向（方向）求导，求出图像各点的梯度，即图像每点的幅度和相位。采用5×5卷积核对滤波后的图像方向取偏导数，其卷积核如下：

图9 图像y方向的5×5高斯核

2.5 In–Sight资源管理器与相对熵检测

In–Sight资源管理器软件是智能相机的调校工具，通过In–Sight软件可对检测的相关参数进行调校。由于每个智能相机有唯一的IP地址，进入软件后，首先通过“In–Sight网络”查找并连接智能相机，通过编辑与工具分析添加需要的检测工具。

由于铝箔纸与内框纸的颜色较为接近，使用一般的检测无法进行有效检测，将高斯处理后的图像各点的相位分为32类（0～31），并计算出每类的概类值。

式中：x为图像每个窗口中的各个相位特征向量；()为正常图像每个窗口中相位特征的概率分布；()为被检测图像每个窗口中相位特征的概率分布；()为相对熵，值在0到1之间。根据相对熵可判断颜色近似的铝箔纸与内框纸及其纹路变化，实现对铝箔纸与内框纸的检测识别。生产实际中，相对熵设为0.5，小于该设定值，表明内框纸与铝箔纸的颜色与纹路接近，铝箔纸与内框纸相似度高，值越小，越接近于0，表明内框纸丢失或铝纸丢失；相对熵大于该设定值，表明内框纸与铝箔纸存在。

In–Sight资源管理器软件中含有多种检测工具，其工作界面简图见图10。

2.6 IPC控制系统的融合与远程调控

检测系统的可视化人机界面采用原机MES显示屏，不需外挂设备，在MES工控机上安装智能相机应用软件In–Sight，通过以太网将智能相机与MES工控机连接，MES工控机通过机器宝与IPC控制系统实现数据交换，IPC控制系统采用EtherCAT分布式网络，其从站实现对智能相机的拍照使能、移位剔除的控制，从而实现检测系统与IPC控制系统的融合。现场可在MES显示屏上通过以太网实现对检测系统的参数调校；同时，智能相机与MES工控机通过TCP/IP协议将设定在同一网段内，在同一网段内，对应的每个智能相机都有唯一的IP地址，用户通过远程控制台，输入IP地址，即可通过机器宝连接该智能相机进行远程监控[18-19]检测系统是否正常、查看、调试检测系统的检测窗口、参数及检测基准电压值、拍照使能相位及缺陷烟包移位步数等参数，在不需中断生产流程的前提下，即可实现远程在线对5号轮模盒内的烟包商标纸、內框纸及铝箔纸进行检测，并将存在缺陷的产品在6轮进行准确剔除。检测系统的网络连接与远程监控简图见图11。

图10 In-sigh资源管理器软件工作界面简图

图11 检测系统控制及远程调控简图

3 应用效果

为了验证该检测系统的效果，随机抽取1组GDX2包装机作为实验对象，连续运行7个工作日，每天对下游操作人员自检返回的缺陷烟包、GDX2 6号轮剔除口剔除缺陷烟包数量进行统计，统计数据见表1，安装后的检测及运行实物图见图12。

表1 安装检测系统前后缺陷烟包统计表

Tab.1 Statistical table of defective cigarette packets before and after installation of inspection system

注：缺陷烟包样品包含内框纸脱落、内框纸破损、无铝箔纸、铝箔纸破损、无商标纸、商标纸破损6类缺陷烟包。

图12 检测运行及实物图

从表1的统计结果表明，安装该检测系统前后烟包的缺陷产品总量基本一致，平均每周产生的上述缺陷烟包为104包，安装后，存在缺陷的烟包在GDX2的6号轮剔除口均能准确剔除，下游操作人员自检返回的缺陷烟包数量为0。通过对检测系统试运行一周的运行结果表明，该检测系统不合格品的检测准确性≥99.99%，误检率≤0.01%。

4 结语

文中在GDX2 5号轮处设计一种新型烟包外观视觉检测装置，综合智能相机分析、万向连接支架的制作与安装、控制程序的设计与编写、高斯核与相对熵等处理方法，实现对5轮烟包的高效检测及缺陷烟包的精准剔除。该GDX2 5号轮处烟包外观检测系统安装后，对缺陷烟包的检测准确性≥99.99%，误检率≤0.01%。该外观检测装置能提升产品质量、降低物耗，提高设备作业率，降低有缺陷烟包进入下道工序的风险，可推广应用于烟草行业内所有包装机机组设备上。

[1] 潘安岳. GDX2卷烟包装机五轮铝箔纸检测装置的设计应用[J]. 科技风, 2013(23): 72.

PAN An-yue. Design and Application of Five-Wheel Aluminum Foil Detection Device for GDX2 Cigarette Packaging Machine[J]. Technology Wind, 2013(23): 72.

[2] 李忠科, 沈锟. GDX2型卷烟包装机铝箔纸检测装置的改进[J]. 中国新技术新产品, 2012(16): 161.

LI Zhong-ke, SHEN Kun. Improvement of Aluminum Foil Detection Device of GDX2 Cigarette Packaging Machine[J]. China New Technologies and Products, 2012(16): 161.

[3] 古劲声. GDX2包装机内框纸检测装置的研制[C]// 中国烟草学会2015年度优秀论文汇编, 中国烟草学会, 2015: 401-409.

GU JIN-sheng. Development of Inner Frame Paper Detecting Device of GDX2 Packaging Machine[C]// Outstanding Papers of China Tobacco Society in 2015, China tobacco society, 2015: 401-409.

[4] 王涛, 彭宗祥, 刘东东. 减少GDX2包装机组“磨痕”烟包的数量[J]. 山东工业技术, 2018(13): 11-15.

WANG Tao, PENG Zong-xiang, LIU Dong-dong. Reduce the Number of "Wear Marks" Cigarette Packs in the GDX2 Packaging Unit[J]. Shandong Industrial Technology, 2018(13): 11-15

[5] 李继波, 黄远征, 寻继勇. 仪器视觉技术的烟箱外观质量无损检测装置[J]. 中国仪器仪表, 2018(6): 68-71.

LI Ji-bo, HUANG Yuan-zheng, XUN Ji-yong. Non- Destructive Testing Device for the Appearance Quality of Smoke Box by Instrument Vision Technology[J].Chinese Instrument, 2018(6): 68-71.

[6] 刘荣辉. 机器视觉系统在GDX2包装机组中的应用[J]. 烟草科技, 2005(11): 10-11.

LIU Rong-hui. Application of Machine Vision System in GDX2 Packing Machine[J]. Tobacco Science & Technology, 2005(11): 10-11.

[7] 李凡, 李诺, 金月红. 基于图像识别技术的频率计自动检测系统[J]. 计量技术, 2018(5): 20-22.

LI Fan, LI Nuo, JIN Yue-hong. Automatic Detection System of Frequency Meter Based on Image Recognition Technology[J]. Measurement Technique, 2018(5): 20-22.

[8] 张曼, 陈宁. 图像识别智能化处理技术在塑料齿轮缺齿检测中的应用[J]. 塑料科技, 2019, 47(5): 89-94.

ZHANG Man, CHEN Ning. Application of Image Recognition Intelligent Processing Technology in Missing Teeth Detection of Micro Plastic Gears[J]. Plastics Science and Technology, 2019, 47(5): 89-94.

[9] 宋传旺,谢帅虎等.基于PLC的移位同步控制系统设计[J]. 仪表技术与传感器, 2018(8): 47-51.

SONG Chuan-wang, XIE Shuai-hu, et al.Design of shift synchronization control system based on PLC[J]. Instrumentation Technology and Sensors, 2019, 47(5): 89-94.

[10] 张杰, 孙刚, 张阔. 基于色标检测在空调U管自动化生产的研究应用[J]. 机械工程与自动化, 2019(5): 169-171.

ZHANG Jie, SUN Gang, ZHANG Kuo. Research and Application of Color Mark Detection in Automatic Production of Air Conditioning U Tube[J]. Mechanical Engineering & Automation, 2019(5): 169-171.

[11] 邱崇军, 胡登鹏. 基于LDC1314的金属探测器设计[J]. 单片机与嵌入式系统应用, 2017, 17(2): 53-55.

QIU Chong-jun, HU Deng-peng. Metal Detecting Device Design Based on LDC1314[J]. Microcontrollers & Embedded Systems, 2017, 17(2): 53-55.

[12] 王东峰, 韩征峰. 基于机器视觉的留置针配距检测系统的设计[J]. 医疗装备, 2020, 33(1): 14-16.

WANG Dong-feng, HAN Zheng-feng. Design of Inspection System of Needle Distance Based on Machine Vision[J]. Medical Equipment, 2020, 33(1): 14-16.

[13] 孙光民, 路浩南. 基于Django的金属在线硬度检测系统的设计与实现[J]. 计算机测量与控制, 2019, 27(9): 23-27.

SUN Guang-min, LU Hao-nan. Design and Implementation of On-Line Hardness Testing System for Metals Based on Django[J]. Computer Measurement & Control, 2019, 27(9): 23-27.

[14] 柳雨农. 基于像素直方图移位的数字图像无损信息隐藏算法[D]. 西安: 长安大学, 2019: 35-51.

LIU Yu-nong. Lossless Information Hiding Algorithm of Digital Image Based on Pixel Histogram Shift[D]. Xi'an: Changan University, 2019: 35-51.

[15] 李亚丽, 张国平. 计算机视觉算法的图像处理技术研究[J]. 电脑编程技巧与维护, 2019(12): 148-149.

LI Ya-li, ZHANG Guo-ping. Research on Image Processing Technology of Computer Vision Algorithm[J]. Computer Programming Skills & Maintenance, 2019(12): 148-149.

[16] 姚高华. 基于以太网的远程监控系统设计[D]. 广州: 华南理工大学, 2013: 43-48.

YAO Gao-hua. Design of Remote Monitoring System Based on Ethernet[D]. Guangzhou: South China University of Technology, 2013: 43-48.

[17] 毛红军, 李福胜, 陈启亮. 双转向架牵引连接器的改进设计[J]. 机车电传动, 2010(5): 84-85.

MAO Hong-jun, LI Fu-sheng, CHEN Qi-liang. Improved Design of Double Bogie Traction Connector[J]. Electric Drive for Locomotives, 2010(5): 84-85.

[18] 崔力. 计算机通信与网络远程控制技术的应用研究[J]. 数字技术与应用, 2019, 37(8): 66-67.

CUI Li. Research of Application of Computer Communication and Network Remote Control Technology [J]. Digital Technology & Application, 2019, 37(8): 66-67.

[19] 张仰月. 智能相机应用软件设计及GigE Vision协议实现[D]. 南京: 南京邮电大学, 2019: 38-45.

ZHANG Yang-yue. Design of Intelligent Camera Application Software and Implementation of GigE Vision Protocol[D]. Nanjing: Nanjing University of Posts and Telecommunications, 2019: 38-45.

Research and Development of Visual Inspection System of Cigarette Packet Based on Remote Control

YANG Cai-hong, CAI Pei-liang, YI Jin-can, JIN Xue-peng, LYU Guo-qiang, HUANG Li, ZHANG Jing

(Qujing Cigarette Factory, Hongyun Honghe (Group) Co., Ltd., Yunnan Qujing 655001, China)

The work aims to solve the quality risk problem caused by failure of GD packaging machine to detect and reject defects before completely wrapping small cigarette packets, because small cigarette packets are prone to breakage, shedding and loss of inner frame paper and breakage and scratching of aluminum foil paper. A new type of visual inspection device for cigarette packet appearance was designed through the study on visual technology, design and fabrication of all-round rotating bracket, integration of PLC control program and IPC system, etc. The angle of rotating bracket was adjusted through many experiments to determine the best installation position and angle for detection. Gaussian kernel filtering, convolution and other methods were used to preprocess the images, and relative entropy was used to analyze the images of aluminum foil paper and inner frame paper with similar colors.In–Sight Explore was combined with remote control design to realize the remote debugging and monitoring of cigarette packet inner frame paper, aluminum foil paper and trademark paper. After the installation of the new visual inspection device, accurate detection of cigarette packet aluminum foil paper, inner frame paper and trademark paper was realized before the trademark paper of small packet was completely wrapped. The detection rejection rate of defective cigarette packets was ≥99.99%, and the error detection rate was ≤0.01%. The designed visual inspection device for small packet can remotely debug and monitor the inner frame paper, aluminum foil paper and trademark paper before the small cigarette packet is completely wrapped, and accurately remove the defective cigarette packets, thus reducing the risk of defective cigarette packets entering the next process and can be popularized and applied to all packaging equipment in the tobacco industry.

GD packing machine; station 5 of round 5; Gaussian kernel; relative entropy; In–Sight Explore; remote monitoring

TS434；TB487

A

1001-3563(2022)17-0289-09

10.19554/j.cnki.1001-3563.2022.17.038

2022–02–21

云南省科技项目（018BA087）

杨彩虹（1985—），女，硕士，助理工程师，主要研究方向为烟草装备电气维修及检测。

责任编辑：曾钰婵