卷烟小盒外观缺陷检测设备成像质量评价方法

王文博，章 军，汪建伟，应 伟，冯 东，陆晓家，沈宇航，陈 明，张 龙，王 澍，董 浩*,3,4

1.浙江中烟工业有限责任公司杭州卷烟厂，杭州市西湖区科海路118 号 310024

2.中国科学院合肥物质科学研究院，合肥市蜀山湖路350 号 230031

3.中国科学技术大学，合肥市金寨路96 号 230026

4.国家烟草质量监督检验中心，郑州高新技术产业开发区翠竹街6 号 450001

卷烟小盒外观缺陷会严重影响卷烟产品质量，现行国家标准中规定的缺陷类型包括烟盒破损、透明纸褶皱、包装纸污渍等几十种［1］，对其进行检测和质量控制主要依靠包装设备上配置的在线检测装置［2］。当前主要采用计算机视觉技术进行卷烟外观质量检测，由于包装设备种类、型号丰富，检测原理和图像处理算法也各不相同，导致不同设备间的检测能力存在较大差异［3-5］。机器视觉外观缺陷检测系统主要由硬件和软件两大模块组成，硬件部分获取目标图像数据并上传至软件进行分析。因此，图像数据是评价视觉检测系统性能的原始数据，其成像质量直接影响系统的分析决策结果。研究表明，影响成像质量的主要因素有光照均匀性、成像畸变率、图像清晰度等［6-8］。光照不均匀会弱化图像中的细节信息，影响工业检测的准确性和稳定性；成像畸变率过大会影响小缺陷的特征形态，进而影响目标检测的识别率；镜头对焦不准会模糊图像边界的细节特征，影响缺陷检测结果。为此，搭建卷烟小盒外观缺陷离线检测系统以模拟烟盒在线检测过程，通过分析不同成像条件下检测系统对烟盒外观缺陷的识别率，建立一种卷烟小盒外观缺陷检测设备成像质量评价方法，以期提升卷烟产品包装品质。

1 材料与方法

1.1 材料

“利群（长嘴）”牌卷烟小盒（由浙江中烟工业有限责任公司杭州卷烟厂提供）。与烟盒尺寸近似的白度标准块（120 mm×50 mm×30 mm，图1a），材质为聚四氟乙烯，光谱反射率＞99%，换算成标准灰阶为253；与白度标准块同等规格和材质的棋盘格标准块（图1b），其测试面印有10×7 个黑/白正方形方块，每个方块尺寸为10 mm×10 mm。

1.2 设备与仪器

DLAP-3200-CFP12 型工业计算机，采用Intel®Core™CPU i7-8700K@3.70 GHz 处理器和NVIDIA GeForce RTX 1080Ti 显卡，内存为48 GB［凌华科技（中国）有限公司］；DFK23G274 型CCD 相机（德国Imaging Source公司）；焦距为5.0、8.0、16.0 mm的镜头（日本Computa 公司）；焦距为12.5 mm 的镜头（日本FUJIFILM 公司）；焦距为4.0 mm 的镜头（福建浩蓝光电有限公司）。

1.3 方法

1.3.1 搭建离线检测系统

卷烟小盒外观缺陷离线检测系统由显示屏、成像模块、照明模块、输送带、动力装置以及计算机等组成，见图2。装置启动后，输送带4在动力装置6带动下将烟盒7以5 m/s的速度输送至检测工位，设置在输送带两侧的挡板5可以限制烟盒运动轨迹，以保证烟盒成像位姿具有一致性；烟盒在照明模块3照射下由成像模块2 采集图像并将图像上传至工业计算机8进行缺陷检测；通过显示屏1可显示系统工作流程及检测结果。其中，成像模块可以配置1～3 台位置可调的CCD 相机，照明模块可以配置条形LED、环形LED 以及漫反射穹顶光源，工业计算机安装了烟盒缺陷检测软件。

图2 卷烟小盒外观缺陷离线检测系统结构示意图Fig.2 Structure of offline inspection apparatus for cigarette packet appearance quality

1.3.2 建立缺陷检测算法

如图3 所示，根据文献［9-10］设计基于深度学习卷积神经网络的图像特征提取器，并建立基于正常样本的卷烟小盒外观缺陷检测算法。缺陷检测算法原理为：①构建深度卷积残差网络ResNet25［11］并使用前16 层，在公开数据集ImageNet 上进行预训练，将训练好的模型作为特征提取器；②将无缺陷烟盒图像集输入特征提取器，获取图像中各区域的特征分布；③将测试图像输入特征提取器提取特征，并使用马氏距离［12］计算图像中每一个区域特征与无缺陷特征分布之间的异常值，若异常值超出设定阈值则定义为缺陷区域。阈值的确定方法：人工挑选11个正常样本，随机挑选其中1个作为合格标准样品，计算剩余10个测试样本与合格标准样品图像中各区域马氏距离的最大值，并将其作为对应区域的判定阈值。

图3 卷烟小盒外观缺陷检测算法原理图Fig.3 Principle of inspection algorithm for cigarette packet appearance defects

软件环境配置：Ubuntu Server 18.04、PyTorch 1.10.1、Python 3.6.13、CUDA 11.3。构建特征提取器时参数设置：训练正常样本图像320 张，统一尺寸为256 px×256 px，训练迭代次数为200，训练批次大小为32。

1.3.3 标准缺陷烟盒样本的制作

表1 为常见的9 类卷烟小盒外观缺陷以及相应质控标准。依据表1中的质控标准设计了缺陷标签，并粘贴在烟盒表面制作标准缺陷烟盒样本，缺陷标签设计与粘贴要求：①标签尺寸为2 mm×2 mm；②在0～255 灰阶范围内，设计25 种不同灰度值的缺陷标签（图4a），为避免标签颜色与烟盒背景色差过小而影响系统识别率，根据公式（1）选取合理灰度值的缺陷标签；③将缺陷标签粘贴至烟盒相应位置（图4b），烟盒正、反面及两个侧面的粘贴位置均相互对应，单个烟盒共包含30 个标签（正、反面各12 个，与输送带无接触的3个侧面各2个）。

表1 常见9类卷烟小盒外观缺陷Tab.1 Nine common appearance defects of cigarette packet

图4 缺陷标签灰度设计与粘贴位置示意图Fig.4 Schematic diagram of grayscales and pasting locations of defect labels

式中：C为区域颜色对比度，%；VB为烟盒背景中非图案、条纹的主色区域的平均灰度值（通过CCD 相机随机采样至少10个像素点并取平均值）；VT为标签的设计灰度值。

1.3.4 成像质量对烟盒外观缺陷检测结果的影响

1.3.4.1 实验设计

选取光照均匀性、成像畸变率、成像清晰度以及图像分辨率4 个指标评估成像质量对烟盒外观缺陷识别率的影响。其中：①在照明模块上依次安装条形LED、环形LED以及漫反射穹顶光源（照明距离均设置为150 mm），以实现不同光照均匀性的成像环境。在安装条形LED 光源时通过调整入射角（0°、30°、60°以及90°）可以改变光照均匀性。②固定使用漫反射穹顶光源照明，通过更换不同焦距F（4.0、5.0、8.0、12.5、16.0 mm）的镜头，以实现不同成像畸变率的成像环境。③固定使用漫反射穹顶光源照明并采用焦距F=8 mm 的镜头，通过对镜头圈进行焦距微调以实现不同清晰度的成像环境。④固定使用漫反射穹顶光源照明并采用焦距F=8 mm 的镜头，将CCD 相机图像分辨率分别调至28 px×28 px、32 px×32 px、64 px×64 px、128 px×128 px以及256 px×256 px时采集图像。

不同光照均匀性实验中，在3 个对比度范围（C≥10%、5%≤C＜10%、C<5%）内随机选取缺陷标签制作3种标准缺陷烟盒样品，考察对比度对缺陷识别率的影响；不同成像畸变率、成像清晰度以及图像分辨率实验中，仅选取对比度C≥10%的缺陷标签制作标准缺陷烟盒样品。每个实验条件下分别测试10个标准缺陷烟盒样品的缺陷识别率，取平均值。

1.3.4.2 指标量化方法

图像分辨率可直接获得，成像清晰度采用Tenengrad 梯度函数［13-14］进行计算，光照均匀性和成像畸变率则需要建立相应的量化方法。

（1）光照均匀性。在不同光照条件下，将白度标准块置于卷烟小盒的检测工位，利用离线检测系统采集图像，选取单个检测面的感兴趣区域（Region of Interest，ROI），根据公式（2）计算该检测面的光照均匀性系数IP。利用IP值表征光照均匀性，光照越均匀，IP值越小。

式中：fROI（x,y）表示ROI 区域中像素点的像素值，0～255 灰阶；STD（）为求标准偏差函数；MEAN（）为求平均值函数。

（2）成像畸变率。图5示意了基于棋盘格标准块的成像畸变率计算原理，在不同成像畸变率条件下，将棋盘格标准块置于卷烟小盒检测工位并将棋盘格测试面的中心点记为原点O，P为沿45°方向在棋盘格区域内距离O点的最远点。采用局部几何畸变测量方法（local geometric distortion method）［15］计算图像畸变率Od。

式中：L为点P距离点O的实际距离，mm；l为图像中点P距离点O的计算距离，mm。

2 结果与讨论

2.1 光照均匀性对缺陷识别率的影响

图6为不同光照条件下采集的白度标准块图像，根据公式（2）计算其光照均匀性系数，并在不同光照均匀性环境下对标准缺陷样品进行检测，结果见表3。可见，在6种光照条件下，随着光照均匀性系数的降低，检测系统对不同对比度缺陷标签的识别率均呈上升趋势，采用漫反射穹顶光源时缺陷识别率最高；采用条形光源时，入射角会影响光照均匀性，当入射角为0°时，光照最均匀；在同一种光照条件下，缺陷标签与烟盒背景的对比度C值越大，缺陷识别率越高。为保证检测效率和识别准确性，将光照均匀性系数阈值设置为5.0%，在检测过程中若光照均匀性系数测量值大于5.0%，则应调整光源结构直至光照均匀性系数满足要求。

图6 白度标准块图像及对应光照条件Fig.6 Images of whiteness standard block and corresponding illumination conditions

2.2 成像畸变率对缺陷识别率的影响

不同焦距镜头具有不同的成像畸变率，图7为使用不同焦距镜头采集的棋盘格标准块图像，根据公式（2）计算图像畸变率，并在不同成像畸变率环境下对标准缺陷样品进行检测，结果见表4。可见，成像畸变率绝对值与焦距呈负相关。当成像畸变率绝对值≤1.15%时，缺陷识别率无明显变化；当成像畸变率绝对值＞1.15%时，缺陷识别率略微下降。整体上，成像畸变率对烟盒外观缺陷识别率影响不大。

表4 不同成像畸变率条件下烟盒外观缺陷识别率①Tab.4 Recognition rate of cigarette packet appearance defects at different imaging distortion rates

图7 不同焦距镜头采集的棋盘格标准块图像Fig.7 Checkerboard standard block images collected by lenses with different focal lengths

2.3 成像清晰度对缺陷识别率的影响

图8 和表5 分别为不同成像清晰度条件下采集的烟盒外观图像以及根据文献［11-12］得到的成像清晰度T值。由表5可见，缺陷识别率与清晰度T值正相关。当T＞12 时，缺陷识别率差异较小；当T＜12 时，缺陷识别率显著下降。因此，将T=12 设置为清晰度阈值，在检测过程中若清晰度测量值T＜12，则调整或更换镜头直至清晰度满足要求。

表5 不同成像清晰度条件下烟盒外观缺陷识别率①Tab.5 Recognition rate of cigarette packet appearance defects at different imaging clarity

图8 烟盒外观图像及对应成像清晰度T值Fig.8 Images of cigarette packet and corresponding imaging clarity

2.4 图像分辨率对缺陷识别率的影响

图9 和表6 分别为不同图像分辨率下烟盒外观图像及缺陷识别率。由表6可见，缺陷识别率与图像分辨率呈正相关。当图像分辨率低于128 px×128 px时，缺陷识别率明显降低。因此，在检测过程中将CCD相机的图像分辨率调至128 px×128 px及以上。

表6 不同图像分辨率下烟盒外观缺陷识别率Tab.6 Recognition rate of cigarette pocket appearance defects at different image resolutions

图9 不同图像分辨率下采集的烟盒外观图像Fig.9 Images of cigarette packet collected at different image resolutions

3 结论

搭建一种卷烟小盒外观缺陷离线检测系统并获得不同成像条件下标准缺陷烟盒样本的图像，采用光照均匀性、成像畸变率、成像清晰度以及图像分辨率4 项指标评估成像质量对烟盒缺陷识别率的影响。结果表明：①光照均匀性越好、成像清晰度和图像分辨率越高，缺陷识别率越高；成像畸变率对缺陷识别率的影响不大。②采用漫反射穹顶光源时光照均匀性最好，采用条形光源时最佳入射角为0°。③为保证检测效率和识别准确性，检测系统中各参数阈值分别为光照均匀性系数＜5.0%、成像清晰度T值＞12、图像分辨率≥128 px×128 px。