基于高分辨率网络和注意力机制的真伪卷烟包装鉴别

肖楠，周明珠，邢军，罗泽，李晓辉＊

1中国科学院计算机网络信息中心，北京 100190

2中国科学院大学，北京 100049

3国家烟草质量监督检验中心，河南 郑州 450001

引 言

在中国，烟草制品消费量极大，其每年所带来的税收利润是国家重要的金融来源。近年来不断有假冒伪劣卷烟混入市场中，严重影响了市场秩序和人民健康，所以对卷烟的真伪进行准确的鉴别对于维护国家和消费者的合法权益具有重要意义。

未拆封的卷烟包装纸作为卷烟的重要标志，是判别卷烟真假的关键因素。传统方法中，技术人员从卷烟包装的色彩、防伪技术应用、工艺特征等角度出发，利用人眼（即感官）与同规格真品进行综合对比[1]，这种方法易造成误差且效率低下。随着计算机技术的不断进步，人们尝试结合图像分类技术对卷烟包装纸图像进行真伪鉴别。张毅等[2]以烟包为单位，利用角点检测方法提取目标二值图以实现烟包识别；王凯华等[3]基于改进的特征点检测方法结合图像配准技术进行鉴别；钟宇等[1]提出机器学习模型，以图像特征向量相似度作为判别指标。这些方法的提出，虽然在一定程度上缓解了卷烟包装真伪鉴别任务中人工识别效率低的问题，但是特征提取器与分类器的选择仍然受到人为因素的干扰，容易导致模型提取特征的能力不足，进而影响模型的分类性能。

深度学习技术因能够利用多层网络结构获得更接近图像的高级语义特征，被广泛应用于包括图像分类、场景识别等计算机视觉任务中[4]。特别的，自Alex-Net[5]在分类问题中崭露头角后，卷积神经网络架构进入发展爆发期。包括以小卷积核堆叠方式简化网络结构，验证了网络深度的加深有利于模型性能优化的VGG-Net[6]，利用1×1 卷积进行升降维整合不同尺度卷积核的 Google-Net[7]，以及结合跨层连接方式缓解因网络层数增多所造成的梯度爆炸问题的ResNet[8]等。这些网络不同程度上尽可能地利用了卷积神经网络局部感知、权值共享的优势，提升了模型分类准确率，且以此建立的模型学习能力、泛化能力更强，这对实现大规模卷烟真假智能化识别是有利的。

依据卷烟包装纸图像鉴别卷烟真伪属于更加细粒度的图像分类问题。分类难点主要有两个方面：一是假烟与真烟之间的差异细微，二是同一品牌卷烟的不同规格差异大。要想结合计算机视觉技术在大规模样本检测中实现高效、准确的自动化识别，所建立的模型就需要具备可以提取到更加细致的高精度特征的能力，因为往往成功区分卷烟真伪的是一些微小的差异，这就为鉴别任务提出了新的挑 战[9]。

ResNet 等经典分类网络在进行不断的卷积和池化过程中，会丢失很多空间表征[10]，从而无法获得更具判别性的特征。高分辨率网络（High-Resolution Network，HRNet）[11]提出在主干网络中始终保持高分辨率特征图以保证分类精度，并结合并行连接高低分辨率子网结构获得多尺度信息，为提高卷积神经网络在分类问题中的准确率提供了新的研究思路。

基于此，本文以项目中利用扫描仪设备采集的真假烟盒图像为实验样本，构建基于高分辨率网络的真伪卷烟包装鉴别模型，同时引入高效通道注意力模块对现有的高分辨率网络进行改进，改善了基于传统经典分类网络容易丢失空间精度以及分类效果差的问题，取得了97.21%的分类准确率。

1 基于高分辨率网络的真伪卷烟包装鉴别模型

卷烟包装真伪鉴别任务存在真品与伪造品之间的差距很细小，甚至不同品牌的两种真烟相似度极高的情况，在这种容易造成混淆的情况下，传统经典的卷积分类网络如ResNet 等不再具有优势。考虑到对卷烟进行正确的真伪鉴别的关键可能是一些更加细粒度的特征，而高分辨率网络恰好是针对传统分类网络精度损失问题而被提出的，所以本文尝试将高分辨率网络作为骨干网络，构建真伪卷烟包装鉴别模型，以达到模型性能提升的目的。

1.1 高分辨率网络

为了减少参数量和增大感受野，卷积神经网络会在低层不断进行卷积和池化操作，也就是会对图像特征信息进行下采样操作然后得到局部特征，在这个缩小的过程中，很多细微空间表征会被损失，从而影响进一步的分类、分割等工作。针对此问题，研究者们尝试通过双线性插值等上采样方法[12]尽可能的弥补表征空间在特征提取阶段的损失，或者从减少降采样次数的角度出发，提出了既增大了感受野又减少了卷积次数的空洞卷积[13]。这种经历了损后重补的高分辨率表征，很大程度上会被语义表达能力强的表征影响，从而空间敏感度不高。为了避免空间精度的丢失，高分辨率网络提出了多尺度特征图并联连接的想法，在主干网络始终保持高分辨率的特征图，然后逐步降低特征图分辨率获得多尺度子网与主干网络并联，并结合交换单元，获得了精度更高和语义信息更加丰富的特征图，一定程度上改善了空间表征损失的难题。其结构如图1 所示。按照数据流走向可将高分辨率网络工作流程划分为三部分：获得高分辨率特征图、构建并行子网、融合多尺度信息。

图1 HRNet 结构Fig.1 The structure of HRNet

1.1.1 获得高分辨率特征图

为避免下采样后的表征复现不充分问题，HRNet 网络在图像数据输入网络结构后，进入基础特征提取阶段。进行了两次步长为2 的卷积（2-stride）操作，得到原来图像1/4 大小的高分辨率特征图，然后此尺寸的图像将不再发生变化，并始终保存在主干网络中。

1.1.2 构建并行子网

主干网络获得了高分辨率特征图后，数据流进入了其他分辨率子网构建阶段。HRNet 利用四个阶段，构建了主体是由四个不同尺度特征子网并行的结构，其关键部分结构如图1 所示。图中1/4、1/8、1/16、1/32 表示当前阶段特征图分辨率占原图像分辨率的比例。在获得多分辨率子网的过程中，每一个阶段所产生的新子网分辨率是上一阶段分辨率的一半，并且自第二阶段开始通道数会逐层成倍增加。为了保证不同阶段的低分辨率子网可以并联到上一阶段网络结构上，HRNet 在不同阶段衔接处添加了过渡层，其在保持前一阶段子网分辨率不变的同时，利用卷积下采样和上采样操作完成分辨率缩小和通道数增加的工作，实现不同阶段通道数和分辨率的对应。具体的来说，网络结构的各阶段由多个模块化的多分辨率块堆叠而成，在第一阶段，由1 个多分辨率块组成，其包含了4 个通道数是64 的残差单元，每个单元沿用了残差网络的“瓶颈Bottleneck”模块。经过过渡层，到了第二阶段，网络结构中有了两个子网，包括主干网络以及分辨率是其一半的子网，其通道数（假设初始通道数为C）分别变成了C，2C。此阶段依然包含一个多分辨率块，但这个多分辨率块与第一阶段不同，是由4 个有两个3×3 卷积的基础残差单元组成。第三、四阶段与第二阶段所采用的多分辨率块结构相同，只是重复数量依次变为4 和3，且通道数也相应变成了C，2C，4C和8C。

1.1.3 融合多尺度信息

由于图像的不同分辨率所表达的语义信息是不同的，所以HRNet 在多分辨率子网中添加了交换单元，令不同尺度特征图之间可以进行重复信息交互。在高分辨率网络中，从出现多分辨率子网的第二阶段开始，包括主干网络在内的所有子网彼此之间都要进行多次信息交融。在分类之前的各阶段因为不同子网特征分辨率与通道数不同，无法直接相加，所以采用了如下策略：同分辨率的层直接复制，不同分辨率的，需要高分辨率的使用双线性插值方法进行上采样，然后利用1×1 卷积将通道数统一，需要低分辨率的使用2-strided 卷积降采样。在最后进行分类之前，无法直接利用全连接网络将不同分辨率的分支连接起来，通过实验验证对比，HRNet 采用效果最佳的将小的特征图上采样到高分辨率，然后所有特征图相加的融合方式作为分类层的输入。

高分辨率网络以保证原有图像高分辨率特征的方式取代了传统利用低层特征复现高层信息的方式，经实验验证，一定程度上减少了空间精度的损失，并提高了分类准确率。

1.2 网络结构与模型构建

本文采用HRNet18 作为基础的骨干网络，其各阶段的关键参数如表1 所示。

表1 每个阶段关键参数变化情况Table 1 Changes of key parameters in each stage

由于卷烟烟盒图像的数据量较小，本文所有模型都将以迁移学习的方式进行，即利用已经在ImageNet 上进行预训练得到的基础网络参数来进行特征的提取，然后构建分类网络，最终获得基于HRNet18 的真伪卷烟包装鉴别模型。

2 注意力机制

高分辨率网络为了保证更加具有语义表达能力的特征图，逐步在主干网络中添加了不同尺度的子网，通过不断重复的信息交换丰富语义信息。但是，从表1 来看，HRNet 中存在很多的通道，并且伴随着子网的增加网络结构中的通道数成倍增加，直接进行简单的通道信息相加的方式忽略了其通道之间的关联性。故而本文决定从HRNet 网络结构基础上添加通道注意力机制。

2.1 通道注意力机制

通道注意力更关注于通道信息的相关性对于网络性能的影响[14]。它希望在不断的网络学习过程中，可以得到一组权重系数来加强有利于分类的重要特征，和抑制容易造成混淆的不重要特征，从而提升网络性能。

通道注意力机制被广泛应用于卷积神经网络中得益于压缩和激励[15]（Squeeze-and-Excitation, SE）模块的出现。其通过全局平均池化(Global Average Pooling, GAP)和激励操作来学习权重系数，确定了不同通道的重要程度，改善了网络性能。此后，一些研究者尝试将SE 模块与空间注意力相结合以加强通道注意力相关性的影响[16]，或者将融合方式复杂化来提高有效性[17]。虽然这些方法有利于模型分类准确率的提升，但是他们复杂化了网络结构带来了很大的计算负担。为了平衡表现性和复杂性，ECA模块在优化了SE 模块的基础上，提出了利用自适应卷积核约束通道之间的信息交互范围的方法，既降低了参数量也保持了相当的性能。

ECA[18]模块认为将所有通道信息互相融合是没有必要的，所以提出了根据网络结构中的通道数进行自适应的决定最佳融合范围的方法。这对于不同阶段通道数不断增加的HRNet 来说是有益处的，所以本文将ECA 模块引入高分辨率网络结构中。因为ECA 模块是在优化了SE 模块之后进行的改进，所以下文首先介绍SE 模块的工作机理。

2.1.1 压缩和激励模块

SE模块主要通过压缩(squeeze)、 激励(excitation)操作来完成通道重要程度的确定工作。

压缩操作的目的是为权重系数的计算提供充分的输入信息。一般情况下会利用GAP 方法将二维的特征图压缩成一个一维的实数，这个实数一定程度上代表了特征图空间上的全局信息。具体计算如公式（1）所示：

其中，z表示通道维度GAP 后的实数矩阵表示压缩函数，x为特征图的集合，h表示特征图的高度w 表示特征图的宽度。

激励操作的作用就是要学习代表各个通道重要程度的权重系数，其关键就是确定通道之间的对应关系。所以SE 中采用了全连接+ReLU 层+全连接层+Sigmoid 层的结构，其中在第一个和第二个全连接层还进行了升降维操作以降低模型参数量。具体计算如公式（2）所示：

2.1.2 高效通道注意力

ECA 模块在SE 基础上做了如下两部分的调整。

（1）省略降维操作

考虑到降维操作破坏了通道与其权重间的直接对应关系，ECA 不再进行SE 模块中的降维操作，在经过GAP操作之后，权重W与特征直接进行运算。

（2）局部跨通道信息融合

在SE 模块中，在确定通道权重时，会考虑到所有通道信息之间的相关性，所以会对所有通道进行信息融合操作。这样的操作会随着网络结构的加深而产生大量的内存消耗，从而影响模型的性能。所以ECA 模块提出了当前通道特征图只与其近邻的k个通道进行信息交互的跨通道交互方式。为了捕获到合适的局部交互信息，k的合理选择十分必要。结合在固定卷积分组数的情况下，高维（低维）通道与长（短）距离卷积之间存在正比关系的理念，ECA 模块提出在k与通道之间是存在映射关系的，所以提出了一种根据网络结构中的变化自适应改变k大小的计算公式，如公式（3）所示：

然后ECA 模块利用卷积核大小为k的一维卷积实现了局部通道之间的信息交互。具体的SE 与ECA 模块的设计如图2 所示。其中H，W代表输入特征分辨率，C代表通道数。

图2 SE 模块（左一）和ECA 模块（右一）设计图Fig.2 Design drawing of SE module (left one) and ECA module (right one)

2.2 将高效注意力模块嵌入高分辨率网络

HRNet 在逐步添加多尺度子网的过程中，每一个子网的通道数都会成倍增加，且在交换单元，各子网之间会直接将通道信息重复相加以获得更充分的语义信息。但是，在众多通道中并非所有信息都是有利于我们的鉴别任务的，不光存在冗余信息，甚至可能存在抑制鉴别信息。所以本文将考虑到了不同通道的重要性级别不同，且自适应调整信息交融范围的ECA 模块引入到了高分辨率网络中，旨在通过这种局部约束的方式提高模型的预测能力。

由上文所知，HRNet 网络由重复的多分辨率块构成，且在不同阶段多分辨率块的构成单元包括瓶颈和基础残差单元，所以我们将ECA 模块即图2（右一）分别插入到残差单元中，具体做法如图3 所示。

图3 将有效的通道注意力模块嵌入残差单元Fig.3 Embed ECA module into the residual unit

3 实验结果与分析

3.1 数据集介绍

由国家烟草质量监督检验中心发布的卷烟产品鉴别检验规程可知，目前以烟盒作为检验项目的主要鉴别方法为感官鉴别法。虽然不同规格假烟造假方式会有所不同，但是通常情况下，技术人员会利用感官结合经验，以卷烟包装的印刷工艺、包装特征等作为指标，与真烟包装进行对比实现鉴别。

以采集到的数据集中造假方式具有代表性的白沙烟为例，对主要的造假方式进行具体介绍（如图5 所示）：（1）字体套印方式不同。真烟中“精品香烟”字样，没有添加荧光图案。（2）图案明亮程度不同。“精品香烟”字样下方印花图案的明暗程度有所差异，假烟的更加明亮。（3）印刷位置不同。由图可知 ，真烟中的“白沙”拼音距离下框线的距离更远些。

图5 数据集示意图Fig.5 Diagram of datasets

由上可知，基于引入了高效通道注意力的高分辨率网络，构建真假卷烟包装鉴别模型，可以改善鉴别任务准确率的重要前提是保证输入图像本身是高分辨率的。所以本文采用了项目中利用扫描仪设备采集的包括利群、雲烟、南京、中华等25 个规格的真假烟盒的正反面图像，共计2 518 张，数据集的具体类别分布如图4 所示，且每张图像分辨率是1200dpi。在利用扫描仪对烟盒的正反面扫描时，以A4 纸为底并尽量将所采集的图像保持在画面的中间位置，来避免外界背景的影响。同时，因为依据卷烟包装进行真伪鉴别任务对于包装色彩明暗等敏感度高，所以在扫描过程中会始终保证光线充足且尽量避免反光。

图4 数据集类别分布图Fig.4 Category distribution of dataset

本文将数据集划分为训练集2 140 张（85%）、测试集378 张（15%）的结构，并且为了保证模型的泛化能力，划分数据集的时候采用了随机划分的方法。鉴于采集的数据量相对较小，为了丰富数据集的多样性，对输入数据做了包括多角度旋转、去均值和尺度归一化等在线数据增强操作。

3.2 实验环境和基本设置

本实验所采用的操作系统是基于Linux 内核的Ubuntu18.04，并利用Python3.6 和深度学习框架Pytorch 1.60 进行训练，为了提高训练速度，结合使用了型号为Quadro p5000 的图形处理器。模型训练中所涉及到的超参数设置情况如表2 所示。

表2 超参数设置Table 2 The values of hyperparameter

3.3 骨干网络对比

为验证高分辨率网络在真伪卷烟鉴别任务中的优越性，我们分别以VGG16、VGG19、ResNet50、ResNet101 和HRNet18 作为骨干网络，进行模型构建。最终的实验结果如表3 所示。可以看到与传统的经典分类网络进行对比，HRNet18 在参数量最低的情况下，获得了最高的准确率。间接地体现出其并行子网结构对于真假烟鉴别任务是有利的。

表3 不同骨干网络参数量和准确率对比Table 3 Comparison of parameters and accuracy of different backbone networks

3.4 不同注意力单元实验对比

为了进一步的增强高分辨率网络的特征表达能力，本文在高分辨率网络的残差单元嵌入了高效通道注意力中的ECA 模块。

目前，对硬件要求较低且应用较为广泛的注意力模块包括SE 与卷积块注意力单元 (Convolutional Block Attention Module，CBAM)，所以本文以它们作为参考以验证模型的性能。实验结果如表4 所示。由结果可知，引入了ECA 模块的模型准确率较基础网络有约2.7%的提升，并优于引入其他两种注意力单元的模型，而且添加了ECA 模块的模型参数量较HRNet18 仅增加了0.00038，几乎可以忽略不计。这在一定程度上反映出将高效通道注意力和高分辨率网络结合的方法在卷烟真假鉴别任务中是有效的，并且并不会带来参数量增加很大的负担。

表4 不同注意力单元嵌入HRNet18 参数量和准确率对比Table 4 Comparison of parameters and accuracy of different attention units embedded in HRNet18

3.5 结果可视化分析

为了更加直观的分析实验结果，本文将基于HRNet18 和HRNet18+ECA 方法在卷烟包装真假识别测试集上的混淆矩阵进行了可视化，如图6 和图7所示。

从整体来看，结合了高效通道注意力的高分辨率网络模型优势更大，能够准确鉴别更多类别的卷烟真伪。一定程度上验证了高效通道注意力的有效性。具体的来说，由图6 所示，基于HRNet18 构建的模型只能正确鉴别红双喜等少数类别的卷烟，对于大部分规格卷烟真假鉴别错误率还比较高，且误判成其他类型卷烟规格的种类较多。由图7 可知，基于HRNet+ECA 的模型在包括真假烟41 类的卷烟包装真伪鉴别中获得了很高的分辨率，其他9 种卷烟的鉴别准确率相对较低，且主要集中在将真烟判断成了假烟的问题上。

图6 HRNet18 混淆矩阵Fig.6 Confusion matrix of HRNet18

图7 HRNet18 嵌入ECA 混淆矩阵Fig.7 Confusion matrix of HRNet18 combined ECA

4 结论与展望

本文在真伪卷烟包装鉴别问题中引入了深度学习技术，利用高分辨率网络和高效通道注意力构建了真伪卷烟包装鉴别模型，尽可能地减少了图像特征空间精度的损失，而且在高分辨率网络的残差单元嵌入了高效通道注意力模块，不仅加强了特征图的表征能力，同时也使模型分类准确率最高达到97.21%。实验结果表明，将基于高分辨率网络和注意机制的方法应用于卷烟包装真伪鉴别任务中是可行且有效的，只是模型准确率还有改善的空间。况且在计算通道注意力权重过程中进行了全局平均池化操作，忽略了特征的空间位置信息。接下来，可以从此角度出发，结合更大规模的数据集与更深层次的网络模型进行深入的研究，从而进一步提高模型的性能。

利益冲突声明

所有作者声明不存在利益冲突关系。