基于深度学习的点阵混合图像防伪研究

2020-10-27杨青，韩斌

沈阳理工大学学报 2020年3期

杨青，韩斌

(沈阳理工大学自动化与电气工程学院，沈阳 110159)

目前防伪技术大体可以分为激光防伪、油墨防伪、雕刻凹版印刷防伪[1]，但是这些技术或多或少都存在不足，比如激光防伪和油墨防伪虽然产品成本合适但易被仿造，容易失去防伪能力。雕刻凹版印刷防伪虽然难以被伪造，但在制作上需要巨大的成本，从而难以普及。而点阵防伪码[2]具有防扫描、可隐蔽、防伪性好的特点，且在制作成本上合理。点阵防伪码属于二维码的一种，是一种基于矩阵的编码形式。在二维空间规定范围内通过点的横纵排列保存信息，通过规定格式组成若干个点阵单元，按照相应的编码规则组成点阵码，每个点阵单元之间相互独立，根据输入编码数据随机出现。点阵防伪码的防伪原理是通过将原始点阵防伪码打印到纸面的第一次信息衰减，拍照后的第二次衰减，再次打印的第三次衰减，从而让信息流失而难已被复原。

原始防伪码中的防伪数据是通过周期性的固定数字进行防伪。本文针对其不足将加密方式改为具有良好防伪性能的RSA[3]加密。同时改变了点阵防伪码的最小防伪单元，使得单位面积可容纳更多信息。在此基础上，本文将点阵防伪码和下采样后无法识别的图像混合完成双重防伪。在识别时首先对点阵防伪码信息进行读取，如果解码成功，对无法识别的低分辨率图像进行超分辨率重建，再对重建后的图像进行识别。但传统的基于插值的超分辨率重建方法,例如双三次插值上采样放大后会丢失许多细节，难以对图像真伪进行辨别。近年来，深度学习在图像超分辨率重建上取得了显著的效果，最初通过三层神经网络的SRCNN[4]实现了对图像的重建,后来又提出了FSRCN[5]、ESPCN[6]V、DSR[7]等更深层的网络。本文使用深度学习的方法对图像进行超分辨率重建，采用残差神经网络对图像进行重建以提高防伪图像识别准确率，从而完成对重建后图像的识别。

1 本文方法

本文采用点阵防伪码混合图像进行防伪。混合码识别结构图如图1所示，首先完成点阵防伪码混合图像的生成。解码时将点阵防伪码和图像经过形态学操作，使得点阵防伪码和图像分离开来；然后对点阵防伪码进行识别，若解码错误，判断商品为假，若成功，则保存解码信息，对图像进行识别；此时的图像为下采样无法识别的图像，本文通过残差神经网络对图像进行超分辨率重建，对重建后的图像进行识别，读取图像信息。完成后将两次信息进行组合，输出结果。消费者只需将输出结果与商品上对应信息对比即可判断商品真伪。

1.1 点阵防伪码混合图像的生成

混合图像的生成主要由点阵防伪码的生成和图像与点阵防伪码混合两部分组成。

点阵防伪码的生成如图2a所示，主要包括参数配置、数据编码和码图生成。

图2 点阵防伪码的生成与解码流程图

参数配置主要包含生成点阵防伪码中加密参数的选择、打印时dpi的选择。数据编码过程为将所给信息数据首先经过RSA算法加密产生密文；对明文使用Reed-Solomon(里德-所罗门)算法，产生纠错码；将密文和纠错码结合构成数据模块。码图生成为将所生成的数据转换成对应点阵防伪图像即可。

其中点阵防伪码结构图如图3所示,码图由定位模块和数据模块组成。

图3 点阵混合图像防伪码图像结构

定位模块可分为3个主定位模块和一个辅助定位模块，如图4所示。

图4 点阵防伪码定位模块

图4中黑色区域边长为1个像素点，白色区域边长为3个相素点。图4a为主定位模块，位于点阵防伪码图形的左上角，右上角,和左下角。图4b为辅助定位模块，位于点阵防伪码图形的右下角。

数据模块图形由最小数据单元构成，每一个最小数据单元可以表示8位二进制数字。最小数据单元图像如图5所示。

图5 最小数据单元图形

图5a所示为最小数据单元图形模板，其中“回”形为数据点，用1个像素点表示；白色区域为分割数据点，保证每一个“回”形区域的间隔为5个像素点。“回”形区域从左上角顺时针旋转依次代表8位二进制数从最低位到最高位。图5b为数据信息00000011。图5c为数据信息11111111。每个最小单位模块可有28种表示方式。将所得到数据模块和码图中最小数据单元的对应关系进行转换，即可完成点阵防伪码的生成。

与点阵防伪码组合的图像可以是防伪花纹、水印、商标logo、条形码等。本文以条形码为例，将条形码图像放入点阵防伪码中心形成混合码，如图6所示。

图6 点阵混合图像防伪码

1.2 点阵防伪码混合图像的解码

混合码的解码首先是将点阵防伪码和条形码分离；然后读取点阵防伪码信息，再对分离出的条形码图像使用残差神经网络进行超分辨率重建，对重建后的图形读取信息；最后将两次信息结合与商品对应信息对比，判别真伪。

点阵防伪码的解码规则和编码规则相互对应，如图2b所示，具体步骤如下：(1)图像预处理：通过相机等设备采集的图片一般为彩色图片，先对图像进行二值化处理得到对应黑白图片；(2)寻找定位模块：对处理后的图像通过形态学操作处理，使得图像中只有对应4个定位模块存在，通过轮廓提取，获取对应定位模块的坐标；(3)透视变换：得到定位模块的4个坐标，与标准图像中对应位置相结合，得到其转换矩阵，进而得到标准图像。通过图像中黑白点的对应关系，将点阵防伪码转换为对应的二进制数据，判断防伪码是否正确，取出对应的数据内容长度，得到内容数据信息。

1.3 图像的超分辨率重建

本文在防伪商标超分辨率重建上提出的网络有以下特点：(1)采用亚像素重建，使得输入为低分辨率图像，减少计算复杂度；(2)使用跳跃级联块，将每一层提取的特征进行合并，减少特征损失，加速收敛；(3)将低分辨率图像通过双三次插值，直接与网络输出图像结合，使得网络减少对低频信息的学习，加速网络训练。图7为网络结构图。

图7 网络结构图

由图7可知，本方法主要包含三段网络，分别为特征提取层、重建层和上采样层。其中特征提取层由9个的卷积神经网络串联构成进行底层特征提取，且每一层的深度依次递减，以保证更为重要的局部特征不变的情况下来减少最后特征的层数。每一层采用Prelu激活函数，防止随着网络层数增加，部分权重无法得到修改。Prelu激活函数公式如式(1)所示。

σ(y)=max(0,y)+αmin(0,y)

(1)

式中：y为经过激活函数后的输出；α为负半轴的学习参数。

在特征提取时，随着网络层数增加，特征在反向传播时存在梯度消失，使得训练结果与预期存在较大差异，无法继续训练。本文将每一层的输出结果都采用跳越级联块，将每一层所提取的特征与特征提取单元的最后一层相链接，使得每一层所提取的特征前向传播的同时，构成残差单元，解决了特征在反向传播时的梯度消失。每一层卷积层的输出见公式(2)所示。

Fi=PRelu(ωi*Fi-1+bi)

(2)

式中：ωi为每层的卷积核对应的权重参数；bi为偏置量；Fi为本层的特征；Fi-1为上一层的特征。

最后一层通过链接的方式将前边每一层所提取的特征维度相连接，尽可能的实现对原始特征的保留，防止在传播过程中的特征消失。同时，因为直接将前边所有层的特征直接融合在最后一层，也保证了中间层网络的稀疏性，减少了网络参数。特征提取层的网络输出结果见式(3)所示。

F0=concatenate[F1,F2,…,Fi-1]

(3)

式中：F1、F2、…、Fi-1为每一个卷积层的输出结果；F0为特征提取层输出结果。

重建层为前一层将低分辨率图像特征提取之后，因为最后采用的是连接的方式，虽然尽可能的保留了低分辨率特征，但是因为连接后的特征层数是前边所有卷积层维度的总和，所以重建层的输入维度很高，本文采用的卷积神经网络对其进行特征映射融合。为更好的将低分辨率特征转换成高分辨率特征，本文在使用卷积层进行降维之后重新添加了并行的3*3、5*5、7*7卷积，进行多尺度特征融合。通过多尺度融合，使其在反向传播时通过与高分辨率图像对比，计算损失函数，自动改变每个尺度的权重，从而选择最优的组合，更充分利用所采集特征构造超分辨率图像。

上采样层通过重建层之后得到了超分辨率图像的特征，通过亚像素卷积层的方式产生超分辨率图像，其中放大的倍数计为h，首先通过1×1的卷积层将图像变成h×h尺寸大小与原始低分率图像一样的图像，再将每一个图像的对应像素组合到一张h×h的大小的图像，得到对应额高分辨率图像。因为图像信息之间存在大量的冗余行，而在超分辨率重建时输入的低分辨率图像和高分辨率图像很大程度上都是相似的，表明低分辨率图像携带的低频信息与高分辨率图像的低频信息十分相似，所以直接将低分辨率图像采用双三次插值的方法变成高分辨率图像，亚像素卷积产生的高分辨率图像进行残差，省去了大量低频信息，进而减少网络参数学习，加快训练速度。

本文采用最小均方误差为损失函数。

(4)

式中:F(Xi;θ)为最后一层卷积输出的重建后的高分辨率图像；Yi为原始高分辨率样本图像。评价图像的标准为峰值信噪比(PSNR)，PSNR值越高代表图片质量越高，其公式见式(5)所示。

(5)

(6)

式中:M为样本个数；Y为超分辨率重建后的图片；X为原始图片。

2 实验结果与讨论

2.1 实验环境

点阵防伪码的设计使用python语言进行编写,点阵防伪码图像处理时使用Opencv库进行画图和相应的变换，图像的超分辨率重建在ubuntu环境下，训练时采用tensorflow框架，在GPU下通过cuda9和cudnn8加速，显卡为NVDI 1080TI。

2.2 超分辨率重建网络与训练集

本文网络不同层的维度如表1所示。

表1 网络结构参数

训练时首先应用标准数据集Yang91数据集和BSD200数据集，用于与其他方法进行比较；然后针对条形码图像将Yang91数据集、BSD200数据集和200张条形码图片融合作为训练集。对每张图像以64×64像素滑动窗口进行裁剪，作为标签图片。将裁剪后的图片下采样为32×32像素的图像，每次以128张32×32像素的图像为一个最小批次进行训练，初始权重为he initialization方法。网络采用Adam优化算法加速收敛。初始学习率设定为0.002，当迭代次数中损失值不发生变换时，使得当学习率小于0.0002时，停止训练。

2.3 实验结果

改进后的点阵防伪码比原有点阵防伪码具有更强的防伪能力。为验证改进后的点阵防伪码防伪性能,图8表示在300dpi下,数据为‘1234567892345678912345678’(最多可存放202位10进制数字)产生的大小为40mm40mm的点阵防伪码。通过对打印后的点阵防伪码图像进行拍照后再次打印，判别第二次打印后图像的可识别性，从而判断点阵防伪码的防伪能力。

图8a为第一次打印后的图片，是第一次信息衰减；图8b为经过拍照后的图片，是第二次信息衰减；图8c为对图8b拍照后经过处理的图片，是第三次衰减，可以读取点阵信息；图8d为对图8c进行打印，是第四次衰减，此时再对图8d进行识别，已经无法识别。表2为改进后的点阵防伪码在不同分辨率下的防伪性能。

图8 打印出的点阵防伪码图形

与SRCNN、DRCN、VDSR图像超分辨率重建算法在测试集Set5、Set14和BSD100上通过对图像的PSNR进行比较，对图像进行2倍超分辨率重建后,PSNR值的结果如表3所示。

表2 防伪性能对比

表3 不同方法对比

图9是对图5中低分辨率条形码进行超分辨率重建后的结果。图9a为低分率条形码图案，图9b为使用双三次插值放大2倍后的图像，图9c为使用本文方法放大2倍后的图像。由图9可以看出，本文使用残差神经网络放大两倍后的图像清晰度远远高于传统双线性插值放大后的图像。使用手机进行识别时，图9a、图9b均无法正确识别条形码信息，图9c可以正确识别条形码信息。