基于深度学习的离线手写签名真伪识别方法

胥玉龙　张永梅　滑瑞敏

摘要：针对手写签名样本数据量少、需要较高准确率的特点，设计了一种基于弹性网格的Gabor特征提取结合卷积神经网络的离线手写签名内容识别方法，利用仿射变换扩展数据集，基于弹性网格提取Gabor特征，训练带有BN层和Dropout层的卷积神经网络进行签名内容分类。提出了一种LBP特征提取算法结合深度置信网络的离线手写签名真伪识别方法，分块提取LBP直方图特征，进行特征合并，训练由三层受限玻尔兹曼机堆叠而成的深度置信网络进行签名真伪识别。实验结果表明，该方法可以有效提高离线手写签名分类和真伪识别的准确率，并减少了过拟合现象的发生。

关键词：弹性网格;Gabor特征;卷积神经网络;深度置信网络;离线手写签名

中图分类号：TP391        文献标识码：A

文章编号：1009-3044（2019）15-0228-05

Abstract： Considering less sample data quantity and higher accuracy in handwritten signature， design an off-line handwritten signature content identification method combined with Gabor feature extraction based on spring mesh and Convolutional Neural Networks （CNN）. The data sets are extended by affine transformation， Gabor features are extracted based on spring mesh， and CNN with the BN layer and the Dropout layer is trained for signature content classification. An LBP feature extraction algorithm in combination with Deep Belief Networks （DBN） offline identification for signature authenticity method is proposed. LBP histogram features are extracted on the block and merged， and the DBN formed by the three-layer Restricted Boltzmann Machines is trained for signature authenticity. The experiment results show the methods can effectively improve the accuracy of off-line handwritten signature classification and authenticity， and reduce the occurrence of overfitting phenomenon.

Key words： spring mesh; Gabor features; Convolutional Neural Networks; Deep Belief Networks; off-line handwritten signature

1 引言

身份鉴别手段，文字书写具有通用性、独特性、易获取等优点，因而在用户中易于推广普及。20世纪60年代起，研究者开始了签名认证的研究。Azmi[1]提出一种签名验证系统，利用FVeeman链码作为签名特征表示，共提取了47维，用ANN分类器进行识别。Das[2]使用Gabor滤波技术提取签名图像的拓扑特征和统计特征，并通过粗糙集理论的属性约简形成签名识别系统。Hatkar[3]提取图像的几何特征，利用神经网络进行分类识别。

本文通过提取签名图像结合弹性网格的Gabor特征，输入卷积神经网络进行训练，实现对签名内容的识别。在此基础上，本文通过对签名图像进行局部二值模式LBP变换后提取其灰度直方图特征，输入深度置信网络进行训练，实现对签名真伪的鉴定。

2 离线手写签名识别方法

由于神经网络是一种对数据量要求较高的分类方法，数据量不足会导致过拟合现象的发生[4，5，6]，而手写签名样本往往具有数据量少、需要实时分类的特点[7，8]。因此为了减少过拟合现象的发生，本文引入仿射变换来扩充训练集，并在设计网络时引入Dropout方法进一步优化网络性能。本文在进行签名内容识别时采用弹性网格划分技术来避免不同样本数据的笔画位置不稳定、字形变形等干扰因素，采用了与人类视觉系统中简单细胞的视觉刺激响应非常相似的Gabor滤波器来提取纹理特征;在进行签名真伪识别时，采用了在灰度范围内非常有效的纹理描述算子LBP（Local binary pattern， LBP）和灰度共生矩陣提取纹理特征。图1给出了本文总体技术路线。

2.1离线手写签名特征提取方法

在传统手写汉字签名识别研究中，特征提取特别重要，所提取特征是否稳定且能很好地表达所属类别，将直接关系到训练和识别的准确率。网格特征是字符识别中常用的特征之一，可以通过统计汉字某一区域内特征的总和，来削弱局部干扰。网格的划分可分为均匀网格和弹性网格。其中，均匀网格是根据网格的大小，将汉字签名图像均匀地划分为若干个固定大小的子网格;而弹性网格则根据汉字签名图像的像素点分布情况动态确定网格线的位置，以适应手写汉字签名的笔画书写变形。弹性网格对字符位置偏移、扭曲更加不敏感，是目前采用最多的网格结构。

上述步骤中的批量归一化处理，实现了在神经网络层的中间进行预处理的操作，即在上一层的输入归一化处理后再进入网络的下一层，这样可有效防止“梯度弥散”，加速网络训练。在卷积神经网络中进行批量归一化时，一般对未进行ReLu激活的特征图进行批量归一化，输出后再作为激励层的输入，可达到调整激励函数偏导的作用。并且在BN层中，在每一个神经元维度上，都有自己的参数，它们与该网络的权重一样可以通过训练进行优化。

本文网络的激活函数采用了Relu函数。传统卷积神经网络中激活函数一般选择 Sigmoid 函数或 Tanh 函数，这两个函数曾是卷积神经网络的核心所在。后来研究人员引入了线性纠正函数（Relu）作为隐藏层的激活函数。对于深层网络，由于Sigmoid或者Tanh函数在接近饱和区时变化缓慢，导数趋于0，所以在反向传播时，很容易会出现梯度弥散现象，从而无法完成深度网络的训练。而Relu在大于0的部分，导数为其本身，能很好地适应深层网络的训练，并且有助于加速网络的收敛。

Relu函数是从仿生学的角度，模拟大脑神经元接收信号更精确的激活模型。相比于Sigmoid函数，Relu函数主要具有以下三个特点：单侧抑制、相对宽阔的兴奋边界、稀疏激活性。

本文还通过在网络中引入Drouout技术来减少过拟合现象。Dropout技术是指在模型训练过程中随机地使网络的某些隐层节点的权重失效，此时这些节点的权重仍然存在，但是可以看作是不属于当前网络，不参与网络训练。这样，每一次训练样本进入网络，网络结构其实都可以看作不一样，但网络结构又是彼此共享权值。而且，通过Dropout这种方法，可以避免一种特征必须依赖另一种特征存在而存在的现象。测试时，并不抑制隐藏层神经元，而是对所有的隐藏层神经元的输出值乘上一个乘性因子，这也进一步体现了模型平均的思想。

本文综合使用上述技术设计的卷积神经网络，能够在一定程度上有效地降低过拟合所带来的影响，提高识别的准确率，达到一个较为理想的识别水平。

深度置信网络采用了监督学习和无监督学习相结合的方法对数据进行训练，即先用部分无标签数据训练模型，使模型中隐层参数能得到较好的初始值，然后再用部分有标签的数据对模型进行微调，可以使模型达到最优解，而不会像其他深度学习模型一样容易陷入局部最优解。本文在鉴别签名真伪时使用了深度置信网络作为分类器。

由于本文在进行签名真伪识别时所提取到的LBP特征是一系列直方图特征，即特征中的每个元素都是一维像素点数，所以在选取分类器时没有采用能够保持图像结构信息的卷积神经网络，而相比其他深度学习神经网络，深度置信网络具有结构简单，方便易行，符合人脑的认知推理过程等优点，而且本文所提取到的LBP特征维数很高，可以充分利用深度置信网络良好的降维能力，故在签名真伪鉴别阶段使用了深度置信网络作为分类器。

本文设计的DBN包含三层RBM，输入层为24480维，三层隐层均为800维，将鉴定签名真伪所需要的特征向量（[12×255×8=24480]维）作为训练数据输入上述深度置信网络后，经过充分训练，对签名真伪判断的准确率较高。

训练数据经神经网络分类训练后，可以先对测试数据中的签名图像进行内容识别，识别结果判断出该签名所属签名人，再从训练集中取出该签名人的全部真伪签名进行另一个神经网络训练，对该签名的真伪进行预测。训练界面如图6所示，在训练界面可以选择训练数据集，选好后点击“开始训练”按键将自动进行训练，并将训练过程显示在“开始训练”按键下的文本框内。完成训练后点击“进行预测”按键进入图7所示的签名识别界面，在签名识别界面可以选择测试签名图像进行识别，点击“识别结果”按键显示签名内容的识别结果，点击“鉴定真伪”显示签名真伪的识别结果。实验结果表明，本文的签名内容识别，以及签名真伪识别平均准确率分别为89.6%、82.76%，准确率较高。

3 结论

手写签名识别在信用卡身份检查、机场登机身份验证等安全检查方面应用广泛，并以其安全性高、实现简单且不会丢失遗忘等特点，成为身份认证中的常用技术。本文主要研究了离线手写签名识别技术，深入分析了离线手写签名应用中常用到的特征提取和分类器设计技术，实现了识别率较高的签名分类鉴别和真伪鉴别。利用从签名图像中提取的基于弹性网格的Gabor特征输入卷积神经网络进行训练分类，对签名内容进行识别，再利用对签名图像分块提取LBP直方图特征，将特征整合，对识别的该签名所属类进行训练生成新的DBN真伪鉴别网络，对该签名的真伪进行鉴别。实验结果表明，本文的签名内容识别，以及签名真伪识别方法准确率较高。

参考文献：

[1] Azmi A N， Nasien D. Freeman chain code （FCC） representation in signature fraud detection based on nearest neighbour and artificial neural network （ANN） classifiers[J]. International Journal of Image Processing （IJIP）， 2014，8（6）：434-434.

[2]  Das S， Roy A. Signature Verification Using Rough Set Theory Based Feature Selection[M]. Springer India， 2016：153-161.

[3]  Hatkar P V， Salokhe B T， Malgave A A. Offline handwritten signature verification using neural network[J]. Methodology， 2015，2（1）：1-5.

[4] 周紅丽，邹建成.一种基于直方图的图像签名方法[J]. 北方工业大学学报，2008，20（1）：9-12.

[5] 林俊杰，王崇文，段程浩，等. 基于智能移动终端的动态签名识别[J].北京理工大学学报，2014，34（7）：701-704.

[6] 王洪革，宋晓雪，潘石.基于信息熵的静态手写汉字签名鉴定研究[J].计算机应用与软件，2013，30（1）：99-102.

[7] 王星， 郑湙彬，朱枫怡，等.基于非参数回归和卷积神经网络的在线手写签名身份认证模型研究[J].数理统计与管理，2018，37（4）：610-622.

[8] 张瀛.基于统计方法的神经网络预测模型研究[J].数理统计与管理，2016，35（1）：89-97.

【通联编辑：王力】