基于ASIFT的离线签名认证方法

唐有宝，卜巍，张恩泽，邬向前

(1.哈尔滨工业大学 计算机科学与技术学院，哈尔滨150001;2.哈尔滨工业大学 媒体技术与艺术系，哈尔滨150001;3.哈尔滨工业大学 航天学院，哈尔滨150001)

基于签名的身份认证技术(简称签名认证)在防伪及刑侦等方面有重要的意义，一直以来是身份识别领域中的研究热点.根据采集数据方式的不同，签名认证可划分为离线和在线签名认证.离线签名认证是用通过扫描或拍照等其他方式得到的签名图像来完成身份认证，其主要利用的是笔画间的空间信息.而在线签名认证则通过特殊的电子采集设备可获得签名的空间信息和时间信息.相比在线签名认证，离线签名认证精度更低、处理更困难.

离线签名可分为真实签名、模仿签名和伪装签名.真实签名是指与参考签名为同一书写人且正常书写的签名.模仿签名是指他人模仿与参考签名尽可能相似的签名.伪装签名是指与参考签名为同一书写人且隐藏自身书写习惯(或身份)的签名.以往的离线签名认证是基于模仿签名，对伪装签名的研究甚少.模仿签名的认证需要找出其与真实签名间的不同之处，而伪装签名的认证则需找出其与真实签名间的相似之处，因此要面临的一个难题是如何正确认证模仿签名和伪装签名.直到2010年，手写识别领域国际会议(ICFHR)首次举办了有伪装签名的离线签名认证竞赛［1］，并发布了首个含有伪装签名的数据库，参赛方法对伪装签名认证的低效率也证明了在正确认证模仿签名的同时如何正确认证伪装签名是一件困难的事.在随后的研究中，越来越多的方法相继被提出来解决这一难题.

离线签名认证是基于特定内容的，因此签名认证过程可看作计算机视觉领域中的目标识别过程.目前很多目标识别方法可用于签名认证.其中基于局部不变特征(例如尺度不变特征变换(SIFT)［2］、快速视网膜关键点(FREAK)［3］等)匹配(例如随机采样一致性(RANSAC)［4］)的方法最为常见，且基于局部不变特征的方法已被成功地应用到文本无关的离线笔迹识别中［5］.由于环境或心情等外界因素的影响，同一个人的签名会发生变化，而这些变化大部分符合仿射变换(包括大小、方向、扭曲等)，即使是伪装签名也是如此.而目前基于局部不变特征的签名认证方法不具有仿射不变性.为了解决仿射变换及伪装签名对签名认证所带来的问题，本文提出了一种基于具有仿射不变性的尺度不变特征变换(ASIFT［6］)的离线签名认证方法.

由于ASIFT具有仿射不变性，因此它相比其他局部不变特征(如SIFT，FREAK等)更能捕捉伪装签名和真实签名之间的相似性.本文方法可以直接对灰度图像进行ASIFT描述符提取和匹配，以完成签名认证.相比目前已有的方法，本文方法省略了很多预处理操作，例如二值化［7］、签名的定位［8］、签名的细化［9］以及签名的分割［10］等，而这些操作本身是信息损失或耗时的过程.

1 签名认证研究现状

在过去的十几年里，离线签名认证一直是很多研究者关注的热点，并针对不同的问题提出了相关算法.其中，Impedovo等人［11］综述了当前已有的签名认证方法.并且近年来，国际上举办了多次签名认证竞赛［1，12-16］，由此也说明了签名认证的重要性.根据所提取特征的不同，本文将签名认证方法分为3大类，分别为基于全局特征、统计特征以及局部特征的签名认证方法.

基于全局特征的方法将整个签名图像作为特征提取单元，提取能表征签名整体特征的参数作为特征.Porwik等人［17］提取签名的重心作为特征.Lv 等人［18］以及 Shridhar等人［19］计算签名与水平方向的整体倾斜特征;Chen等人［7］和Zuo等人［20］计算具有尺度、平移和旋转不变性的Zernike矩特征;以及把通过对签名图像进行数学变换得到的系数作为特征，比如霍夫变换［17］，小波变换［21］，Gabor变换［22］等.这类特征由于对签名的细节区分能力弱，以及对签名的形变敏感，因此适合一些简单的模仿签名认证.

基于统计特征的方法将签名的像素值、特殊点、笔画片段的方向及位置分布等统计信息作为特征.其中提取某些特征之前，需要对签名进行分割，然后对每个分割后的区域提取统计特征，例如灰度值的分布［23］、笔画宽度分布［18］、笔段的平滑度［24-25］、几何特征的高斯混合模型分布［26］等.其中某些方法则通过计算投影直方图作为特征［27］.该类特征对签名的整体形变影响相对较小，因此是使用相对较多的一类特征.

基于局部特征的方法利用签名的局部结构特征以及局部结构之间的关系作为签名认证的依据.Malik等人［28］利用快速角点检测(FAST)和加速稳健特征(SURF)关键点检测方法找到签名局部结构所在的位置，再使用FREAK特征描述符表征该局部结构的特征.此类特征对签名形变的容忍度最好，具有尺度、平移和旋转不变性.本文方法属于该类且还具有仿射不变性.

2 基于ASIFT的离线签名认证

基于ASIFT的离线签名认证方法由两部分组成，即参考签名的ASIFT特征描述符的提取、查询签名的ASIFT特征描述符提取以及其与参考签名的ASIFT描述符的匹配和认证，如图1中的两个点线框所示.其中主要有以下3个过程:预处理、ASIFT描述符提取、签名认证，如图1中的3个虚线框所示.下面分别详细描述每个过程.

图1 基于ASIFT的离线签名认证方法框图Fig.1 Framework of offline signature verification based on ASIFT

2.1 预 处 理

数据采集时，可能使用彩色签名笔或扫描得到的图像大小较大，因此为了避免笔颜色对签名认证的影响，本文首先对签名图像进行灰度化处理.为了提高认证的效率，再对签名图像进行放缩处理，将图像大小大于800×600的签名图像归一化到800×600.经过上述处理的签名图像将被用于后续的签名认证过程.

由上述可知，本文对签名图像进行了图像灰度化和大小归一化两个简单的预处理操作.而目前很多已有的签名认证方法需要额外的预处理操作，比如二值化、签名定位、签名分割等，而这些操作损失信息且耗时，在一定程度上影响签名认证的性能.

2.2 ASIFT描述符提取

ASIFT是在SIFT的基础上进一步实现了仿射不变性.SIFT的全称是尺度不变的特征变换，近年被广泛且成功地应用到了很多领域.SIFT算法有以下4个主要的计算步骤:

1)尺度空间的构造.通过用签名图像与不同尺度的高斯核进行卷积来构造高斯尺度空间.

2)关键点定位.通过把高斯尺度空间中相邻的平面做差得到高斯差分图像，然后通过在高斯差分图像上寻找极值点的方法来定位具有尺度不变性的关键点所在的位置，并去掉不稳定的关键点，再进一步精确定位关键点的位置.目的是为了使得SIFT具有尺度不变性.

3)关键点主方向指派.计算关键点邻域内的梯度方向直方图，将直方图的峰值作为该关键点的主方向.目的是使得SIFT具有旋转不变性.

4)关键点描述符提取.根据主方向，计算关键点邻域内的128维高斯加权梯度直方图作为最终的关键点描述符.

SIFT模拟了4个参数，包括尺度、旋转和平移.计算完描述符之后，进行SIFT匹配过程.在文献［2］中，欧式距离被用来计算两个描述符之间的相似度.

ASIFT在SIFT的基础上增加了仿射不变性.为了达到这一目的，ASIFT通过模拟相机光轴方向的变化来模拟签名图像在不同视角下的扭曲变化情况，然后再利用原始SIFT算法对其进行描述符提取和匹配.相比SIFT，ASIFT模仿了6个参数，分别为相机水平角度、垂直角度、尺度、旋转和平移.文献［6］证明了ASIFT具有全仿射不变性.

ASIFT算法由以下几个过程组成:

1)对给定签名图片进行如下变换来模拟所有可能的线性扭曲情况，即通过改变相机光轴方向.这些扭曲变换依赖两个参数，分别为相机水平角度φ和垂直角度θ.图像的φ旋转由倾斜度完成.

2)对签名图像进行旋转变换和倾斜变换可以模拟有限的一些不同水平角度和垂直角度拍摄的签名图像.对这些参数进行采样能保证模拟签名图像在不同的φ和θ引起的视角变换下保持近似.

3)所有模拟倾斜后的签名图像将用SIFT算法进行匹配比较.

ASIFT算法过程如图2所示［6］，其中正方形图像A和B表示待匹配的图像，ASIFT通过变化相机光轴方向模拟了它们所有的扭曲情况，这些模拟的图像用平行四边形表示，然后再用SIFT算法对其进行逐一匹配.

图2 ASIFT 算法过程［6］Fig.2 Overview of the ASIFT algorithm［6］

倾斜度t和水平角度φ需要有足够高的采样精度才能使得ASIFT算法对任何仿射变换具有不变性.文献［6］指出通过在自然图像中进行多次实验来确定采样步长Δt和Δφ的大小，并给出倾斜度最佳采样步长为，水平角度最佳采样步长为 Δφ =72°/t.

通过对图像进行多视角变换后再匹配，可使得图像发生仿射变换时，匹配的点数更多.相比SIFT算法，ASIFT算法提高了计算机视觉中目标检测、图像配准等系统的性能［6］.本文则利用其来提高离线签名认证的性能.给定一组签名图像，分别使用ASIFT算法和SIFT算法后的点匹配情况，ASIFT匹配的效果更好，如图3所示.

图3 伪装签名图像与真实签名图像的点匹配示意图Fig.3 Overview of matched points between disguised signature and reference signature

下文将使用上述的ASIFT算法对签名图像进行特征提取及匹配认证过程.

2.3 签名认证

1)对IQ进行ASIFT特征描述符提取，记为DQ={dkQ，k=1，2，…，m}.其中 m 为描述符个数.

3)经过上述匹配之后，由于没有考虑点与点之间的空间位置关系，会存在误匹配点.为了减少错误匹配，使用RANSAC算法［4］进行误点排除得到最终的匹配点对.把IQ与IiR签名图像匹配的点的个数记为NiOR，并计算匹配的点之间的平均距离，记为.

5)比较NF与给定的阈值T1的大小以及DF与给定的阈值T2的大小，最后根据如下原则判断认证是否成功，1表示成功，0表示失败.

其中T1和T2通过在训练库上进行联合穷举得到，将使得等误率最小时的值为最终的阈值.

3 实验结果与分析

3.1 数 据 库

4NSigComp2010数据库［1］被用来对本文提出的方法进行评价.4NSigComp2010数据库是首个含有伪装签名的公开数据库，提供了一个训练集和一个测试集.训练集有209个签名图像，其中包含9个由同一个书写人书写的参考图像，200个查询图像.查询图像包括76个真实签名图像(书写人与参考图像一致)、104个模仿签名图像(由27个书写人尽量模仿参考图像的签名)和20个伪装签名图像.测试集有125个签名图像，其中包括25个参考图像和100个查询图像.查询图像由3个真实签名图像、90个模仿签名图像和7个伪装签名图像组成.由于有高模仿水平签名样本和伪装签名样本的存在，使得整个签名认证更加困难，如图4所示，其中第1行为参考签名样本，第1列的后2行为伪装签名样本，第2列的后2行为模仿签名样本.

图4 4NSigComp2010数据库中的样本示意Fig.4 Examples of signatures in 4NSigComp2010 dataset

本文用训练集训练文中所用到的参数.在测试集中，有25个参考样本图像，显而易见，当参考样本个数越多时认证精度不会低于参考样本个数少时，但匹配时间更长.为了提高匹配效率，本文随机选取3个图像作为测试本文提出方法性能的参考图像，而不是利用所有的25个参考样本.如上所述，待评价的数据有3个真实样本、7个伪装样本和90个模仿样本.

3.2 实验结果

在签名认证中，错误接收率(FAR)是指模仿样本被认为是真实样本的个数所占模仿样本总数的比率.错误拒绝率(FRR)是指真实样本与伪装样本被认为是模仿样本的个数所占整个真实样本和伪装样本总数的比率.而等误率(EER)是错误接收率与错误拒绝率相等时的错误率.与文献［1，28］一致，本文采用等误率的指标来评价所提出方法的性能.

表1给出了本文方法在4NSigComp2010数据库上的测试结果，并与4NSigComp2010签名认证竞赛的参赛方法以及当前在该库上测试的几个方法进行了比较.可以看出，本文方法的等误率为15%(比 Bunke-GMM［26］的 20%要低 5%)，在表1所有的方法中最低.表1也给出了本文方法在没有伪装签名的情况下的实验结果，即FAR，FRR和EER都为0.

FAR和FRR是两个你增我减的指标，即对同一个方法而言，当其中一个指标增大时，另一个指标必然会减小或保持不变.当其中一个固定时，另一个值越少，说明其所对应方法的性能越好.对一个好的方法而言，这两个指标都越小越好.表1也给出了3组本文方法所对应的FAR和FRR，分别为:FAR=10%和FRR=20%;FAR=0和FRR=70%;FAR=56%和FRR=10%.与表1中其他方法的FAR和FRR相比，当FRR固定时，本文方法的FAR比其他一些方法低，或FAR和FRR都比其他一些方法低.

表1 在4NSigComp2010库上的实验结果比较Table1 Experimental result of different methods on 4NSigComp2010 dataset %

3.3 分 析

尽管本文方法的性能相比表1中的其他方法好，但FAR=10%且FRR=20%还不够理想，原因是伪装签名影响了签名认证的性能.由表1可知，当没有伪装签名时，本文方法的FAR，FRR和EER都为0，由此也证明了以上观点.当FAR固定或FAR比表1中其他方法更小时，本文方法的FRR比其他方法小.原因是其他方法对伪装签名的认证效率不够好，而本文方法是基于具有仿射不变性的局部不变特征方法的，能更好地捕捉伪装签名和真实签名之间的相似性.

表1给出了两种基于局部不变特征的签名认证方法(SURF-FREAK［28］和 FAST-FREAK［28］).由表可知，本文提出的基于ASIFT的方法的等误率要比它们低15%.原因是除了ASIFT具有仿射不变性之外，还有ASIFT描述符为浮点描述符，与FREAK二值描述符相比具有更强的可区分性，而且这两种方法在认证时只考虑了平均距离.当只考虑匹配点之间的平均距离时，而在签名认证中存在匹配点的个数少且平均距离也小的情况，这样会导致误认证.为了克服这一问题，在签名认证时，本文方法综合考虑了匹配点的个数和平均距离.

图5～图8给出了查询样本与参考样本之间的点匹配情况，图中直线段的端点表示匹配的点对.当真实样本与参考样本进行匹配时，匹配上的点的个数很多且分布均匀，如图5所示.原因是签名的行为特性是由于长期的书写习惯积累而成，因此同一个人在正常情况下签名时，签名的形状和细节会很相似，从而会有很多匹配的点对.

图5 真实样本与参考样本的点匹配示意Fig.5 Matched points between genuine signature and reference signature

图6 伪装样本与参考样本的点匹配示意Fig.6 Matched points between disguised signature and reference signature

图7 低质量模仿样本与参考样本的点匹配示意Fig.7 Matched points between low quality simulated signature and reference signature

图8 高质量模仿样本与参考样本的点匹配示意Fig.8 Matched points between high quality simulated signature and reference signature

当伪装样本与参考样本进行匹配时，尽管两个签名图像的形状相差较大，但匹配点对的个数也不少，如图6所示.原因是即使书写人尽量伪装自己的签名，但由于习惯的书写动作，使得在签名时字与字之间的关系变化较少，同时即使字母的整体形状变化较大，但某些细节变化较少或符合仿射变换，如签名的扭曲、倾斜方向、大小等.本文通过使用具有仿射不变性的特征描述符，能在一定程度上捕捉伪装签名和参考签名之间的相似性，因此能匹配较多的点.图3给出伪装签名与真实签名在使用具有仿射不变性的ASIFT描述符与不具有仿射不变性的SIFT描述符的匹配情况.

当低质量模仿样本和高质量模仿样本分别与参考样本进行匹配时，它们匹配的点的个数相差较大，如图7和图8所示.由图可见高质量模仿的样本能正确匹配的点对更多.原因是高质量的模仿样本比低质量的模仿样本能模仿更多的签名细节，如笔画之间的关系、起落笔的方向等.但相对图5中真实样本，高质量的模仿签名在很多细节上模仿得不够精确，因此匹配的点对要比真实样本少很多，甚至少于伪装签名，从而使得本文方法能够区别高质量模仿签名并认证伪装签名.

4 结论

本文提出一种基于ASIFT局部不变特征的离线签名认证方法.由于ASIFT本身的尺度不变性和旋转不变性，使得本文提出的方法不需要进行任何额外的预处理操作，除了图像灰度化之外，可以直接在签名的灰度图像上进行特征提取和匹配.由于ASIFT本身的仿射不变性，使得本文提出的方法能更好地捕捉伪装签名和真实签名之间的相似性，从而可以在一定程度上降低错误拒绝率.实验结果证明了本文所提出方法的有效性.

References)

［1］ Liwicki M，Heuvel C E，Found B，et al.Forensic signature verification competition 4NSigComp2010-detection of simulated and disguised signatures［C］//Proceedings of the International Conference on Frontiers in Handwriting Recognition.Piscataway，NJ:IEEE，2010:715-720.

［2］ Lowe D.Distinctive image features from scale-invariant keypoints［J］.International Journal of Computer Vision，2004，60(2):91-110.

［3］ Alahi A，Ortiz R，Vandergheynst P.FREAK:fast retina keypoint［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ:IEEE，2012:510-517.

［4］ Fischler M，Bolles R.Random sample consensus:a paradigm for model fitting with aplications to image analysis and automated cartography［J］.Commun ACM，1981，24(6):381-395.

［5］ Wu X Q，Tang Y B，Bu W.Offline text-independent writer identification based on scale invariant feature transform［J］.IEEE Transactions on Information Forensics and Security，2014，9(3):526-536.

［6］ Morel J M，Yu G S.ASIFT:a new framework for fully affine invariant image comparison［J］.SIAM Journal on Imaging Sciences，2009，2(2):438-469.

［7］ Chen S Y，Srihari S.Use of exterior contours and shape features in off-line signature verification［C］//Proceedings of the International Conference on Document Analysis and Recognition.Piscataway，NJ:IEEE，2005:1280-1284.

［8］ Alekseev K V，Egorova S D.Handwritten signature verification based on code representation［J］.Pattern Recognition and Image Analysis，2007，17(4):487-492.

［9］ Fang B，Chen W S，You X G，et al.Wavelet thinning algorithm based similarity evaluation for offline signature verification［C］//Proceedings of the International Conference on Intelligent Computing.New York:Springer，2006:547-555.

［10］ Hanmandlu M，Yusof M H M，Madasu V K.Off-line signature verification and forgery detection using fuzzy modeling［J］.Pattern Recognition，2005，38(3):341-356.

［11］ Impedovo D，Pirlo G.Automatic signature verification:the state of the art［J］.IEEE Transactions on Systems，Man，and Cybernetics，Part C:Applications and Reviews，2008，38(5):609-635.

［12］ Blankers V L，Heuvel C，Franke K Y，et al.ICDAR 2009 signature verification competition［C］//Proceedings of the International Conference on Document Analysis and Recognition.Piscataway，NJ:IEEE，2009:1403-1407.

［13］ Blumenstein M，Ferrer M A，Vargas J F.The 4NSigComp2010 off-line signature verification competition:scenario 2［C］//Proceedings of the International Conference on Frontiers in Handwriting Recognition.Piscataway，NJ:IEEE，2010:721-726.

［14］ Liwicki M，Malik M I，van den Heuvel C E，et al.Signature verification competition for online and offline skilled forgeries(SigComp2011)［C］//Proceedings of the International Conference on Document Analysis and Recognition.Piscataway，NJ:IEEE，2011:1480-1484.

［15］ Liwicki M，Malik M I，Alewijnse L，et al.ICFHR 2012 competition on automatic forensic signature verification(4NsigComp 2012)［C］//Proceedings of the International Conference on Frontiers in Handwriting Recognition.Piscataway，NJ:IEEE，2012:823-828.

［16］ Malik M I，Liwicki M，Alewijnse L，et al.ICDAR 2013 competitions on signature verification and writer identification for onand offline skilled forgeries(SigWiComp 2013)［C］//Proceedings of the International Conference on Document Analysis and Recognition.Piscataway，NJ:IEEE，2013:1477-1483.

［17］ Porwik P，Para T.Some handwritten signature parameters in biometric recognition process［C］//Proceedings of the International Conference on Information Technology Interfaces.Piscataway，NJ:IEEE，2007:185-190.

［18］ Lv H R，Wang W Y，Wang C，et al.Off-line Chinese signature verification based on support vector machines［J］.Pattern Recognition Letters，2005，26(15):2390-2399.

［19］ Shridhar M，Houle G，Bakker R，et al.Real-time feature-based automatic signature verification［C］//Proceedings of the International Workshop on Frontiers in Handwriting Recognition.Piscataway，NJ:IEEE，2006.

［20］ Zuo W M，Li S F，Zeng X G.A hybrid scheme for off-line Chinese signature verification［C］//Proceedings of the IEEE Conference on Cybernetics and Intelligent Systems.Piscataway，NJ:IEEE，2004:1402-1405.

［21］ Chen G Y，Kegl B.Invariant radon-wavelet packet signatures for pattern recognition［C］//Proceedings of the Canadian Conference on Electrical and Computer Engineering.Piscataway，NJ:IEEE，2006:1471-1474.

［22］ Fasquel J B，Bruynooghe M.A hybrid opto-electronic method for fast off-line handwritten signature verification［J］.International Journal on Document Analysis and Recognition，2004，7(1):56-68.

［23］ Oliveira L，Justino E，Sabourin R.Off-line signature verification uing writer-independent approach［C］//Proceedings of the International Joint Conference on Neural Networks.Piscataway，NJ:IEEE，2007:2539-2544.

［24］ Armand S，Blumenstein M，Muthukkumarasamy V.Off-line signature verification based on the modified direction feature［C］//Proceedings of the International Conference on Pattern Recognition.Piscataway，NJ:IEEE，2006:509-512.

［25］ Vu N，Blumenstein M，Muthukkumarasamy V，et al.Off-line signature verification using enhanced modified direction features in conjunction with neural classifiers and support vector machines［C］//Proceedings of the International Conference on Document Analysis and Recognition.Piscataway，NJ:IEEE，2007:734-738.

［26］ Malik M，Liwicki M，Dengel A.Local features for forensic signature verification［C］//Proceedings of the International Conference on Image Analysis and Processing.New York:Springer，2013:103-111.

［27］ Fang B，Leung C H，Tang Y Y，et al.Off-line signature verification by the tracking of feature and stroke positions［J］.Pattern Recognition，2003，36(1):91-101.

［28］ Malik M I，Ahmed S，Liwicki M，et al.FREAK for real time forensic signature verification［C］//Proceedings of the International Conference on Document Analysis and Recognition.Piscataway，NJ:IEEE，2013:971-975.