基于影像识别技术的电子签名认证研究∗

毕 翔 唐存琛

（武汉大学 武汉 430072）

1 引言

随着信息技术和数字化产业的发展，越来越多的交流信息和文档发布渠道已经由原来的纸质化转变为电子化，如电子邮件、电子档案、电子文件等，电子渠道的文本传输已经成为主流传输方式，由此产生的集合——电子商务和电子政务的发展更是突破了快速、便捷等诸多优点。但脱离了纸质媒介交易或审核的程序，也造成了难以确认对方身份、交易发生抵赖、冒名，信息被篡改、内容被窃取等现象的发生。这就对电子商务和电子政务平台交易的安全性提出了新的要求，也呼唤电子身份识别这一技术的呈现。由此，电子签名技术便应运而生。

所谓电子签名是指数据电文中以电子形式所含、所附用于识别签名人身份并表明签名人认可其中内容的数据。数据电文是指以电子、光学、磁或者类似手段生成、发送、接收或者储存的信息。简单地说电子签名就是通过密码技术对信息处理中的电子文档以电子的形式构成的签名。它包括电子签字、印章、生物特征身份认证、密码或密码代号、个人识别码等可以提供身份识别和认证的，同时能够代表电子签名人身份、具有法律效应的一种信息标识。

2 电子签名及识别的现状综述

2004年8月28日，《中华人民共和国电子签名法》经全国人民代表大会常务委员会审议审批通过。这部法律制定的初衷是使电子签名与手写签名、印章（包括电子公章及私章）具有同等法律效力，它适用于我国的电子商务及电子政务范围。随之而来产生的电商、微商，PC网上银行、手机银行等以CA证书、身份识别、电子签阅为内容的电子签名迅速充实着国民的生活。以电子形式存在，依附在电子文件上并运用电子认证技术，辨别电子文件签署者身份及表示签署者同意电子文件内容的信息数据大量在网络中得到最为广泛的发展和应用。

2.1 电子签名与识别的主要内容

电子签名与识别技术目前可以分为手写签名识别、生物特征签名识别（包括指纹、掌纹、声纹、面部、步态、虹膜等）和密码与CA证书签名识别三类。其中手写签名识别应用最简便、密码与CA证书签名识别应用最为广泛、生物特征签名识别安全性较高。

电子签名目前多采用算法加密技术，在得到准确的身份认证后，按照发送者的指令完成相关工作内容，反之则拒绝。算法的内容应有两部分：签名算法和识别算法。签名算法是秘密的过程，仅有电子签名人能够知晓；识别算法是公开的，用于接受者进行验证。目前一般采用公开密钥技术PKI（Public Key Infrastrucino）来实现。过程如图1。

图1 电子签名制作与识别技术流程

2.2 签名与识别存在的问题

电子签名作为一种身份认证与识别的关键技术，在我们的生活中得到了衍生与发展。在传统的衣、食、住、行、用各个环节都以全新的方式体现着电子签名的应用，如手机银行的验证、人脸识别的考勤、购物网站与微信、APP平台的在线支付、电子文件的签发阅办等……这种全新的方式为个人和商业提供了机会，但也产生了一定的问题。

2.2.1 真实性与有效性的问题

在现实生活中，人们使用的最多的验证方式一般为密码校验，如智能手机的图形锁、支付软件的和手机银行的密码、APP软件与邮箱的登录密码等，或是使用特殊硬件产品配合数字密码的方式，如网上银行U盾、口令牌与银行登记密码等身份验证方式。在生活中这些电子签名的身份验证方式都存在着缺陷，如发生民事纠纷后无法判定签名的真实性和有效性；数字密码方便记忆，但是也容易破解；依托网络传输的证书验证经常会因为系统或服务器原因产生停滞等。法学界学者多认为，电子证据的真实性可以通过电子签名的方式进行确保，很大程度忽视了电子签名本身作为证据时真实性认定应当从何角度出发的问题。电子签名的技术验证是伴随电子签名制作的诞生而产生的，目前国内外已经有了较多成熟的算法和方案。一般而言都是先对电子签名的图像内容进行分析，并从图像中提供相关有价值的信息再进行算法处理。但这些算法并不能保证技术验证的有效性。

2.2.2 网络安全及隐私保护问题

要使电子签名完全代替传统的身份识别功能，就需要在网络发布者和接受者之间建立相对安全的信息通道，保持传输稳定，同时能够判断传输过程中是否遭受攻击，信息是否有被篡改的情况发生等。隐私的保护就像生活中寄信时，需要将信件密封在信封中才能安心的寄出道理是一样的。目前的电子签名很大程度上隐私的问题并未完全解决。例如，公钥在验证密钥成功后，公钥与密钥相似或相同的内容会完整的呈现在信息接受方的面前，信息接收方可以根据这个电子签名识别成功的内容了解到密钥的信息，造成密钥隐私内容的泄露。

3 基于影像识别技术的电子签名系统架构与实现

影像识别技术是指利用动态影像对电子签名制作的过程和原始样本进行记录，通过设计的方案，锁定影像关键帧为固定维度的静态信息，提取并使用相关的信息内容作为电子签名的密钥；在发布者向接受者传递信息的同时，先进行发布者信息的密钥识别，通过后可形成电子签名公钥，公钥随信息原文和摘要信息一并发送给接受者，接受者接受时需要进行公钥和密钥的识别信息比对，得出成功与否的结论。为了使系统架构更加简明，实验中选取了电子签名中应用最为简便的OA办公系统中电子文件签名作为实验内容。

3.1 影像签名与识别技术的设计与实现

影响签名主要是对签名人的笔触、签名样本和人像等进行采集。在认证时，书写认证的签名、人像采集，认证系统提取特征并与样本库中的内容相比对，判断此签名的真伪，进而完成此次登录的身份认证。在后续的信息传递过程中，用户需再次签名和人像采集，并将本次采集内容连同信息原文和摘要信息发送给接受用户，接受用户将自动申请签名识别和人脸识别，判断真伪性。此次判定只显示判定结果，不显示签名本身。

本文提出的基于影像签名与识别技术的步骤如下（图2）。

图2 影像签名与识别技术方案设计

1）签字人的相关数据获取：以往的签名认证一般通过纸质签名扫描后上传图像或通过手写板采集签名数据，仅是采集到数据即可。本文提出的签名认证过程需要通过使用摄像设备和手写板同时采集书写笔迹、人像特征和用笔产生的压力、签名的坐标位置等提取信息。

2）预处理：获取设备得到的数据在系统中使用滤波、去噪等预处理的方法，对签名的位置、大小、方向、持续时间等进行归一化处理，同时对人脸特征进行提取分析。

3）初始定位：将视频信息分解为关键帧图片，在落笔的第一帧画面上，进行位置定位，这一过程需要视频提取与手写板坐标提取同步完成。

4）笔迹跟踪：对笔迹的位置进行目标定位和跟踪，形成跟踪路径，得到位置坐标。影像技术多使用Mocha目标跟踪的算法，可以对一些小目标进行精确的定位和跟踪。

5）特征提取：对上述的特征和视频中的人脸进行特征识别和信息分类。

6）特征匹配：用提取的特征来对认证签名和注册签名进行匹配。

7）信息发送：将需要签发的文件内容审定后再次签名，获取数据；信息原文与摘要信息、签名信息（以公钥形式）一并发送给接受方。

8）二次特征提取：接受方对收到的公钥等信息进行检测识别。根据上述方式再次循环进行。若成功则可以查看信息原文，但不显示公钥及密钥的任何内容信息。

所有的测试数据完成信息分类后，需要对整个系统进行性能评估。较为常用的性能评估标准是错误拒识率（false rejection rate，FRR）和错误接受率（false acceptance rate，FAR），其计算公式如下：其中X表示所有被认证系统拒绝的真实签名数，Y表示所有的真实签名数；a表示所有被认证系统接收的伪造签名数，b表示所有的伪造签名数。

在上述的设计方案中，伪造样本大致分为3种：

1）随机伪造。伪造者不知道签名用户的任何信息，采用随意的方式伪造签名，容易区分。

2）简单伪造，也称为“熟人作案”。即伪造者知道用户的基本信息，熟悉程度一般，通过书写内容基本一致的信息进行伪造，涉及行为体现，区分难度一般。

3）技巧伪造，主要是“亲近作案”，伪造者对用户的数据信息较为熟悉和了解，以恶意方式伪造。刻意伪造，区分难度较大。

但因本方案中设计了笔迹签名和人脸识别的双重验证形式，无论那种伪造的行为都必须满足上述两个条件的伪造信息，因此伪造成功的难度较大。

3.2 方案涉及的问题分析

基于影像识别技术的签名认证识别与之前的电子签名的认证方法有一些区别，因此也存在着更多需要解决的问题。

1）影像数据采集的问题。较为可取的影像数据采集一般应在色彩简单的环境的中完成，用户的理想采集过程应是短暂、无干扰、空间信息背景为纯色环境且肤色与背景应无重合的状态，即背景色彩应为白色较为合适。

2）影像首帧及关键帧定位的问题。在进行影像目标跟踪的过程中，需要影像画面的落笔首帧与手写板的实际落笔首帧相结合，进行数据点匹配，同步计算书写时间，从而更好地完成后续的跟踪定位。

3）特征提取的问题。如何准确选择签名过程中的某些笔迹特征，与签名过程中的面部识别特征相结合。

3.3 影像数据的采集与关键帧的定位

在签名过程中，获取的视频与手写板的初始定位相对接、关键帧的定位与手写过程的触压、形成的笔迹粗细等都有较大关系。

3.3.1 影像数据的采集

在签名的背景选择上，本文选择背景为白色墙体的位置进行数据采集，这样比较容易在视频中准确定位人脸特征和书写特征，而且较为符合生活中的商务办公场景。文中的认证系统使用智能手机进行摄像，采用在笔记本电脑触摸板进行书写的方式，使用的笔为电容触控笔，在摄像设备前让用户根据自己的思维，随意书写3个汉字的词语。图3为影像数据采集的书写场景。

图3 影像数据采集的书写场景

3.3.2 关键帧定位

关键帧定位是进行影像特征提取前必须完成的工作内容。之前的相关研究中大多未涉及到影像技术关键帧的定位问题，将影像技术关键帧与手写板的触压融合更是凤毛麟角。因环境不同、书写人员不同，每次落笔的起始位置可能存在偏差，因此影像技术的首帧定位应当以手写板落笔的瞬间定位为标准，这就需要在后期数据预处理的过程中在影像画面与手写板触控之间建立通道。随后再由手写板的压力、手势移动等之间的相互关系建立对应的关键帧。除此之外，还应考虑由于书写过程中光线阴影、书写者肤色等因素造成的相对复杂的关键帧定位干扰问题。

1）色彩辨识

根据RGB色彩空间模型，选择的触控笔一般应与触控板有较大的色彩差异，对笔迹出现的触控板区域进行初步定位，将候选区域框定在触控板内部，这一问题就变得相对简单，大大降低了解决问题的难度。人脸的检测是在图像中选取与样本存储的人体皮肤色彩一致，面部特征像符合的像素，在人脸识别技术支持下自动定位人脸位置，跟踪检测。

2）首帧的定位

确定色彩辨识与笔尖运动的轨迹之后，将开始进行首帧的定位。首帧画面的定位需要影像视频与手写板触压相互融合，需要建立两者之间的互联通道。由于影像画面最终需要进入计算机进行信息处理，笔迹触控也是通过计算机方式完成的书写，则可以利用计算机为媒介，将手机通过WIFI与计算机相连，实时传输影像画面，计算机同步触控板信息进行分析处理，完成触控板第一次落笔与影像画面首帧的定位。

3）关键帧的定位

关键帧的定位是对书写过程中笔迹变化起到决定作用的内容。无论是汉字的书写还是英文字母的书写，书写水平都是判断一个人书写特征的重要因素。一般是从笔划、运笔、结构、布局四个方面进行衡量的。由于书写功底尤其是签名的书写功底并非一朝一夕可以成形，需要经历一个书写训练的过程，书写人也不可能在短时间内迅速改变自己的书写风格，因此依据书写特征抽取关键帧是较为合适的。本文中根据笔迹书写过程中最为重要的三个因素：转折、顿笔、力度，抽取关键帧数据，进行特征分析和处理。图4是三位不同的书写者书写的“武汉”二字，三幅书写的转折、顿笔、力度均各不相同：图4（a）的“武”与“汉”之间互不相联，线条的粗细不一，“武”字的直线与曲线有较为明显的区别且轻重缓急一目了然；图4（b）书写者力度较大，因此线条较粗，但两字连接绵延不断，几乎没有直线构成，因此表现夸张；图4（c）书写的“武汉”二字为繁体书写风格，力度较轻，基本都是以斜线构成。就图4中的三个文字做关键帧提取分析，图4（a）可以由几处连笔的过程造成的力度缺失进行定位；图4（b）可由顿笔时造成的书写时间延时和最大力度点进行定位；图4（c）可以由形成的线条曲直度进行定位。

图4 三位不同的书写者书写的“武汉”二字

3.4 特征的提取与匹配

基于影像识别技术的电子签名认证的特征提取与匹配分为两个部分，一是对人脸识别的特征与匹配，目前该项技术在国内已较为成熟，算法也较为精确。据统计，截止2017年9月，普通面部识别技术精确度可达99%，双胞胎识别精确度可达98.75%以上。

3.4.1 预处理

通过关键帧的定位获取了笔迹签名的特征图像之后，需要对笔迹的关键拐点和关键帧的时间序列进行预处理。预处理的步骤主要有三个方面，一是插值，考虑到手机的像素及分辨率过低的问题，对运动笔迹的画面进行插值；二是缩放，将签名的画面关键帧缩放到与签名同等尺寸，形成签名的立体面；三是对画面关键帧中触控板的阴影等环境干扰项的消除。

另外，经过预处理后的签名的静态图像作为特征依据，为了使所有的签名数据尽可能的都统一角度，考虑利用坐标信息，完成对最终签名数据的角度旋转，以方便后期识别时适应不同角度的签名识别。如图5旋转前后差异对比。

图5 旋转前后差异对比

3.4.2 特征提取与匹配过程

本文提出的基于影像识别技术的电子签名身份认证，是使用图形图像与压力触感对签名的笔迹进行特征提取和匹配的。在注册阶段，用户提供自己书写的签名样本生成图像，结合影像关键帧技术和触控板或手写板的压力触控技术获得用户的注册样本，然后经过对关键帧产生的时间节点与带有的书写特征的压力触控数据进行算法分析，生成密钥样本，将其保存，在认证时，经过同样的步骤获得认证样本的信息，将认证样本与注册样本的密钥进行匹配，最后以两个笔迹触压点轻重的相似度在影像关键帧识别的时间序列及书写者的面部特征匹配比对确定签名是否出自同一人之手。在传递信息给接受方时，亦重复上述步骤，实现接受方对信息真实性的判定。

4 结语

本文对于影像识别技术的电子签名认证的方案进行了研究设计。影像识别技术不同于单纯的人脸识别技术和笔迹鉴定技术，它是通过对初始签名过程的完整影像记录，从中提取出签名者的面部特征形成人脸识别，同时提取签名视频中的关键帧，进行笔划与笔锋的分析，再通过手写板对签字过程中的笔尖触感、压力等内容的分析后，综合特征得出电子签名密钥，获取唯一身份认证的依据。这是一种特殊的签名认证方式。通过实验表明，设计的签名方案具有较好的鲁棒性；本文使用的书写规律信息描述方法能够较快且精准的对影像关键帧进行捕捉、跟踪和身份认证；提出的触感与压感的运动笔迹识别匹配能够获得身份认证结果。同时，因加入了人脸识别功能，在法律认定中也具有一定的参考依据。

但本文中尚有以下问题未得到解决或仍需改善：

1）对书写中摄像头自动聚焦和跟焦的过程尚有待研究，因签名时动作过快造成的拍摄中跑焦现象时有发生。

2）未解决一部分书写过程中抬笔落笔较频繁人群的影像识别问题，会造成因抬笔落笔现象产生的影像关键帧重新抽取分析。

随着移动“互联网+”、物联网等信息技术产业的不断提升，电子签名技术的应用场景还将进一步扩大和深入。下一步，它将为制造业、地产、金融、能源、税务、政务等众多领域的提供诸如劳动合同电子化、商品消费签名化等基础服务，第三方电子签名服务也将在“互联网+”时代迎来新的发展和成长空间。