笔画压痕立体形态特征提取分析

周 鹏， 高树辉

(中国人民公安大学侦查学院， 北京 100038)

0 引言

运用笔迹动态特征进行鉴定是文件检验的重要研究内容之一。书写笔迹多为静止的二维平面，而笔迹的书写过程是在力的作用下完成的，这一动态过程中的力学特征如力、加速度、速度等对笔画压痕立体形态有至关重要的影响，是笔迹检验中有研究价值的对象。

Crane，Herbst等人在1969年就对在线签名验证系统的可行性进行了分析研究，通过压电板和计算机作为输入和输出设备获取笔迹“三维”信息，并将数据分为44类，如平均值、标准差、最小最大值、绝对平均、正值负值平均等特征，并利用选择的特征进入验证系统进行训练及测试[1]。1990年兰伯特·肖伯克提出生物力学假说和中枢神经假说，验证了书写压力与手指位移的相关性高于手腕位移，以及随着描绘图像的复杂度加深同时书写者的书写压力总体连贯性降低[2]。2000年陈昌全通过总结实际案件和教学研究论述了笔迹动态特征与笔迹形态的关系及其在鉴定中的作用[3]。2007年陈晓红、贾玉文从笔迹的物理形成机制进行探究，得出无论笔尖做出何种运动，手与笔尖的关系都可以从压力、速度、角加速度和线加速度等物理量中进行探究[4]。他们通过数据形式量化的方式指出了笔迹动态特征拥有的总体特殊性和相对稳定性，证明了笔迹动态特征可以作为检验笔迹同一认定的依据，同年由安徽省检察院统计两起利用高倍放大镜与体式显微镜观察笔画压痕的案例[5]。2010年8月贾治辉通过总结实际案例和研究指出，笔迹的抑压力特征即笔压是检验伪装笔迹有价值的特征，可通过笔痕分析法、压痕分析法、静电成像法等进行判断[6]。2012年由陈晓红、贾玉文提出通过扫描书写者签名及摹仿签名，利用计算机建立样本库并提取签名的宽度，灰度和弧度等受动态特征影响的数据比较它们之间的相关系数及规律，并证明同一人签名所提取的特征相关系数更高[7]。

近年来国内外研究者从三维层次进行笔迹检验的探究。2012年杜永刚、涂家文发明了一种书写设备可以让书写者在空气中书写字迹从而摆脱了介质如纸、笔、衬垫物等限制，使书写者获得便利的书写体验。同时利用该设备获取书写者的三维轨迹，从而形成一种二维的形态特征并进行了摹仿字迹的研究[8]。2015年申思提出笔迹三维信息概念并提取不同书写条件下字迹的压力色彩图显、笔画压痕深度和去墨色图研究压力变化规律，该方法收集了相关的动态特征如压力的色彩分布以及笔画压痕深度等，并验证了不同书写条件对笔画压痕深度的影响[9]。2016年刘宁通过应用反射变化成像技术构建还原笔迹的三维形态呈现了签名笔画压痕及表面质地并排除了墨色的干扰。该文提供了一种有效增强笔画压痕的方法，但在特征量化分析上有不足且对笔画深度特征缺少探究[10]。2018年梁适通过RTI技术讨论笔种、衬垫物对笔画压痕的形态影响，并研究表明可用于辨别打印文件的签名、还有摹仿字迹签名，但很难分别朱墨时序等实际应用[11]。

基于文献研究，本文利用光度立体成像法进行笔画压痕立体形态的实验探究，挖掘笔迹动态特征对笔画压痕立体形态的影响，并结合机器学习为利用笔画压痕立体形态特征进行文件检验鉴定提出新思路。

1 笔画压痕立体形态特征探究

1.1 实验原理

笔画压痕立体形态是在笔迹书写动态过程中形成的反映笔迹特征和书写者书写习惯的特征，本文利用VSC8000文检仪的FF3D三维成像功能获取笔迹的压痕立体信息并进行分析。FF3D三维成像的原理为光度立体法(Photometric Stereo)，最早在1980年由Robert J. Woodham[12]提出用于测量物体表面法向量。该方法结合光的反射原理摄影记录一个物体不同角度的多张照片来测量物体表面方向[13]，如图1所示。

图1 入射光照射物体表面

如图2所示，图中的p点的光强为Ri且为入射光强一般该点设置为1，对于朗伯表面且光源照明和成像观察均为正射投影条件时，Re为反射光强公式可描述为：Re=kdN·LRi则反射光强为I=kdN·L，kd为朗伯表面系数为1，则I=N·L可得I=cosθ=N·L。

图2 入射光角度

如图3所示，通过从3个方向获得反射光强，并得到矩阵。通过计算：

图3 物体表面3个光源对应反射光

I1=kdNL1

I2=kdNL2

从而求得N和kd。

在测得足够亮的点光强后利用法向量N建立右侧体系坐标系，以测得的表面光亮点为圆心、所在平面为XY平面、法向量方向为Z轴，已知一点的x，y以及表面法向量V1求表面深度z，如图4所示：

V1=(x+1,y,zx+1,y)-(x,y,zxy)=(1,0,zx+1,y-zxy)
0=NV1=(nx,ny,nz)(1,0,zx+1,y-zxy)=
nx+nz(zx+1,y-zxy)

最终通过可视化软件获得物体立体形态，本文利用光度立体法结合Foster freeman公司的3D重建软件重建字迹表面形态获得更高维的立体形态，以此对笔画压痕立体形态特征进行探究。

LBP算子是以灰度图像为描述对象的特征描述符，其分类能力强、计算频率高[14]，被Ahonen等人用于人脸识别。之后为使LBP具有灰度和旋转不变性由Ojala[15]提出改进将 3×3的像素获取窗口邻域扩展到任意邻域，并用圆形邻域代替了正方形邻域，改进后的 LBP 算子[16]允许在半径为 R 的圆形邻域内有任意多个像素点。本实验采用的LBP的等价模式即把一个LBP所对应的循环二进制数从0到1或从1到0最多只有两次跳变时，该LBP所对应的二进制就称为一个等价模式类。通过该方法大大减少二进制模式的种类，从原始的259种降到58种。LBP提取的“特征”与位置信息息息相关，每个子区域内的每个像素点都提取LBP特征，并在每个子区域内建立LBP特征的统计直方图，然后整张图片就由统计直方图组成。提取获得的特征向量最终利用Lib-SVM进行预测分类。

1.2 实验设备

硬件：VSC8000文检仪，英国FF3D公司、惠普计算机、得力牌A4纸张、晨光黑色0.5 mm中性笔、剪刀。

软件：FF3D三维立体成像软件、VSC Suite程序、Matlab。

1.3 实验样本

探究书写人笔画压痕立体形态变化，并比较同一人的惯用笔画压痕与刻意加大和减弱压力后的笔画压痕差异。

实验中由4名志愿者书写同一个字迹“刑”，首先提取同一人惯用笔迹压力的字迹，样本需要控制以下因素：不更换纸张与书写用笔；控制书写人每次书写字的数量，每写5个字后等待10分钟再收集；书写衬垫物保证一致都是5张A4纸和同一个桌面，每组收集实验样本120个。在同样的控制条件下，令志愿者使用相对惯用压力的重、轻力书写同一字“刑”。

1.3.1 样本分组与制作

将4人样本分为A、B、C、D 4组，每个人有3组数据，组名为1、2、3分别对应重、惯用、轻3种压力。每组收集120个字，则共收集1 440个样本。收集过程保证书写条件一致、书写间隔控制。

打开VSC8000文检仪与VSC程序，将写有样本的字迹平放至载物台并用压块固定，选取统一倍率x32放大字迹同时对画面调焦，保证字迹周围无异物，然后点击高级工具-3D-FF3D软件中将“刑”全部框选。采集部分“刑”图像如表1所示。框选后点击生成模型， 生成结果都是灰度图像如图5、6所示，为观察单个字迹的深度信息需利用FF3D软件的附加功能。首先赋予结果图伪彩色，色度为5类介于蓝和红之间。将整个立体图分深红色、红色、黄色、绿色、蓝色区域，并赋予数字顺序1、2、3、4、5，然后利用调整光照角度功能使得字迹表面的立体效果最佳，将结果保存为类别1，部分样本如表2所示。由于书写压力的不同，图中字迹的显现程度明显不一样，与图像的伪彩色分布相关。

图5 A1组样本

表1 部分实验样本

图6 B2组样本

表2 部分实验样本3D立体图

利用旋转功能在3D模型内沿Z轴将字迹翻转90°，同时调整光照方向会呈现字迹的笔画深度形象，将结果保存为类别2，部分结果如图7、8所示：立体形态图的垂直方向颜色分布表示不同的深度位置，从高至低利用5种渐变颜色表示，深红色区域表示一张立体图距离书写表面最高的位置，蓝色是距表面最低的位置，黄色区域表示高于平面，绿色区域是处于或接近平面。从表2的第3行发现深红色区域和蓝色区域面积较少，大部分为绿色与黄色区域，表明书写者用笔压力较小，字迹立体形态部位距书写平面的差小，而包含5种颜色如1、2行笔画压痕的立体形态中三维信息更加丰富，相对于纸平面来说笔画压痕高度差大。

图7 A组样本

图8 B组样本

1.3.2 分析步骤

分析4组内的类别1样本字迹表面的伪彩色分布，进行组内比对，分析3种压力下书写的字迹压力分布特征。对翻转90°后的笔画压痕深度形态进行比对分析，总结组内3种笔迹的笔画压痕深度特征规律；然后做组间的比对检验，做出规律总结。此外，将4组的惯用压力形成的笔画压痕立体形态两两比对，并选取A2组测试集的特征向量10个部位和B2、C2、D2相同部位互换，验证二分类能否识别。

结合机器学习对笔画深度图进行建模和预测分类，首先对4组内两两进行二分类，以此区分同一人不同压力字迹的立体形态差别。然后对4组样本的惯用压力样本进行二分类，目的是对不同人正常书写同一字迹进行识别，将组内类别2的图像进行统一裁切处理以去除空白区域干扰训练精度。编写LBP图像特征提取算子将深度信息转化为一维数据，然后将数据整理为lib-SVM可处理的格式后对组内及组间3种书写压力样本进行两两分类训练。先对数据标注标签，A1为正样本1，A2为负样本-1，以A1和A2中1～90样本为训练集，A1和A2中90～120测试集，其他组进行比对前重复此步骤。

2 实验研究及结果

实验先以传统观察比对的方法，探究不同压力书写的笔画压痕的特征，并比较立体图以及沿Z轴逆时针旋转90°得到的立体图的颜色分布以及形态。以立体图为实验样本，使用LBP算子提取图像特征向量，将得到的特征向量标记分类后进行模型训练并进行结果验证。

2.1 不同压力书写的笔画压痕特征观察比对

利用传统观察比对方法探究不同压力书写的笔画压痕特征。比较组内3种书写压力的笔画压痕，在127高倍显微镜下观察到不同压力大小造成的特征，4组中重压力下书写的字迹会出现以下明显特征：笔画有明显的明暗纹区分，暗纹是笔画凹痕较深的部位，反之则深度较浅。多处笔画出现中心露白，原因是重的书写压力使笔在书写时过分接触纸面使得中性笔墨分布不均，同时相对压力较轻的笔画边缘要平滑，如图9、10、11、12所示。观察轻压力书写的字迹发现，笔画表面的亮度反差不明显即反射亮点少，不存在笔画露白现象，同时笔画边缘不平滑有毛刺状特征，如图13、14所示。

图9 重压力字迹的明暗纹

图10 重压力字迹的明暗纹

图11 重压力字迹的露白特征

图12 重压力字迹的露白特征

图13 轻压力字迹的笔画边缘

上述特征在4组的重轻两种压力字迹中对应存在，且均稳定存在。惯用压力字迹发现具有轻重两种压力的笔画特征，但特征数量并不如两种压力字迹明显。

观察比较A、B、C、D组内字迹的立体形态，平面上的颜色分布有明显差异。如表3所示重压力字迹颜色分布包含了5种颜色，红色代表高于平面部分，蓝色是低于平面部分，绿色表示接近平面，且颜色区域表示笔画压痕该部位相对整体深度的立体形态位置。重压力笔迹图中，1、2表示红色区域占图的大部分面积，该区域的灰度值亮度高于其他部位。3、4为黄色和绿色区域，分别位于笔画边缘和笔画压痕上，其灰度值亮度要低于红色区域，5表示蓝色区域，仅出现在笔画压痕的中间部位，多是笔画交叉和终点位置，且灰度值亮度最低。惯用压力笔迹图中，红色、黄色、绿色区域的分布较均匀，灰度值的亮度也均匀分布，但亮度值最低的蓝色区域面积最少。轻压力笔迹图中，红色、黄色、蓝色区域面积较少，甚至无深红色和蓝色区域，大部分区域为绿色区域，表面笔迹立体形态分布接近于书写平面。沿Z轴逆时针旋转90°后同一组内的3种立体图明显不同，如表4所示。然后进行组间比对，主要分析惯用压力字迹的立体形态，观察发现不同人书写“刑”字的立体图存在以下差异：立体图的颜色区域分布不一样，用1、2、3、4、5不同区域，灰度值亮度由高至底分别表示高于书写平面部分、接近或处于平面部分、低于平面部分。且笔迹立体形态的纵向形态不一致，表现为锥形状的立体形态分布不同，如图15、16、17、18所示，形态的差异主要表现为5种颜色分布差异、压力不同导致锥状特征组合不一，从图中可发现不同人字迹差异明显但同一人惯用书写压力字迹基本一致，圆形区域标记各组样本内的形态相似区域，以及组合锥状特征。

图15 A2部分字迹立体深度形态

图16 B2部分字迹立体深度形态

图17 C2部分字迹立体深度形态

图18 D2部分字迹立体深度形态

2.2 LBP算子提取图像特征向量并分类测试

以立体图为实验样本，使用LBP算子提取图像特征向量，将得到的特征向量标记分类后进行模型训练并进行结果验证。使用SVM对样本进行组内二分类，对样本先进行统一裁切，然后提取LBP特征向量，如表5所示，表中部分样本特征向量1～6为一个样本通过LBP等价模式所提取到的59个特征向量中的前6个，首先利用圆形采样区域对样本图片邻域的像素值进行计算比较，同时通过LBP所对应的循环二进制数中0和1的跳变次数将二进制模式种类进行减少，使得特征向量由256种降维至59种。进行分类的结果如表6所示，每次二分类测试样本共60个且结果可发现组内进行分类基本准确率达到100%，即每类的30个测试样本能够准确地分到各自类别，但A组重压力和惯用压力准确率a为98.387%，即有一个测试样本未正确分类，分析原因是A1与A2组内有一个样本与训练模型差别较大，即测试样本字迹的立体形态图在形态和颜色分布上不同，因此分类器做出排除结果同时为本实验做出验证。4组惯用压力形成的笔画压痕立体形态两两分类准确率a可以达到100%，如表7所示。将测试集中相同部位的10个特征向量对调后A2、B2、C2、D2共60个样本中有20个测试样本对调，分类后发现准确率明显下降，a仅有66.667%，有20个样本被排除，如表8所示。

表5 部分样本特征向量

表6 组内比较准确率结果

表7 组间比较准确率结果

表8 特征向量互换后比较准确率结果

3 结论

以光度立体成像法从三维形态上研究笔画压痕立体形态特征具有可行性，本实验中可以明显地将同一人的惯用压力书写字迹与重或轻压力书写字迹的形态区分开，差异主要表现在三维表面5种颜色分布以及沿Z轴逆时针90°旋转后的立体图形态不一。不同人之间的差异首要体现在整体形态的不同，如4组笔画压痕立体图的锥形区域明显差异及颜色分布。

本实验还结合机器学习SVM二分类的方法，提取笔画压痕三维立体特征图的LBP特征向量，然后从计算机视觉的角度对立体图进行分类。实验结果表明SVM分类器对实验样本的分类效果较好，组内与组间的样本特征向量都能在监督学习的条件下进行正确分类且有较高精确率。同时对4组间进行了验证，将A2与B2、C2、D2的第91～100个的10个样本特征向量互换后进行分类，准确率大幅度下降到了66.667%，这验证了分类的准确性，之后可以使用训练好的模型对未知的笔画压痕立体图进行很快的识别分类。

在实际的案件中可以利用光度立体法，结合本实验方法对伪装笔迹的笔画压痕立体形态进行检验，提供客观性和可视化的检验结果,因此本文为文件检验中利用笔画压痕立体形态特征进行检验提供了一种新思路。