基于分块ST与主成分分析的三维掌纹识别

白雪飞，高 楠，张宗华，王向军

(1. 河北工业大学机械工程学院，天津 300130；2. 天津大学精密仪器与光电子工程学院，天津 300072)

随着网络技术的高速发展，信息安全受到前所未有的关注.已有的身份鉴别方法，如智能卡、钥匙、密码等，极易丢失、遗忘、被复制以及被盗用.为了准确鉴别出人体身份，生物特征识别技术受到诸如门禁系统、电子银行等多个领域的重视和应用.掌纹作为一种新兴的生物特征，由于具有图像信息丰富、采样简单、用户接受程度高、不易伪造、受噪声干扰小等优点，得到相关人员的大量研究，并在多个领域得到广泛应用[1-6].

已有掌纹识别的研究和应用多是基于二维的掌纹图像，易受干湿度、残影、压力等影响，根据掌纹特征的表示及匹配方法，可将掌纹识别方法分为基于结构、基于统计、基于子空间和基于编码的共 4个类别[7]. 但是掌纹是三维的生物特征，缺失一维信息将使后续的特征向量提取不精确，从而影响最终认证和识别的精度[8]；而且，掌纹本身具有的凹凸性使其避免以上影响的同时具有很好的防伪性能.因此，三维掌纹识别技术成为识别领域研究的热点.

2008年，香港理工大学的 Li等[9]基于结构光技术开发了一个三维掌纹采集系统，并构建了三维掌纹公开库[10]，在此基础上研究人员提出了多种不同的三维掌纹识别方法.Zhang等[11]首先利用平均曲率图像(mean curvature image，MCI)和高斯曲率图像(Gaussian curvature image，GCI)作特征，采用平移n个像素之后分别匹配的方法对齐图像进行识别；Li等[12]结合手掌的二维和三维信息，采取手掌的形状、纹理以及主线进行特征层融合，并用最近迭代法进行图像对齐实现掌纹识别；与此同时，Zhang等[13]提出二维方向特征和三维 ST局部相关性的多级别融合；鉴于运算的复杂性，Li等[14]又提出直接利用 MCI的线特征和方向特征进行融合；Yang等[15]提出利用形状指数图像的局部二值特征和方向特征进行融合；Liu等[16]提取 MCI的正交线特征，采用基于互相关的方法对齐图像；为降低上述方法运算的复杂性，与以上提取方向特征和线特征对齐图像不同，李春燕等[17]将改进的线性判别分析(Fisher linear discriminant，FLD)运用于 MCI，Zhang 等[18]则将稀疏表示的方法运用到三维掌纹识别，然而，复杂性降低的同时，识别率也有所下降.

综上所述，已有的方法对三维掌纹进行识别时需要首先选取感兴趣区域(region of interest，ROI)，然后从中提取对应的特征，采取特定的方法对测试样本和训练样本进行匹配.但是当训练库存在大量样本时，测试样本与训练样本一一对齐，使运算量和处理时间均大幅增加.已有研究表明，子空间法可以通过高维生物特征数据的内在低维表达获得有利于识别的特征，尤其适用于大样本数据库，己经成功应用于二维掌纹识别[19-22].然而，子空间法存在以下缺点：①由于图像维数较高，使得计算量过大，不满足快速实时识别的要求；②由于训练库图像数目往往远小于样本维数，存在小样本问题.

为了解决现有技术存在的问题，本文提出了一种快速高效、识别准确、适用于大样本数据库的三维掌纹识别新方法.该方法选取分块曲面类型(surface type，ST)图像的直方图作特征，降低特征提取的复杂度与后续计算量；通过控制分块数量的选取，使训练库图像数目与样本的特征维数持平，解决了小样本问题.本文所提出方法具有对微小位置偏差不敏感、适用于大样本数据库等优点，同时避免了已有方法维数高、小样本等缺点.

1 基于分块ST的三维掌纹直方图提取

提取三维掌纹数据的生物特征是识别的首要步骤.结合ST的区分性以及直方图对微小位移不敏感的优点，本文采用分块 ST图像的直方图作为三维掌纹数据的特征.

三维掌纹是凹凸不平的连续曲面，具有稳定性和唯一性，而曲率是可用来描述曲面弯曲程度的固有属性之一[23].根据不同的几何特征，掌纹曲面上的点可根据曲率分为8类，即曲面类型ST.因此，通过计算平均曲率和高斯曲率得到 ST.假设三维掌纹曲面为S(x ,y,f(x ,y))，每个点的平均曲率 H和高斯曲率 K计算式[24]分别为

确定掌纹曲面上每一点对应的曲面类型 ST，还需确定 H、K是不是零值[25].由于式(1)和(2)计算的H值和 K值均为 10-4左右的浮点数，等于零的情况需用一个区间，而不是一个点来表示.为确定零点区间，可利用阈值参数εH、εK确定两个对称区间[-εH,εH]、[-εK,εK].将H和K标准化公式为

式中：C(i ,j)代表平均曲率H和高斯曲率K；δ为对应的标准差.通过式(3)计算，曲率值在没有改变符号的情况下大多落入区间[-1，1].这样，在零值附近选择εH和εK的取值，使得

εH和εK可以选择设定不同的值，以适应不同的手掌.根据大量实验，本文设定 εH=0.030，εK=0.015.

根据手掌 ROI中每点的平均曲率和高斯曲率值，可确定该点所属的曲面类型 ST.为完整性考虑，假设当H＝0、K＞0时，ST＝4，故在表1共列出9种ST.这样三维掌纹曲面上的每个点都可以用类别序号1～9表示.

表1 由曲率得到的9类STTab.1 Nine ST labels from curvature signs

按照上述方法计算三维掌纹公开库中 3个掌纹ROI图像的 ST图，如图 1所示.其中：(a)、(b)表示同一手掌在不同时间采集的三维掌纹 ROI；(c)为另一人手掌的三维掌纹 ROI；(d)、(e)、(f)分别为对应的ST图.

由图 1可知，ST图像可以很好表征三维掌纹的细节特征.由于高斯曲率和平均曲率表征曲面的内在特征跟曲面的空间位置无关，因而具有很好的可区分性[26].由此得到的 ST特征具有相同的属性，但是对训练图像和测试图像的位移敏感；而基于特征的全局统计(例如直方图和不变矩等)对微小位移有鲁棒性，但没有明显的区分性.因此，将ST图分块计算直方图，再合并形成特征向量，一方面，能够提取出既有明显区分性，又对位移不敏感的三维掌纹的固有特征；另一方面，可有效地降低图像维度，为主成分分析(principal component analysis，PCA)法的应用及小样本问题的解决垫定基础.

图1 不同三维手掌ROI及其对应的ST图Fig.1 3D ROI images of three different palmprints and their ST images

假设三维掌纹 ROI的大小为 n×n，那么三维掌纹的维数也是n×n.若将其对应的ST图像分为m×m(0＜m≤n)块，由于ST共9类，故分别计算的每块直方图维数为 9.将所有直方图合起来，整个三维掌纹特征的维数为 9×m×m.m的取值太大会导致图像局部细节特征丢失，太小会使得统计规律变差，计算量增加，识别速度减慢，故其值可根据三维掌纹大小以及训练库掌纹数目选定.综合考虑识别率和识别速度等因素，以图 1(a)为例，本文将掌纹的 ST图分为 10×10块，一方面减少图像的维数，降低特征提取的复杂度，减少运算时间；另一方面，训练库图像数目与样本维数持平，克服了小样本局限性问题.分块图及得到的其中某一小块的直方图如图 2所示.

将得到的 10×10个直方图合并，得到一个(9×10)×10维的矩阵，该矩阵即可作为掌纹的特征进行后续主成分分析运算以及距离判别.

图2 分块ST及直方图Fig.2 Blocked ST and histogram

2 主成分分析法

主成分分析是一种利用低维非相关的变量近似高维向量或图像的子空间法[19].假设采集到 n幅三维手掌图像，xi为第i个训练样本特征拉伸得到的列向量，i ∈ { 1 ,2,⋅ ⋅⋅,n}，µ 为所有向量 x = [ x1,x2,⋅ ⋅,xn]的均值，V为对应的协方差矩阵，即

计算协方差矩阵V的特征值λ=diag(λ1,λ2,⋅ ⋅⋅,λn)和特征向量 v = [ v1,v2,⋅ ⋅ ⋅,vn]，选择其中 k个最大特征值，归一化对应的特征向量为 W = [ w1,w,⋅ ⋅⋅,wk]，构成最优线性变换矩阵 Wopt.利用此矩阵可得到三维掌纹图像高维到低维的变换，即新的投影特征 yi，其公式为

由此可见，主成分分析法是一种良好的维数压缩技术，其将数据各分量间的相关性去除之后，即可采用简单的最近邻分类方式获取最为相似的掌纹图像，达到掌纹匹配识别的目的.

3 结合ST和PCA的三维掌纹识别法

ST是三维掌纹曲面的固有特征，具有良好的区分性，但是对图像的位移敏感；而基于特征的全局统计-直方图对微小位移具有鲁棒性，但是没有明显的区分性.将ST图像分块计算直方图，再合并，得到的直方图特征向量不仅具有明显区分性，对位移不敏感，而且维数大大减小.

另一方面，PCA可以有效降低图像维度，但存在严重的小样本问题，采用维数大大减小的直方图向量作特征，通过控制分块数量的选取，使训练库样本数目与样本的特征维数持平，即可为小样本问题的解决奠定基础.

综合考虑分块 ST与 PCA方法的特点及优势，利用二者的互补性提高掌纹识别的效果，提出将二者结合的识别方法.给定一个三维掌纹测试样本，首先通过第 1节给出的特征提取算法提取分块 ST直方图，然后利用主成分分析法对其进行降维，提取能够区分不同三维掌纹的特征向量，最后采用最近邻分类器进行判别.具体实现过程如下.

步骤 1 计算原三维掌纹ROI区域的ST图像.

步骤 2 将得到的 ST图像分块，分别计算直方图，再串联起来合并形成直方图特征.通过大量实验得知最优分块为10×10.

步骤 3 采用主成分分析技术对所提取直方图特征进行降维处理，得到最终表征三维掌纹的特征向量.

步骤 4 利用 L1范数计算测试样本特征与训练样本特征之间的绝对距离.

步骤 5 采用最近邻分类器对样本进行分类，得到分类识别结果.

具体识别流程如图3所示.

图3 基于分块ST和主成分分析的三维掌纹识别流程Fig.3 Flow chart of 3D palmprint recognition based on blocked ST and PCA

4 实 验

本文采用香港理工大学人体生物特征识别研究中心的三维掌纹库验证提出的三维掌纹识别方法[10].该掌纹库是目前世界上唯一公开的三维掌纹库，包括8,000个样本，由 200名志愿者的 400只手掌组成，其中包括136名男性、64名女性.每人对应20张图像，每次采集10张，共采集2次，时间间隔为1个月.

将掌纹库中第1次采集的图像用作训练图像，第2次采集的图像作为测试图像.这样训练库和测试库均包含 400个类，每类包含 10张图像，分别代表400个人.通过最近邻距离，将识别率作为评判结果的标准，另外运行时间也作为参考因素.实验的硬件环境是 Intel Xeon 2,500,MHz、CPU E5-2640、内存64,G的 HP DL380,Gen9服务器，软件平台为MATLAB2014a.按照图 3对三维掌纹数据库进行处理.作为对比，采取其他子空间法进行了实验[19-22]，包括 TDPCA(two dimensional PCA)、BDPCA(bidirectional PCA)、ICA(independent component analysis)、FLD(Fisher linear discriminant)、LPP(locality preserving projection)及KPCA(kernel PCA).将测试库中的每个测试样本与所有训练库样本进行匹配识别，结果如表 2所示.其中识别率为匹配正确的测试样本数占测试样本总数的百分比，识别时间包括特征提取时间与匹配识别时间.

由表2可知，本文所提出的结合分块ST与PCA的方法在识别时间和识别率两个方面具有明显优势，可以实现大样本数据库的快速甄别.究其原因，TDPCA、BDPCA和 KPCA作为 PCA的延伸，旨在压缩特征维数，特征结构多次变化；ICA假设训练库图像彼此独立，但实际每人的图像多于 1张，不能排除其绝对独立性；FLD为保证样本在新的子空间有最大类间距离和最小类内距离，强调不同样本的差异，但不同掌纹间的差异较小；LPP为维持原样本的非线性流形，提取的是最佳描述特征，没有分类特点.而 PCA由于不受外加条件约束，大大降低特征提取时间的同时能够准确实现主要成分提取及降维.

表2 基于分块ST的识别率和识别时间比较Tab.2 Recognition rates and time cost for one identification by different methods based on blocked ST

为验证所提特征的有效性，对其他几种常见的特征进行了比较，分块 ST可以表征样本的局部特性，故本文选取其他表征局部特性的特征，如 LBP(local binary pattern)，LBP算子可以表示为，其中：riu2代表采用 LBP的旋转不变均匀模式，最大旋转量为 2；R代表采样半径；P代表采样点.本文选取 3种LBP算子、和进行实验，LBPm是3种算子的连接.另外，二维掌纹识别中，经Gabor滤波器作用的竞争编码方法识别率高，速度快，本文采用Gabor滤波器滤波得到的方向特征来测试其在三维掌纹分类上的性能.除此之外，直接应用MCI、GCI、ST特征进行主成分分析的算法也用来做对比.为评价不同特征的分类效果，根据流程图 3，实验统一采用L1范数.实验结果如表3所示.

表3 不同特征的实验结果Tab.3 Results by using different features

从表 3可以看出，在分类器相同的情况下，本文所提特征-分块ST比其他特征具有更好的区分性，即其可以更好表征三维掌纹数据的形貌特征.

为验证所提方法的优势，对三维掌纹识别领域比较常用的方法，如基于MCI与GCI的和运算识别[11]、基于 ST的差运算识别[11]、基于 ST的稀疏表示识别[18]、基于主曲率的局部相关性识别[13]，进行对比，另外直接采用 ST直方图特征及不同的距离分类器如L2-norm、Cos也用来做比较，结果如表4所示.

表4 不同方法的实验结果Tab.4 Results by using different methods

从表4可看出，直接采用GCI、MCI和主曲率作特征，识别率较低；基于 ST差运算的方法由于采用平移n个像素分别匹配的策略相对耗时长，不适于快速实时识别；基于ST直方图、Cos分类器、L2范数及ST稀疏运算的方法有一定优势.而采用本文所提出的分块ST与PCA结合的方法可以在35,ms内实现匹配识别，即可在35,ms内从400个类、4,000个训练样本中快速实现人体身份认证，缩短了识别所需时间，同时提高了识别率.

在模式识别领域，分块匹配的方法被广泛应用[27-29]，具体包括无重叠分块和重叠分块.无重叠分块显著的优势是原理及算法简单、计算效率高、易于理解，同时也可以很好体现统计规律.而重叠分块因为特征多，存在数据量大、计算效率低的缺点，但同时也有一定的优势.重叠分块主要分为以下 2类：①将n×n的图像以每个像素为中心分割成每块含有m×m像素的小块，形成n×n个小图；②块与块间保持 t个像素的重叠.从识别率来讲，重叠分块的效果优于无重叠分块.但对于不同的特征，重叠分块也会出现相反的情况，且存在数据量大、计算效率低的缺点.针对突破样本容量局限性、满足实时识别需求的目的，本文选择了无重叠分块.为比较和分析无重叠分块和重叠分块的优劣问题，采用不同的 ST分块数进行识别实验，结果如图4所示.

由图 4可知，分块数较小时，局部特征和细节特征会丢失，识别率较低；分块数越大，统计规律变差，计算量增加，导致识别速度减慢，而识别率并没有大幅提升，反而有下降的趋势.通过几种典型的重叠分块对比实验结果表明，有重叠分块的特征所占空间增大，识别时间大幅提升，识别率却没有明显提高.故本文选择10×10无重叠分块方法进行三维掌纹特征的识别.

图4 不同重叠方法比较Fig.4 Comparison of different overlap methods

本文所有实验均基于 PolyU已经提取好的三维掌纹ROI区域.在实际应用中，ROI区域的提取对识别结果影响很大.为验证本文所提方法对图像位移不敏感，将测试库图像分别在上、下、左、右、左上、左下、右上和右下8个方向进行2个像素的位移，重新与训练库图像进行识别，结果如表5所示.

表5 不同方向位移的实验结果Tab.5 Results by shifting to different directions

从表5可以看出，测试库图像无论向哪个方向移动，识别率均无大幅下降，即与原实验(无位移)结果比较接近.从而验证了所提方法对图像位移的不敏感性，满足了实际应用的需求.

虽然所提方法对图像位移不敏感，但实验中依然有错误识别.究其原因，由于所提三维掌纹识别方法将三维掌纹映射于二维曲率计算曲面类型 ST，实质上是根据手掌表面所具有的凹凸性进行不同手掌的判别.而对于大数据库来讲，不同人体的手掌相似度还是比较高，导致提取出的 ST特征类似，PCA提取出的主成分更加类似；另外，多重结构特征提取也会造成识别误差.错误识别的实例如图5所示.

图5 不同三维手掌ROIFig.5 3D ROI images of different palmprints

5 结 语

样本容量小和识别速度慢是目前三维掌纹身份认证技术中亟待解决的关键难题.本文提出了一种结合分块 ST与主成分分析的三维掌纹识别新方法.以分块 ST图像的直方图作为特征，降低三维掌纹数据的维数与后续计算量；主成分分析映射数据到更低维的空间，再次提升算法效率；另外，由于ST特征具有一定的缩放不变性、直方图对微小的位置偏差不敏感等优点，本文所提方法的识别率得到极大提高.在 4,000样本的情况下，所提方法能够在 35,ms内实现单一样本的快速识别，突破了样本容量局限性，实现了实时识别的需求.因此，与三维掌纹识别领域的已有方法相比，本文提出的方法在识别精度和速度上有很大提高，可满足一些领域的应用需求.

［1］Duta N. A survey of biometric technology based on hand shape[J].Pattern Recognition，2009，42(11)：2797-2806.

［2］Kong A，Zhang D，Kamel M. A survey of palmprint recognition[J].Pattern Recognition，2009，42(7)：1408-1418.

［3］Zhang D，Kong W K，You J，et al. Online palmprint identification[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25(9)：1041-1050.

［4］Shekar B H，Harivinod N. Multispectral palmprint matching based on joint sparse representation[C]//IEEE Conference on Computer Vision and Pattern Recognition.Jodhpur，India，2013：1-4.

［5］Zhang Z H，Huang S J，Xu Y J，et al. 3D palmprint and hand imaging system based on full-field composite color sinusoidal fringe projection technique[J].Applied Optics，2013，52(25)：6138-6145.

［6］蒋景英，胡晓东，徐可欣，等. 基于掌纹图像相关匹配的重复定位技术[J]. 天津大学学报，2003，36(3)：300-303.Jiang Jingying，Hu Xiaodong，Xu Kexin，et al. Repetitive positioning technology based on correlation matching of palmprint image[J].Journal of Tianjin University，2003，36(3)：300-303(in Chinese).

［7］岳 峰，左旺孟，张大鹏. 掌纹识别算法综述[J]. 自动化学报，2010，36(3)：354-365.Yue Feng，Zuo Wangmeng，Zhang Dapeng. Survey of palmprint recognition algorithms[J].Acta Automatica Sinica，2010，36(3)：354-365(in Chinese).

［8］Chen X J，Jie T，Xin Y. An algorithm for distorted fingerprint matching based on local triangle feature set[J].IEEE Transactions on Information Forensics and Security，2006，1(2)：169-177.

［9］Li W，Zhang D，Lu G M. A novel 3-D palmprint acquisition system[J].IEEE Transactions on Systems，Man and Cybernetics，Part A，2012，42(2)：443-452.

［10］PolyU 2D and 3D palmprint database[EB/OL]. http://www.comp.polyu.edu.hk/～biometrics/，2016.

［11］Zhang D，Lu G M，Li W，et al. Palmprint recognition using 3D information[J].IEEE Transactions on Systems，Man and Cybernetics，Part C，2009，39(5)：505-519.

［12］Li W，Zhang L，Zhang D，et al. Efficient joint 2D and 3D palmprint matching with alignment refinement[C]//IEEE Conference on Computer Vision and Pattern Recognition.San Francisco，America，2010：795-801.

［13］Zhang D，Kanhangad V，Luo N，et al. Robust palmprint verification using 2D and 3D features[J].Pattern Recognition，2010，43(1)：358-368.

［14］Li W，Zhang D，Zhang L，et al. 3D palmprint recognition with joint line and orientation features[J].IEEE Transactions on Systems，Man and Cybernetics，Part C，2011，41(2)：274-279.

［15］Yang B，Wang X，Yao J，et al. Efficient local representations for three-dimensional palmprint recognition[J].Journal of Electronic Imaging，2013，22(4)：1-8.

［16］Liu M，Li L. Cross-correlation based binary image registration for 3D palmprint recognition[C]//IEEE Conference on Signal Processing. Beijing，China，2012：1597-1600.

［17］李春燕，卢光明，黎 伟. 基于曲面曲率和 RFLD 的3D掌纹识别方法[J]. 中国图象图形学报，2011，16(5)：807-812.Li Chunyan，Lu Guangming，Li Wei. 3D palmprint recognition based on surface curvature and RLDA[J].Journal of Image and Graphics，2011，16(5)：807-812(in Chinese).

［18］Zhang L，Shen Y，Li Y H，et al. 3D palmprint identification using block-wise features and collaborative representation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2015，37(8)：1730-1736.

［19］Shang L，Huang D S，Du J X，et al. Palmprint recognition using FastICA algorithm and radial basis probabilistic neural network[J].Neurocomputing，2006，69(13/14/15)：1782-1786.

［20］Yu H，Yang J. A direct LDA algorithm for high dimensional data with application to face recognition[J].Pattern Recognition，2001，34(10)：2067-2070.

［21］Laadjel M，Al-Maadeed S，Bouridane A. Combining Fisher locality preserving projections and passband DCT for efficient palmprint recognition[J].Neurocomputing，2015，152(C)：179-189.

［22］Zhang D，Zhou Z H.(2D)2PCA：Two-directional twodimensional PCA for efficient face representation and recognition[J].Neurocomputing，2005，69(1)：224-231.

［23］方蕙兰，王国谨. 三角网格曲面上离散曲率估算方法的比较与分析[J]. 计算机辅助设计与图形学学报，2005，17(11)：2500-2507.Fang Huilan，Wang Guojin. Comparison and analysis of discrete curvatures estimation methods for triangular meshes[J].Journal of Computer-Aided Design & Computer Graphics，2005，17(11)：2500-2507(in Chinese).

［24］Besl P J，Jain R C. Segmentation through variable-order surface fitting[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1988，10(2)：167-192.

［25］Woodard D L，Flynn P J. Finger surface as a biometric identifier[J].Computer Vision and Image Understanding，2005，100(3)：357-384.

［26］Cantzler H，Fisher R B. Comparison of HK and SC curvature description methods[C]//Proceedings Third International Conference on 3-D Digital Imaging and Modeling. Quebec City，Canada，2001：285-291.

［27］Wang Y X，Ruan Q Q. Dual-tree complex wavelet transform based local binary pattern weighted histogram method for palmprint recognition[J].Computing & Informatics，2012，28(3)：299-318.

［28］Mu M R，Ruan Q Q，Shen Y S. Palmprint recognition based on discriminative local binary patterns statistic feature[C]//IEEE Conference on Signal Acquisition and Processing. Bangalore，India，2010：193-197.

［29］Jia W，Hu R X，Lei Y K，et al. Histogram of oriented lines for palmprint recognition [J].IEEE Transactions on Systems，Man & Cybernetics Systems，2014，44(3)：385-395.