基于模板价值评估的生物特征自更新方法

陈曦 于明

摘要 为了控制生物识别系统中模板数量和降低错误拒绝率，可以通过特征自更新的方式应对类内变化从而保持系统模板集合的有效性。本文提出基于模板价值评估的通用型生物模板自更新选择方法和其加速版。该方法首先定义用于评估模板价值的“可表达性”和“唯一性”概念，通过匹配过程产生的信息评估和计算样本的价值权重，然后利用记录表保存并更新模板的价值得分，在1个更新轮次结束后，根据每个模板的价值得分生成新模板集合并去除离群点。加速版本的方法在相同的处理框架下可以满足系统实时性的要求。在不同生物特征数据库中进行的实验结果表明，提出的方法可以显著改善生物识别系统的错误拒绝率和等错误率指标。

关 键 词 生物识别;模板自更新;价值评估;类内变化;模板选择

中图分类号 TP301     文献标志码 A

Self-update method of biometrics based on template

usefulness assessment

CHEN Xi， YU Ming

（School of Electronics and Information Engineering， Hebei University of Technology， Tianjin 300401， China）

Abstract Automated template self-update is a reliable method to reduce the number of templates and decrease the false rejection rate （FRR） in a biometric system to account for intra-class variations in biometric data. This paper proposed an effective biometric template update method and an accelerated version based on templates usefulness assessment. The proposed method first defined the representativity and uniqueness in assessing the template value， then stored and updated the value weights during identification procedure by the record table. Finally， the method selected new template set and removal outliers by this table after an update round. The accelerated version adopted the same framework that satisfied the real-time requirement. Several experiments on datasets from different biometric traits show that the proposed approaches can improve the performance of biometric systems according to the indicators as FRR and equal error rate （EER）.

Key words biometrics; templates self-update; usefulness assessment; intra-class variations; template selection

0 引言

與传统的认证方式相比，生物特征具有不易伪造、不会丢失等优点。访问控制和法医学验证是生物识别技术最初的应用场景[1-2]。近年来由于硬件和识别算法的快速发展，安全、便利的生物识别系统已广泛用于楼宇、海关、银行和监狱等高安全需求的场所。然而生物特征在不同的样本间往往存在着差异，同一主体不同样本之间的差异称为类内变化。特征类内变化可以分为模板老化和短期变化两大类。模板老化是一种与时间相关的永久性变化，主要由人体生理变化和传感器老化或退化造成[3]。短期变化是由不同采集环境造成的不可预测的类内变化。例如不同样本间光照和姿态的差异，墨镜、涂鸦等装饰或污渍[4-6]。图1给出了一些类内变化的样本实例。

基于最近邻分类器的生物识别系统，依据输入样本与系统存储模板集的相似度进行身份辨识，若模板集中没有包含足够的类内变化信息，会造成错误地拒绝真实注册人员的频率提高，即增加错误拒绝率（FRR），这会使系统的识别性能下降。扩展模板集或用户重新注册似乎简单有效，但是考虑到系统存储空间和处理速度，每个注册者的模板数量不宜过大。而且在很多实际应用中为了保证系统的安全，用户注册需要在特定部门或人员监督下进行。因此重新注册对于很多系统来说是一个复杂的过程。许多文献已经分析了类内变化对生物识别系统的影响[7-9]，但是针对此问题的解决方案的研究却很少。特别是近年来，对这一课题的研究相当有限，几乎停滞不前。通过对系统模板集的定期更新使系统自适应各种类内变化可以有效解决这个问题[10]。因此如何评估现有模板的价值，并从认证样本序列中选择新模板是一项极具挑战性而且至关重要的课题。

当前生物特征自更新方案可以大致可分为模板融合和模板重选两种。模板融合通常针对模板老化问题，对模板的局部进行完善。通过收集对改善识别效果有益的局部信息构造一个完美模板[10-11]。然而对于此类方法，更新目标和被更新目标必须在稳定的采集环境下精确地进行点对点配准。一些指纹识别、虹膜识别等基于关键点配准的生物识别系统采用了这种框架。然而它们并不适合于大多数非接触式系统，例如人脸识别系统。模板重选方法一般应用模板自动选择方案，从输入样本中选择价值较高的新模板替代当前系统中的模板。例如，经典的DENT算法[12]应用分层聚类，各聚类中心被认为是各种类内变化的代表。为了保证系统模板集不被污染，MDIST[12]选择了具有最大类内相似性的子集作为模板集。随后为了提高它们性能，研究者又提出MDIST*[13]、FCM[14]、GMMS[15]等聚类方法。此外研究者还提出基于匹配相似度[16-17]、信息熵评估[18]、蚁群优化[19]和最小图分割[20]等方法。然而以上方法都是为特定的生物特征而设计，并在某一种生物特征数据库中进行测试，并非通用型框架。还有一类方法是多模态生物特征协同更新[21]。研究者发现系统中应用多种生物特征识别可以将高置信度的特征识别结果辅助其他生物特征识别和更新。虽然这种策略总体上优于自更新方案，但其仅仅适用于多模态系统。

基于以上讨论，本文提出一种基于模板价值评估的生物特征更新方法，即最大化渗透率方法（Maximize Penetration， MP）。在批处理模式下，MP使用一种称为记录表的存储结构保存辨识过程中产生的信息，并以此评估当前模板价值用于指导模板集合更新。MP算法流程图如图2所示，系统提取特征生物特征后，将特征与系统数据库中存储的模板M和候选模板Mc匹配，记录表保存从中产生的各种匹配信息。根据本文定义的模板价值评估方式，对记录表中的价值权重进行更新，并根据其做出最终模板更新决策。针对不同时间耗费需求的系统，本文还提出了MP算法的加速版A-MP，在同样的框架下虽然A-MP在精度上比MP略逊一筹，但处理速度显著提升，可以满足系统对模板自更新模块的实时性要求。

1 模板价值评估

自适应系统在更新轮次R的周期内从认证样本序列中筛选候选模板，并在当前模板和候选模板中根据模板价值评估选择新的模板集合。更新轮次用于控制模板自更新的频率，R等于1个更新周期内认证样本的数量。模板价值可以从“可表达性”和“唯一性”两个方面來评估。模板的可表达性表示其认证类内变化的能力，若模板可以成功辨识的样本越多，它的可表达性能力越强。模板唯一性与模板可表达性恰恰相反，它表示可以成功辨识某样本的模板数量，数量越少，表示对于该样本及其模板唯一性越强。本文使用可表达性进行模板的价值评估，然后使用唯一性更新模板价值权重。

生物识别系统一般采用1个固定的认证阈值[ts]对输入样本进行身份鉴别。基于模板价值评估的生物特征自更新方法MP使用记录表[TR]作为存储空间保存以[ts]为认证阈值的系统中，模板价值的评估结果和权重。[TR]是1个大小为[R×T]的二维表单，其中[T=N+K]，N是候选模板空间[Mc]大小，K为模板集M的大小。当对样本s进行辨识，[TR（s，m）]通过式（1）评估每个模板的价值，并通过式（2）进行模板价值权重w的计算。

[TR（s，m）=True，     if  match（s，m）>ts，False，     otherwise。] （1）

[c=j=1K+N[match（（Λ）j，s）>ts]，w=1/c。] （2）

式中：c为常数;[Λ]为当前模板和候选模板的并集，即[Λ=M?Mc]。[·]操作符计算符合括号内逻辑表达的模板数量。显然[w≤1]，[w]越大表示该模板的唯一性越强。记录表[TR]根据1个更新轮次中每个样本的认证结果，使用式（3）对[Λ]中的每个模板进行价值评估和权重更新，最终通过式（4）获得1个更新轮次内模板[m*]的价值总和v。

[TR（*）=TR（*）+w]， （3）

[v=j=1K+NTR（m*，mj） 。] （4）

记录表[TR]的示例如图3所示，列索引[m1]～[mT]表示[Λ]中的[T]个样本，行索引[s1]～[sR]表示1个更新轮次内[R]个认证样本。[TR（s，m）]表示对应模板和样本间产生的价值权重，v是根据列相加得到最终模板价值总和。[TR]是整个MP算法的核心，它不仅用于生成新模板集，也会指导候选模板的筛选和离群点去除。

2 候选模板筛选和新模板生成

为了最大化新模板的价值并降低模板污染的风险，模板自更新方案往往采用1个更严格的阈值筛选候选模板，但是这种策略会造成M中的模板相似度过高，不能保存充足的类内变化。因此本文使用更新阈值[tt]用于筛选候选模板，[tt]是1个比认证阈值[ts]更严格的阈值。若样本[s]与[Λ]中某些模板相似度更高，表示[s]的唯一性有限，那么它处理类内变化的能力有限，而且可以被当前模板取代，因此不适合作为新模板的候选。否则将[s]选作候选模板，并根据式（6）替换掉[Mc]中价值权重最低的模板[m′]。

[m′=arg mint∈Tc v（Mc）， v（s）=v（m′），s=m′。] （5）

值得说明的是，有两类样本只用于更新MP算法中的模板价值权重[w]而不会被选为候选模板。第1类是不满足更新阈值的样本，前文已表。第2类是样本未通过当前模板集的认证，但是通过了候选模板集的认证。这表示虽然其认证失败，却可能包含有益于评估Mc中模板的信息。

1个更新轮次内可被成功辨识的样本数量如式（5）表示。为了降低FRR，模板更新的目的是使新模板集M*可以将成功认证样本的数量[Ψ（M）]最大化，如式（6）所示。记录表[TR]记录的价值总和v可以通过逻辑或运算方便的得到表中更新位置，然后计算出每个样本的价值权重，因此模板自更新问题最终被转化为从[Λ]中选择权重[v]最高的子集[M*]的过程，如式（7）所示。

[Ψ（M）=i=1K{s|match（mi，s）>ts}。] （6）

[M*=arg maxM?ΛΨ（M）。] （7）

由于要平衡错误识别率（FAR）和FRR，因此候选模板空间可能包含了离群点。如果离群点最终被选为模板，会造成模板污染的隐患，并最终严重危害系统安全。因此MP方法设置价值权重阈值[tv]，并根据式（8）进行离群点消除。[Λ]去除离群点后记为[Λ*]。包括离群点去除过程的MP算法新模板生成将在[Λ*]中选择。

[Λ*=i=1Tv（mi）mi?Λ>tv]。 （8）

至此新模板生成方法已经很直观：去除离群点后的模板空间[Λ*]包含[Λ*=T′]个模板，[Λ*]中选择K个样本子集的方式有[CKT′]个，新模板集[M*]将选为[CKT′]组合中价值权重最高者。

3 MP方法的加速

MP方法的时间复杂度为[O（nK）]，其中K是模板集的大小。若系统计算能力有限或对模板更新方法的实时性要求较高，那么MP可能不能满足系统需求。因此文章提出1种MP加速方法A-MP。A-MP以顺序模式执行，设置更新周期R = 1，A-MP会在每次样本辨识后对[Λ]进行更新。A-MP与MP框架一致，当s被选为候选模板后，直接将Mc中价值权重极小的模板替换为s并将其价值权重赋值为被替换者，如式（5）所示。接着，根据TR比较Mc中权重最大模板和M中权重最小模板，若候选模板中存在不可替代权重超过正选模板，进行两者交换。A-MP规定每个认证轮次至多交换一对模板。在这种情况下，A-MP的时间复杂度仅为[O（n）]，可以满足系统对实时性的要求。

A-MP方法中候選模板筛选虽然与MP一致，但对于MP，[Λ*]在新模板选取的机会平等，而A-MP将新入选的候选模板可信度置为最低，从[Λ]中选择新模板集。这可以一定程度防止模板污染，但其极短的更新轮次可能在更新过程中存在多次反复交换的过程，即模板震荡，这是A-MP算法的劣势。

4 实验与分析

实验在掌纹、掌静脉和人脸3个不同生物特征的数据库进行，以FAR和EER作为评估指标。掌纹数据库（DB1）和掌静脉数据库（DB2）是本课题组采集的样本，包含60掌，每掌约900～1 200个样本。人脸数据库（DB3）使用了CMU Multi-PIE公开人脸数据库[23]。图4中给出了DB1和DB2类内匹配得分与样本时间间隔之间的关系，从结果可以看出掌纹和掌静脉数据库样本没有观测到明显的得分与时间间隔的关系，这是因为掌纹和掌静脉对模板老化具有较强的抵御力，而之前的研究[18]已经证明，人脸数据会随着时间的推移展现出显著的模板退化特性。因此实验数据库既包括具有相对平缓类内变化的掌纹和掌静脉样本，也包括具有相对剧烈类内变化的人脸样本，实验选取的测试数据库可以有效评估所提出方法对不同类型生物识别系统的效果。

实验参数的选择为：MP方法更新轮次R = 45，A-MP中R = 1;价值权重阈值[tv]= 3;人脸认证阈值为[ts]= 0.74，掌纹和掌静脉认证阈值为0.77;更新阈值为[tt=1.2ts]。实验将模板随机选取作为基准方法用于对比本文方法在个性能指标上的表现。为了保持实验结果的一致性，下面的各种测试中随机方案的结果均是10次实验得到的平均值。

在DB1，DB2和DB3中，MP与A-MP在不同认证阈值和不同模板集大小下FRR的结果如图5所示。可以看到所提出的方法，尤其是MP相对于模板随机选取的方法有显著优越性，曲线之间有清晰的间隔。而A-MP在认证阈值较为宽松的时候，因出现模板震荡造成模板集不稳定，造成效果比基准方法略差。

在评估完本文方法对降低FRR的有效性后，我们测试了各对比方法将假样本更新为模板的概率。在生物识别领域这被称为异常引入概率[6]。模板中存在假样本会导致错误识别率（FAR）的增加，这从根本上损害了对生物识别系统的安全性。由于FAR和FRR之间存在此消彼长的关系，因此表1详细列出了在3个不同数据库中FRR和异常引入概率的测试结果。基准方法由于没有模板更新过程，因此此项数据为空。

图6给出了最终各个方法EER的对比结果，EER作为生物识别系统中广泛用于评估系统安全性的指标，可以有效对比各个方法对改善生物识别系统性能。从DB1和DB2中的结果可以看出随着模板数量的增加，所有对比方法对EER的改善有下降趋势。然而DB3中的结果截然相反，这是因为如果模板数量K比较小，具有丰富类内变化的数据在模板集M中无法充分保存，因此模板更新方法仅能有限地提高模板的价值。然而对于DB1和DB2，若模板数量较多，对于类内变化较少的数据随机选取可以保存比较完备的类内变化，因此提高K反而降低了模板更新方法在选择更好价值评估模板上的作用。

对于面向指纹识别系统的DENT、MDIST和FCM，实验结果显示样本无法精确配准、时效果较差，GMMS、MDIST*对于类内变化较小的DB1和DB2效果较好，但是对于类内变化比较丰富的DB3效果较差。FSFDP[22]在3个数据库中均取得了良好的结果并在K较大时的DB1和DB3数据库中优于MP方法的加速版本A-MP，但FSFDP的算法复杂度达到[O（n！）]。通过以上分析和实验结果可以得到一个事实：MP从改善生物识别系统性能的角度考虑具有很大优势。而且，综合算法复杂度和识别效果，在大多数情况下A-MP也相当具有竞争力。

5 结语

本文提出基于模板价值评估的生物特征自更新方法MP作为解决生物识别系统中解决特征类内变化的方案，并提出了MP的加速版本A-MP。MP和A-MP算法利用系统认证时产生的匹配信息对模板价值评估，并根据量化后的模板价值进行模板自更新。在掌纹、掌静脉和人脸3个数据库中进行的对比实验和分析证明了方法的有效性。作为通用型生物特征更新方案，本文方法可以显著降低系统的等错误率。

参考文献：

[1]    DOUGLAS M，BAILEY K，LEENEY M，et al. An overview of steganography techniques applied to the protection of biometric data[J]. Multimedia Tools and Applications，2018，77（13）：17333-17373.

[2]    HOFBAUER，HEINZ，TOMEOREYES I，et al. Isolating iris template ageing in a semi-controlled environment[C]//2016 International Conference of the Biometrics Special Interest Group （BIOSIG），September 21-23，2016. Darmstadt，Germany. IEEE，2016（260）：1-5.

[3]    LANITIS A. A survey of the effects of aging on biometric identity verification[J]. International Journal of Biometrics，2010，2（1）：34-52.

[4]    XIE Y，HU F，YIN Y. Facial expression recognition using intra-class variation reduced features and manifold regularisation dictionary pair learning[J]. IET Computer Vision，2017，12（4）：458-465.

[5]    ELHOSENY M，ELKHATEB A，SAHLOL A，et al. Multimodal biometric personal identification and verification[M]//Advances in Soft Computing and Machine Learning in Image Processing. Cham：Springer International Publishing，2017：249-276.

[6]    CHEN X，YU M，YUE F，et al. A generic template update framework：the solution for intra-class variations in biometric systems[J]. IEEE Access，2019，7：145082-145094.

[7]    KIRCHGASSER S，UHL A. Template ageing in non-minutiae fingerprint recognition[C]//2017 5th International Workshop on Biometrics and Forensics （IWBF），April 4-5，2017. Coventry，United Kingdom. IEEE，2017：1-6.

[8]    TOLOSANA R，VERA-RODRIGUEZ R，FIERREZ J，et al. Reducing the template ageing effect in on-line signature biometrics[J]. IET Biometrics，2019，8（6）：422-430.

[9]    DEWAN M，GRANGER E，MARCIALIS G L，et al. Adaptive appearance model tracking for still-to-video face recognition[J]. Pattern Recognition，2016，49：129-151.

[10]  QIN H，WANG P. A template generation and improvement approach for finger-vein recognition[J]. Information，2019，10（4）：145-152

[11]  LUMINI A，NANNI L. A clustering method for automatic biometric template selection[J]. Pattern Recognition，2006，39（3）：495-497. .

[12]  罗月童，赵兰英，贾伟，等. 基于线特征韦伯局部描述子的掌纹识别[J]. 中国图象图形学报，2016，21（2）：235-244.

[13]  PISANI P H，GIOT R，DE CARVALHO A C，et al. Enhanced template update：Application to keystroke dynamics[J]. Computers & Security，2016，60：134-153.

[14]  MHENNI A，CHERRIER E，ROSENBERGER C，et al. User dependent template update for keystroke dynamics recognition[C]//2018 International Conference on Cyberworlds （CW），October 3-5，2018. Singapore. IEEE，2018：324-330.

[15]  DE MARSICO M，NAPPI M，RICCIO D，et al. Entropy-based template analysis in face biometric identification systems[J]. Signal，Image and Video Processing，2013，7（3）：493-505.

[16]  JIANG Q，WEI F S，FU S，et al. Robust extended chaotic maps-based three-factor authentication scheme preserving biometric template privacy[J]. Nonlinear Dynamics，2016，83（4）：2085-2101.

[17]  RATTANI A，MARCIALIS G L，ROLI F. Biometric template update using the graph mincut algorithm：a case study in face verification[C]//2008 Biometrics Symposium，September 23-25，2008. Tampa，FL. IEEE，2008：23-28.

[18]  ROY A，MEMON N，ROSS A. MasterPrint：exploring the vulnerability of partial fingerprint-based authentication systems[J]. IEEE Transactions on Information Forensics and Security，2017，12（9）：2013-2025.

[19]  LOURENCO A，CARREIRAS C，SILVA H，et al. ECG biometrics：A template selection approach[C]//IEEE International Symposium on Medical Measurements and Applications （MeMeA），IEEE，2014：1-6.

[20]  YUE F，CHEN X. Template selection and update for biometric recognition systems with nearest neighbor classifier[C]//Chinese Control Conference，IEEE，2019：7797-7803.

[21]  CHEN X，YU M，YUE F，et al. A scheme of template selection and updating for palmprint authentication systems[M]//Biometric Recognition. Cham：Springer International Publishing，2017：250-258.

[22]  RODRIGUEZ A，LAIO A. Clustering by fast search and find of density peaks[J]. Science，2014，344（6191）：1492-1496.

[23]  CARNEGIE MELLON UNIVERSITY. CMU Multi-PIE face database[DB/OL]. [2019-05-05] http：//www. cs. cmu. edu/afs/cs/project/PIE/MultiPie/Multi-Pie/Home. htm

[責任编辑    田    丰]