利用特征距离信息引导决策融合的多模态生物特征识别方法

周晨怡，黄 靖*，杨 丰，刘娅琴

(1.南方医科大学生物医学工程学院，广州 510515；2.广东省医学图像处理重点实验室(南方医科大学)，广州 510515)

随着互联网应用的普及，人们在越来越依赖互联网的同时，信息安全也面临着较大的风险。为了保证个人隐私信息的安全性，除了用户要提高个人信息保护意识以外，基于生物特征识别的身份验证技术也亟待提升。单一模态的生物特征识别技术由于易受噪声污染[1]且复制和伪造难度低[2]，无论是在识别率还是稳定性上都不能达到完美的结果[3]。因此研究者们针对以上缺点提出了多模态生物特征识别技术，通过融合面部、指纹、掌纹、声音和虹膜等[4]多种特征来提高生物特征识别的稳定性、准确性和不可伪造性[5]。

生物特征识别系统分为图像采集、特征提取、特征匹配以及分类决策四个阶段。根据融合的阶段不同，多模态生物特征融合方法可分为四类，即传感器层融合[6]、特征层融合[7-8]、分数层融合[9-10]以及决策层融合[11-12]。传感器层融合是将多个采集器采集到的数据进行拼接，因此对采集装置的要求较高。特征层融合是指将多个模态的特征向量进行融合，从而使融合后的特征向量具有比单模态更强的识别能力[12]。分数层融合是指在识别过程中生成一个多模态匹配分数[13]，并对其使用归一化等方式提高匹配精度。决策级融合则是将多个分类器的分类结果融合得出最终决策[14]。其中，特征层融合作为信息量最多的融合层，理论上能够取得最佳的识别效果[4]，但是由于异质特征融合过程中会存在不同生物特征难以兼容的问题，在特征层融合的难度较大[15]，常见的特征层融合方法有典型相关分析法(canonical correlation analysis, CCA)[16-17]以及判别相关分析法(discriminant correlation analysis, DCA)[12]等。

决策层作为高层次的融合，它所需处理的数据量相比起其他层次小，通信量小，抗干扰性较强[18]。Kittler等[19]提出使用简单的逻辑“与”“或”运算，即AND规则和OR规则进行融合。但是由于决策层融合所涉及的信息量过小，提升的程度有限，因此虽然其简单可行，但是在处理中会忽略特征之间的内在联系。Sinha等[20]提出使用加权投票进行表决，即在各个分类器相同权重的情况下，以“少数服从多数”的方式得出最终决策。为了进一步提高准确性。Pinar等[21]使用模糊决策进行决策层融合，即应用模糊集合论把不易量化的因素和信息进行量化处理，再通过模糊集合的数学运算，变非定量决策为定量决策。但是以上的方法只是针对决策层的少量信息进行融合，受各模态分类性能差异和外部噪声等因素影响较大。

为了弥补决策层信息不足的缺点，提出一种基于特征信息引导的决策层融合方法，应用于虹膜、手指静脉和手掌静脉三种模态的身份识别。利用特征距离的分布信息对决策融合进行引导，同时增加分类器分类性能参数作为决定置信度的另一个主要因素，不仅在特征层面上，更在分类性能的层面上对置信度进行定量的描述，从而完善本文提出的多模态生物特征识别系统，同时达到识别精度和抗干扰能力的提升。

1 单模态生物特征

为了提高身份认证的安全性，使用虹膜、手指静脉和手掌静脉三种单模态特征进行融合。静脉识别由于其活体识别和不外显的特点[22]，能够提高识别系统的安全性。同时，三种模态在特征上相互独立且互补[23]，使入侵者很难同时伪造用户的多组生物特征[24]。针对不同模态特征，下面将根据各模态生物特征的特性进行预处理。

1.1 虹膜特征

虹膜为位于黑色瞳孔和白色巩膜之间的环形可视区域，包含细丝、斑点、冠状等丰富的纹理结构。这些特征在婴儿发育阶段形成后，便具有终身不变性[25]，窃取和复制虹膜的难度大，因此虹膜识别方法的安全性较高。虹膜识别中，对虹膜图像的预处理和虹膜区域的定位会影响其识别率。为了准确地定位虹膜的内外边界，去除发丝和眼睑的干扰，使用Canny算子检测图像边缘，采用Hough变换定位瞳孔以及虹膜边界[26]。

1.2 手指静脉特征

手指静脉不同于传统的指纹，其中流动中的血液可吸收特定波长光线，形成清晰的静脉图像[27]。手指静脉识别是根据手指有规则的定向排列的条状静脉纹路进行身份识别，因此其拥有特征不外显，不易于窃取的优点[28]。在手指静脉进行识别之前，需要对其进行预处理操作，对手指区域提取出感兴趣区域(region of interest, ROI)，再经过自适应局部对比度增强[29]算法完成对手指静脉图像的预处理。

1.3 手掌静脉特征

手掌静脉与手指静脉同为活体识别，包含静脉多且重复概率低于指纹[22]，同样了受到身份鉴别领域的青睐。由于手掌静脉识别性能的高低很大程度上取决于手掌静脉图像的质量[30]，因此采用文献[31]的增强方法，对原始的手掌图像进行去掌纹的静脉图像增强处理。

1.4 特征识别过程

为了方便验证多模态生物特征识别方法的识别性能与抗干扰能力，对所有单模态生物特征采用主成分分析方法(principal component analysis, PCA)[31]进行压缩并提取特征，计算两幅图像之间的特征距离，将待测图像按最近邻分类法进行分类，得识别结果。

2 基于特征信息引导决策融合的多模态生物特征识别方法

以虹膜、手指和手掌静脉三种特征组成多模态生物特征识别系统，识别系统的框架如图1所示。

2.1 决策融合的权重计算

2.1.1 特征距离的归一化

为了丰富决策层的信息，利用特征层的距离信息辅助引导决策层融合，根据特征距离信息计算各模态的置信度，用置信度进行权重判定，从而得出预测结果。

图2 特征距离分布及量纲

根据文献[9,32]研究分析，对于特征匹配距离来说，真值距离(即识别正确的匹配距离)和假值距离(即识别错误的匹配距离)分布的非重叠区域越大，则该模态的特征识别能力越强，越不容易识别错误。

首先计算一个基于真值距离和假值距离之间的非重叠区域参数作为量纲：

γk=max(Imp,k)-μ(Imp,k)+μ(Gen,k)-min(Gen,k)

(1)

式(1)中，μ表示均值；Gen,k为真值距离集合；Imp,k为假值距离集合，对于三模态的生物特征识别系统来说k=1,2,3。由式(1)可知，γk为图2中的非重叠区域。γk越高，则说明距离之间的区分度越高，分类能力越强。考虑到重叠邻域存在介于均值和极值之间的距离分数，去除重叠邻域使γk更体现距离的区分能力。

(2)

2.1.2 置信度及权重的计算

在识别系统中，拒识率(false rejection rate，FRR)是衡量系统分类性能的一个重要参数。拒识率是指系统将真正的合法个体拒绝，从而造成的出错概率，其值越低，系统的性能越好。在多模态识别过程中，模态间的分类性能差异会降低系统的识别精度。因此，将拒识率纳入模态置信度的计算，有利于融合系统有效地提取分类能力的信息。根据特征距离信息以及拒识率，计算每个模态的置信度为

(3)

计算每个模态在决策层融合的权重为

(4)

模态权重值反映了各模态的子分类结果在决策中所处的地位，因此会直接影响到最终决策的质量和效果。选择融合系统的特征距离信息以及分类拒识率作为权重因子的两个主要参数。权重因子越高，该模态的分类能力越强，对于最终决策的影响力越大。

2.2 决策层融合

在决策融合时，利用式(4)计算得出的权重因子作为子决策的权重得出最终决策H：

(5)

(6)

式中，Hk为每个子模态的识别结果;Cj为目标类别。

本文所提出的基于特征信息引导的决策融合方法，通过计算每一模态匹配时的距离量纲[图2和式(1)]获得包含模态区分能力的特征距离信息。由于特征距离来自不同模态，其匹配距离所包含的信息不同，为非标准化的特征距离。本文的优点在于不追求其标准化，而是通过提取特征距离在分布上的有效信息，加上系统的拒识率，得到该模态的置信度。将这个置信度通过数学映射得出权重，从而引导进行决策级的融合。所提出的决策融合策略是根据数量庞大的统计结果和一定的学习方式，权衡对比匹配从而得出最终的决策结果。

3 实验结果与分析

由于目前暂无公开的多模态生物特征数据库，且研究[35]表明两个个体之间生物特征在统计学上是独立的，因此将三种模态数据库进行随机的1对1匹配，组成一个虚拟的同源多模态数据集。数据库中包括100位用户，每位用户分左右侧各采集6个样本。如图3所示，每个样本包括1幅虹膜、1幅手掌静脉和3幅手指静脉图像。其中，虹膜图像来自CASIA-IrisV4数据库，分辨率为640×480；手掌静脉图像采用香港理工大学生物特征识别研究中心(PolyU_BRC)手掌静脉数据库中的ROI图像，原始图像大小为128×128的256色灰度图像；手指静脉图像选取山东大学机器学习与数据挖掘实验室的SDUMLA-HMT手指静脉数据库，大小为320×240像素，包含了食指、中指以及无名指的手指静脉。本文实验的测试环境为安装了MATLAB软件(版本:2015年)的台式计算机，主机配置：CPU为Intel(R)Core(TM)i5-6500 @ 3.20 GHz，安装内存为8GBRAM。

图3 多模态特征识别数据库范例

为了验证本文提出的基于特征距离信息引导的决策层融合算法的有效性和鲁棒性，共设计了4个实验：

实验1比较在不同的训练样本数下，本文方法的识别时间和识别率。

实验2比较在不同模态的组合之下，多种决策融合方法的性能，验证本算法在不同的多模态系统下的有效性。

实验3为了验证本算法充分利用特征层等前项信息的假设，在系统增加特征融合，对多种决策融合方法的性能进行比较。

实验4为了验证本识别系统在复杂情境下具有自适应能力的假设，比较在PCA特征能量较低情况下，不同决策融合方法的性能优劣。

3.1 实验1

在使用PCA算法压缩多模态特征向量空间时，需要把数据库中图像分为训练集和测试集，并且训练集和测试集的比例会影响到最后的测试结果。为了选择最佳的参数，实验通过改变每类训练样本的个数(N=2,3,4,5)得到不同的识别率，其中类内总数为6。在其他条件相同的情况下，比较不同训练样本个数下多模态识别系统的识别率和识别时间，实验结果如表1所示。

表1 不同训练样本个数下的识别时间和识别率比较

通过表1可以看出，随着训练样本个数的增加，多模态生物特征系统的识别率逐渐增长，当N≥3时，识别率已经达到最优，但识别时长也逐渐增长。因此选择训练样本数为3，既保证了识别的精度，又缩短了运行时间。

3.2 实验2

根据实验1的结果，选择每类训练样本个数为3。为了验证本文提出的决策融合算法的有效性，分别选择双模态模式：虹膜和手掌静脉，虹膜和手指静脉，以及三模态模式：虹膜、手掌和手指静脉进行特征匹配，比较四种决策层融合算法的识别率。

从表2可以看出选择AND规则的识别率在各模式下均为最低。除此之外，对于使用模糊决策和投票方法，增加模态后识别率确有提升，但无论是双模态还是三模态下均低于本文提出的方法，说明了在增加特征匹配的距离信息和分类性能作为决策权重指标之后，系统识别效果提升。

表2 不同模态下各种决策融合方法的识别率对比

3.3 实验3

由表2可知，本文提出的算法相比于其他决策融合算法，识别效果更优。为了进一步证明本文算法融合了特征层信息丰富的优点，对实验2中的三模态识别系统继续进行实验。在保证三模态识别系统其他部分不变的情况下，在手指静脉模态中增加了特征层融合——使用典型相关分析CCA[16, 37]以及判别相关分析DCA[12]融合食指、中指以及无名指的手指静脉特征，观察其对最终的识别结果造成的影响，其中CCA和DCA分别可以通过并行[38-39]和串行[38-39]方法进行融合。

表3 多模态下各种决策融合方法的识别率对比

通过表3可以观察到，使用不同的特征融合方法，都会给AND规则、模糊决策和多数投票的决策融合方法带来识别率的提升(2.67%～15.66%)。但是对于本文提出的方法而言，增加特征层的融合方法，系统的识别率并没有提升，这证明了本文所提出的方法已经充分地利用特征层级的丰富信息应用于决策，不需要再进行额外的特征融合。本文提出的算法补充了特征距离和分类性能参数的信息，对识别精度的提升优于一般决策融合算法。

3.4 实验4

在使用PCA算法对特征向量空间进行压缩的过程中，需要选择保留的特征主成分能量百分比，即保留了原特征向量空间内信息的百分比。为了验证本识别系统在复杂情境下的自适应能力，以实验3为基础(保留手指静脉模态中的特征融合)，在保证其他条件相同时，降低特征分量的主成分能量百分比，模拟环境噪声较大时，单模态识别性能下降的情况。在改变特征主成分能量(从25%变化至95%)下，图4为使用串并行CCA和串并行DCA的特征融合后，不同决策融合算法的识别率曲线。通过图4可以很明显地发现，模拟识别系统出现噪声时，AND规则、模糊决策和多数投票的决策融合算法的识别能力均低于本文算法，尤其在特征主成分能量较低时，差距更加明显。这说明了本算法在特征主成分能量较低时，可以通过计算置信度获得特征匹配分数中含有的有效信息，通过权重动态地调整各模态对最终决策的影响。在图4的各融合系统下，本方法的识别率均远优于其他方法，并且当特征主成分能量为25%时，差距最明显，即当特征信息最匮乏时，系统噪声最大，本文算法可以通过特征距离信息和分类性能参数，使系统在此复杂情境下更具鲁棒性。

图4 不同决策融合算法的识别率曲线

4 结论

以多模态生物特征识别系统为研究对象，提出了通过特征距离信息引导的决策融合算法，得到如下结论。

(1)本文提出的多模态的生物特征融合识别系统充分发挥了虹膜特征安全性高、手指和手掌静脉纹理特征识别率高的优点。特别是增加了以活体检验为特点的静脉识别，大大提高了多模态识别系统的安全性。同时本文提出的融合策略在分配权重的过程中加入了前端特征层的距离信息和分类器的分类性能参数，充分利用了原始图像的数据信息，具有很强的实用性，使得融合系统在提高效率的同时，对准确性以及可靠性都有了提高。

(2)在系统噪声水平较高，特征有效信息较少时，本文基于特征距离信息引导的决策融合方法表现优于其他融合算法，证明了其在噪声较大的复杂情境下可以通过补充特征距离信息及分类性能参数达到识别精度提升的效果，使系统更具鲁棒性。