基于进化策略的多模态生物特征融合识别研究

2020-11-10赵子恺朱梁俊

智能计算机与应用 2020年5期

陈俊, 赵子恺, 朱梁俊

(中国计量大学机电工程学院, 杭州310018)

0 引言

近些年来,传统的单模态生物特征识别技术的应用非常广泛,例如人脸识别、虹膜识别、掌纹识别等,但仅靠单模态的生物特征识别技术,不能满足日益提高的安全性等要求［1］。而多模态融合技术是将同一个生物的不同生物特征按照某种算法进行融合,具有更强的区分性和安全性,可以做出准确度更高的识别［2］。 1998 年,Hong 等人［3］首次尝试将指纹和人脸的生物特征融合规则融合成一个整体进行识别,识别精度有了很大幅度的提高。 Jain 等人［4］提出了基于指纹、人脸和手型的多生物特征识别技术。 Jing 等人［5］首次尝试了基于人脸和掌纹图像的融合识别技术。

本文选择人脸和掌纹两种生物特征进行融合。首先,这两个特征具有唯一性,每个人的特征都有所不同；其次,在被采集和识别的过程中,对用户都没有隐私性,更加容易被接受。同时,两个特征可以采用相同的采集装置,例如一个普通摄像机就可以实现人脸和掌纹特征的采集,成本较低。在特征融合方面,采用在决策层使用改进的线性加权的方法将各分类器的识别结果融合,得出最终的识别结果。

1 识别算法

1.1 生物特征提取

在图像处理和模式识别领域中,主成分分析(principal component analysis, PCA),又称为K-L 变换,被认为是最成功的线性鉴别分析方法之一［6］。因为用摄像头采集到的人脸和掌纹特征都是基于图像的提取,所以对这两个生物特征都利用PCA 来进行降维处理,完成生物特征提取,供后续比对识别［7-8］。

首先将一幅M*N 的人脸或掌纹图像变换成一个大小为M*N 维的列向量。假设我们的训练图像库中有n 个训练样本,xi为第i 个图像形成的图像向量,则测试样本的协方差矩阵为公式(1)：

由K-L 变换原理可知,新的特征空间坐标系由协方差矩阵Sr的非零特征值对应的特征向量所组成。假设协方差矩阵Sr的秩为R,特征值为λ1, λ2,…,λR(λ1≥λ2≥…≥λR),对应的特征向量分别为ω1,ω2,…,ωR。如果直接使用所有的特征向量来构建特征空间,会导致计算过于复杂,影响系统运行速度,所以只要选择包含信息量较大的特征向量来构建即可。本文选择前m(m ＜＜R) 个较大的特征值对应的特征向量来构建新的投影矩阵Wm= ［ω1,ω2,…,ωm］,来完成数据降维。通过计算信息量的方法来确定m 的大小,保证剩余的特征向量所包含的信息大于一定的阈值e。一般e 为85%到95%之间。计算公式(3)：

得出了的投影矩阵Wm后,将训练样本向量与平均图像向量的差值矢量投影到新构建的特征空间上,计算公式(4)：

识别某张人脸或掌纹时,首先将人脸或掌纹图像μ 投影到已构建的特征空间,得到待识别的图像的特征向量,计算公式(5)。再根据投影后的特征向量进行分类。

1.2 最近邻分类器分类

利用PCA 从原始图像提取出特征向量后,再利用最近邻分类器进行分类,即待测人脸特征向量ΩT与每类训练样本的均值向量的欧式距离来进行分类,距离越小,置信度越高。由于后续需要进行各生物特征分类结果的融合操作,传统的最近邻分类器输出的结果无法进行运算。因此进行了如下改进：将欧式距离转换为后验概率,对人脸特征和掌纹特征分别计算出识别类别的后验概率,进行加权融合操作,再根据Bayes 判决规则,后验概率最大的样本分类即为最终的判决结果。

假设训练样本库中共有M类,每类有N张训练图片。首先计算训练样本库中每类训练样本的特征向量的均值向量,公式(6)：

再计算待测图像的特征向量与上述每类的均值向量的欧式距离dk,公式(7)：

根据文献［9］提出的后验概率的估计公式(8)将欧式距离转换成后验概率。

后验概率即待测图像属于第k 类的置信度。

经过上述运算,可以得出对单个生物特征进行验证的置信度。而后将对上述计算的结果进行线性加权融合,得出最终的识别结果。

2 基于进化策略的融合算法

2.1 进化策略简介

进化策略是一种模拟自然进化过程搜索最优解的方法,其在使用过程中无需依赖于问题的具体领域,并且不受目标函数形式的约束［10-11］。进化策略和神经网络方法相比,计算量小,训练时间短。和遗传算法相比,有很多方面(如编码,几个函数的选取)的灵活性。因此利用进化策略对权值参数进行自适应调整,可以提高识别的准确性和环境适应性。适应度越高的个体获得保留下来进行下一次循环机会的几率就越大［12］。通过循环,种群中的个体将一直向着适应度越来越高的方向进化繁殖,直到达到终止条件,获取到满足条件的最优解。

2.2 进化策略在多生物特征融合中的应用

采用线性加权的方法在决策层对多生物特征的识别结果进行融合,输出最终的结果,但权值选取的合适与否对结果的准确性有着巨大的影响。现有的线性加权法一般的权值选取都是固定的,在识别环境发生变化或者某种生物特征信息不够准确的情况下,识别结果的准确性会受到很大的限制。因此采用进化策略的方法,根据反馈训练来权值参数,使权值达到最适应识别条件的状态。

首先,要确定种群中每个个体的表达方式。因为有人脸和掌纹两种生物特征,所以每个个体选用2*1 的向量来表示。向量中的两个值分别代表人脸和掌纹作为识别特征进行分类的分类器的权值,这两个权值都在0 到1 之间并且和为1。设定初始种群中有K 个个体。这K 个个体中第一个的权值都是0 到1 之间的随机数,后一个权值通过1 减去第一个权值得出。这样就得到了初代种群R0。

其次,是适应度函数的选取。系统最终要做到通过人脸和掌纹两种生物特征进行准确识别出对应的人,所以采用在训练集合上的准确率作为适应度函数。例如对于某个个体mi,ni的适应度Fi,从训练集合中的每一类中取出N 个样本作为测试样本,用mi和ni作为分类器权值,对测试样本进行分类,统计分类结果的准确率作为适应度。

最后,需要通过重组和变异从初始种群中产生新的子代。重组算子采用中值重组的方法。从父代中随机取M 对个体,例如：(mp,np)、(mq,nq),则经过重组产生新的个体((mp＋mq)／2,(np＋nq)／2)。接下来是变异过程,在重组产生的新个体加上父代种群中再随机取多个个体执行变异,对取出来的个体的第一个权值加上一个-0.1 到＋0.1 之间的随机数,第二个权值加上第一个权值加的值的相反数,保证权值的和为1,这样就完成了重组和变异的过程,产生了新的个体。将新产生的个体和父代种群放到一起,对每个个体计算适应度,按照适应度大小进行排序,保留适应度较高的K 个个体作为新的一代,继续进行重组和变异的过程,直至达到需要达到的准确率或达到设定的循环次数。上述算法的时间复杂度为O(n2)。通过进化策略算法的迭代,达到最优的权值(me,ne)后,对人脸和掌纹特征通过最近邻分类器输出的置信度进行线性加权融合,得到最终的结果,即样本T属于类别k 的置信度为：

其中, me,ne分别为人脸和掌纹对应的权值,Pf(T ∈k) 和Pp(T ∈k) 分别为通过人脸特征和掌纹特征的比对输出的样本T 属于k 的置信度。

假设置信度阈值为0.8。若测试样本T属于类别k 的置信度超过0.8,则我们认为样本T 属于k。

3 实验结果与分析

为了测试本方法在实现身份验证中的性能,采用ORL 人脸数据库和香港理工大学的掌纹公开库(PolyU Palmprint database) 进行融合识别实验。ORL 人脸库包含40 人,共400 张面部图像。 ORL人脸数据库中一个采集对象的全部样本库中,每个采集对象包含10 幅经过归一化处理的灰度图像,图像尺寸均为92×112,图像背景为黑色。采集对象的面部表情和细节均有变化,所以可以比较好的作为测试集和训练集,部分图片见图1。香港理工大学掌纹公开库是掌纹识别领域里广泛使用的基准数据库,部分图片见图2。从掌纹公开库中也取40 人,每人6 幅掌纹图像与ORL 人脸库中40 个人的6 幅人脸图像进行绑定,作为测试集合和训练集合。

选取40 人120 个记录用于训练,通过训练得到生物特征融合函数,即人脸和掌纹对应的两个最优权值(me,ne)。剩余的40 人120 个记录用来测试。测试集合中,类间匹配的次数即匹配的总次数为120×119=14 280 次,类内匹配的次数为3×2×40=240 次。根据训练得出的权值对两种特征进行融合,得出最终的置信度即匹配得分,利用设定的阈值来对最后融合得出的匹配得分进行判断,得出最终的识别结果。通过调整阈值可以得到多组实验结果。同时利用单生物特征即掌纹识别和人脸识别方法在上述测试集合中进行同样的测试。