自适应分数级融合的多模态生物特征认证

姜 奇,赵晓敏,赵贵川,王金花,李兴华

(1.西安电子科技大学 网络与信息安全学院,陕西 西安 710126;2.中国电子科技集团公司第三十研究所 保密通信重点实验室,四川 成都 610041)

1 引 言

生物特征因其不会被遗忘或丢失、不易伪造或被盗等特性,已被广泛应用于用户的身份认证中[1-3]。按生物特征类型的不同,基于生物特征认证的方式可划分为3类[4]：基于生理(physiological)特征[5-7]、基于生物学(biological)特征[8]和基于行为(behavioral)特征的认证[9-10]。其中,生理特征可从人类身体的固有部位中获取,如指纹、面部、虹膜、视网膜和掌纹等;生物学特征可从心跳、心电图和脑电波等人类生命活动中获取;行为特征可从用户执行任务时的行为活动中获取,包括触屏、步态和语音等。

在实际应用场景中,由于敌手攻击、噪声干扰或环境变化等不可预测的原因,单模态身份认证系统往往面临着认证不可靠和准确率低等问题[11]。例如,基于指纹等生理特征的认证易受环境影响且会遭受表示攻击[12];基于心跳等生物学特征的认证会遭受模拟攻击[13];基于触屏等行为特征的认证会受到伪造[14]和统计[15]等攻击的影响。

多模态认证系统通过融合两种或多种生物特征模态来实现身份认证,可以有效地缓解上述单模态认证的局限性[16]。在融合系统中,由于攻击者很难同时对所有生物特征来源进行攻击,因此增加了攻击难度,使多模态认证系统具有更高的系统可靠性和鲁棒性。同时,当某个生物特征受环境或噪声影响时,可以通过降低该生物特征在认证中的重要性程度,提高其他未受干扰生物特征的重要性程度来保证系统的认证准确性。在设计多模态认证系统时,融合策略可以在认证流程的数据采集、数据处理、用户认证和决策等不同阶段执行,根据融合时机的不同可划分为传感器级、特征级、分数级以及决策级融合。针对不同的融合级别,已有大量文献说明了不同多模态融合方案在生物识别技术中的应用及其有效性[4,17-21]。

现有研究中提出的多模态融合方法大多采用固定规则和阈值的融合策略来达到预期的认证性能[7,22-23]。事实上,用户的认证需求会随所处环境的不同而发生变化。例如,当用户访问隐私级别较高的程序或处于公共场合时,需要较高安全等级的认证。因此,固定规则和参数的融合策略缺乏灵活性且不能为系统提供最佳的认证性能。为此,文献[24-25]提出了基于粒子群优化算法(Particle Swarm Optimization,PSO)的多模态认证方案,能够自适应地搜索最佳融合规则、融合参数和决策阈值。然而,粒子群优化算法在解决多模态复杂问题时会陷入局部最优解,且文献[24-25]的候选融合规则较为简单,不能解决分类器间出现冲突时认证性能下降的问题。为了解决以上问题,笔者提出了上下文自适应的多模态生物特征认证系统,该系统可根据用户的上下文信息变化自适应地选择最佳融合策略,并通过融合多种生物特征为用户提供安全的身份验证。

笔者的贡献如下:

(1) 提出了一种基于自适应粒子群优化(Adaptive Particle Swarm Optimization,APSO)的自适应融合策略选择方法。所提方法扩展性高,不仅能够根据不同的上下文自适应选择最佳的多模态融合策略,还能在满足当前上下文认证安全需求的同时保证系统最佳的认证性能。

(2) 基于所提出的自适应融合策略选择方法,设计了一套完整的分数级融合多模态认证方案,能够实现安全、有效的用户身份认证。

(3) 分别为不同安全需求的场景确定了最佳融合策略,在真实行为特征数据集上的实验结果表明了本方案的可行性和有效性。此外,在相同数据集和实验环境下,对比了本方案和现有多模态认证方案[24-25],结果表明所提出认证系统的全局错误率更小,具有更好的认证性能。

2 相关工作

目前,大量文献提出了多模态融合方案且说明了其在身份认证技术中的有效性[26]。SITOVAZ等[22]提出将用户在设备上执行击键行为时产生的HMOG特征(捕获用户在执行动作时产生的微小运动和方向变化)、触屏点击特征以及击键特征进行加权求和的分数级融合,结果表明融合后的等错误率降低,最好为7.16%(行走)和10.05%(坐着)。由于t-范数(triangular norm,t-norm)可以考虑多模态认证分数之间的关联性,HANMANDLU等[23]提出利用t-norm进行分数级融合,他们考虑了多种t-norm融合方式,并在3个公开生物数据集上进行认证实验,实验结果表明,t-norm融合方式相比于基于分类器(如支持向量机,逻辑回归,多层感知机等)的分数级融合方式和基于简单组合(如最小、平均值和最大)的分数级融合方式表现出更好的性能。KHODADOUST等[19]提出利用一个手指的指纹、静脉和指节指纹来完成用户认证,以增加用户友好性,降低系统的实现成本。AIZI等[20]提出了一种利用虹膜和指纹两种模态进行身份识别的多生物特征融合方法,每种模态都被单独处理以生成分数向量,随后利用决策树结合加权和基于模糊逻辑的方法实现融合。

以上提到的文献虽然证明了融合带来的性能上的提升,但其提出的多模态融合方案都使用固定的融合规则和参数来达到预期的性能。由于用户认证安全需求随上下文不同而变化,固定的融合策略不能在变化的认证安全需求下发挥更好的认证性能,因此目前发展趋势是设计能够自适应地确定变化的环境安全性或用户需求的多模态认证系统的方案。

VATSA等[27]提出了将基于密度的融合方式与基于分类器的融合方式顺序结合的融合算法,解决了多模态认证中不同模态提供冲突认证结果时对认证性能产生影响的问题。此外,他们设计了基于认证样本质量的动态选择算法来确定不同的融合规则,以提高认证准确率并降低计算成本。但此算法整体流程较繁琐,并且两种融合方式中参数是固定的。EDWARDS等[28]使用用户的指纹、手掌和面部开发了一个三阶段多模态生物特征认证系统,并使用孪生神经网络测试了3种串行融合方法。通过在决策中使用串行融合策略来缓解用户使用不便问题,并通过在特征提取和分数生成中利用深度学习技术来提高准确性。文献[27-28]可以动态地选择融合规则,但其融合参数固定。WALIA等[29]提出了一种基于指纹、手指静脉和虹膜3种互补生物特征组成的多模态认证系统。该融合系统分别对不同生物特征获得的分数执行贴现函数后,使用PCR-6规则将其组合,不仅达到了增强并发分类器的目的,同时还有效地解决了不同分类器之间产生冲突后认证性能下降的问题。ALAGARSAMY等[30]以人耳和人脸两种生物特征为输入,提出了一个完整的多模态生物特征识别系统,该系统采用自适应Runge-Kutta阈值分割方法来获得人脸图像耳朵轮廓的精确阈值。文献[29-30]可以动态地调整融合参数,但其融合规则固定。

与以上方案不同,文献[24-25]提出了自适应寻找满足性能约束的最佳融合规则和融合参数的多模态认证方案。VEERAMACHANENI等[24]提出了自适应多模态生物特征管理算法,利用粒子群优化(Particle Swarm Optimization,PSO)方法搜索所有的决策级融合规则(包括与、或、异或等)和决策阈值,以自适应地寻找最佳组合。该算法虽然解决了固定融合规则和融合参数的缺陷,但多个模态决策结果可能有较大的差异,从而导致认证性能下降。其次,使用粒子群优化算法搜索最佳融合策略时会陷入局部最优解。KUMAR等[25]在文献[24]的基础上,利用粒子群优化算法搜索分数级融合规则(包括最大值、最小值、加权、乘积等规则)、融合参数和决策阈值,以寻找最佳融合方案。较之文献[24]中的方案,此方案性能有所提升,但可供选择的分数级融合规则有限且均比较简单,不能解决分类器间认证出现冲突时性能下降的问题。因此,笔者在此基础上进行深入研究,提出了根据行为特征上下文变化自适应选择最优融合策略的分数级融合多模态认证方案,使得认证系统在用户友好性、灵活性和安全性上有更好的表现。

3 方案设计

如图1所示,笔者提出了一种基于自适应粒子群优化的自适应分数级融合多模态认证方案。该方案可分为自适应选择阶段和认证阶段两个部分。自适应选择阶段的目标是从多种预定义的分数级融合规则中自适应地选择一种,使得认证系统满足当前认证安全需求的同时具有最佳的认证性能。在认证阶段,先基于自适应阶段所选择的融合规则和融合参数对多模态生物特征的认证分数进行融合,然后结合决策阈值对用户的身份进行认证。

图1 自适应分数级多模态融合框架流程图

3.1 自适应选择阶段

3.1.1 认证安全需求的量化

首先根据上下文信息(地理位置和应用程序信息)来评估当前场景下的认证安全需求,具体的评估模型可见文献[18]。对于认证安全需求较高的场景,如使用敏感性较高的应用时,错误接受了冒名顶替者的代价远高于错误拒绝了真正用户的代价,因此需要实现低错误接受率(False Acceptance Rate,FAR)的认证。反之,对于认证安全需求较低的场景,考虑到用户友好性,需要实现低错误拒绝率(False Rejection Rate,FRR)的认证。基于上述说明,文中定义了两个参数:错误接受非法用户的全局代价CFA以及错误拒绝合法用户的全局代价CFR。当认证安全需求较高时,认证系统的错误接受率应尽可能低,以防止非法用户被误认为合法用户,则此时错误接受非法用户的代价CFA应较大。反之,当认证安全需求较低时,错误拒绝合法用户的代价CFR应较大,以提升用户体验。综上,当前上下文中认证系统的全局错误率为

E=CFAFAR(η)+CFRFRR(η) ,

(1)

其中,FAR(η)和FRR(η)分别表示在决策阈值为η时认证系统的全局错误接受率和错误拒绝率。值得注意的是,一般通过FAR+FRR来计算全局错误率,此时错误接受率和错误拒绝率的权重都为1,总和为2。因此,设置CFA+CFR=2,以保证全局错误率计算的一致性。则式(1)可重写为

E=CFAFAR(η)+(2-CFA)FRR(η) 。

(2)

综上所述,CFA可视为对认证安全需求的量化,其范围为[0,2]。文中以0.1为步长将不同的认证安全需求量化成21个不同的安全等级。综上所述,可通过最小化多模态认证系统的全局错误率E来为不同的认证安全等级选择最佳融合策略和决策阈值,以达到系统最佳的认证性能。

3.1.2 预定义的分数级融合规则

首先预定义了4种通用的分数级融合规则,包括加权平均(sum)、加权乘积(product)、加权指数(exp)和以及加权双曲正切(tanh)。具体计算方式如式(3)～式(6),其中,wi为第i种模态的融合参数,N为融合的生物模态的数量,Si为各模态的用户认证得分。此外,文中进一步考虑了5种基于t-norm的分数级融合规则,以减少不同生物模态认证器间的冲突,提高认证性能。两种模态融合分数S=T(S1,S2)的计算式如式(7)～式(11),其中w为融合参数,若需更多种模态融合,则计算方式为S=T(T(S1,S2,…,SN-1),SN)。在实际使用中,融合规则可根据需求任意扩展。

(3)

(4)

(5)

(6)

Einstrinproduct:T(S1,S2)=S1S2/(2-(S1+S2-S1S2)) ,

(7)

Hamacher:T(S1,S2)=S1S2/(S1+S2-S1S2) ,

(8)

(9)

Frank:T(S1,S2)=logw(1+(wS1-1)(wS2-1)/(w-1)) ,

(10)

Yager:T(S1,S2)=max(1-((1-S1)w+(1-S2)w)1/w,0) 。

(11)

3.1.3 基于自适应粒子群优化的自适应融合策略选择

为了使E最小,本方案基于自适应粒子群优化算法[31]在所有预定义的分数级融合规则、融合参数以及决策阈值中进行搜索,以确定最佳的融合策略组合。自适应粒子群优化算法通过结合参数自适应方法和精英学习策略,使搜索能够跳出潜在的局部最优值,具体的步骤如下:

(12)

(13)

其中ϖ∈[0,1]为惯性权重,用于平衡收敛速度;c1∈N*,c2∈N*为加速系数,c1表示粒子自认知,有利于局部探索以及保持粒子群体的多样性,c2表示群体影响力,有利于促使粒子群体快速收敛到全局最优位置;rand(·)是在[0,1]范围内生成的N+1维均匀分布的随机数。

为防止搜索陷入局部极值以及提高搜索精度,在每次迭代结束后,需要根据当前粒子群分布更新粒子属性参数,即ϖ、c1和c2,具体更新过程如图2所示。其中,相邻两次迭代之间参数的最大增量或减量由式(14)决定:

图2 更新粒子属性参数过程

|ci(t+1)-ci(t)|≤δ,i=1,2 ,

(14)

其中,δ∈[0.05,0.1]为加速率,当需要“略微”改变时,使用0.5δ作为加速率。值得注意的是,当进化状态为收敛时,更新算法执行精英学习策略(Elitist Learning Strategy,ELS),该策略作用于当前全局最优粒子的随机一个维度,在其上添加高斯扰动,达到跳出局部最优值的目的。

基于以上所述自适应粒子群优化算法,结合预定义的分数级融合规则、融合规则参数以及决策阈值来搜索最佳的融合策略组合。由于融合规则是离散的,而自适应粒子群优化算法只能对连续值进行处理,因此分别对每种融合规则进行搜索,对比后选取其中最佳融合策略。最佳融合策略搜索算法过程如下。

算法1最佳融合策略搜索算法。

输入:K种融合规则fusion(·),CFA,E,优化算法optimization(·),粒子群搜索空间particle

输出:最佳融合规则result,融合参数w(若存在)、决策阈值η,最小错误率E

① BEGIN

② FOR k=1,2,…,K DO

③ particle=(w′,η′);

④ (w′,η′,E′)=optimization(particle);

⑤ IFE′

⑥ result=fusion(k),E=E′,w=w′,η=η′;

⑦ END

⑧ END FOR

⑨ END

3.2 认证阶段

在此阶段,认证系统结合采集的多模生物特征和自适应阶段所选择的融合策略对用户进行身份认证。认证的具体过程为:首先,设备通过传感器采集N种模态的生物特征数据;然后对获取的数据进行预处理并提取出对应的特征向量Fi(i=1,2,…,N),这些特征向量作为对应模态认证模型modeli(i=1,2,…,N)的输入,分别输出用户认证分数Si(i=1,2,…,N);接着结合自适应阶段确定的融合策略,将得到的多模态用户身份认证得分进行融合后得到最终的认证分数S;最后将S与自适应阶段获得的决策阈值η进行比较,以完成对用户的认证。其中,认证模型modeli是根据第i个模态的数据训练得到的,文中采用支持向量机(Support Vector Machine,SVM)模型进行训练,得到认证模型。

支持向量机是一种二分类模型,它的学习策略是间隔最大化,即求解能够正确划分训练数据集并且几何间隔最大的分离超平面。文中在给定第i个模态训练集的情况下,利用支持向量机算法学习得到一个认证模型modeli,即找到一个最优分离超平面,使样本到这个超平面的距离最大,以保证测试数据能被正确的分类。

4 实验验证与分析

所提出的方案基于用户的上下文信息来量化认证安全需求,与采用生理特征的文献[24-25]相比,上下文信息能反映更真实的认证环境,进而确定更符合实际的认证安全等级。因此,基于一个公开的数据集[32]进行实验,该数据包含两种行为模态:触屏时触控传感器行为和运动传感器行为。首先证明了提出的基于自适应粒子群优化的自适应多模态认证方案的可行性和有效性。然后,与现有方案进行了对比,在相同认证安全等级下,所提出的多模态认证系统全局错误率更小、认证性能更好。

4.1 数据集描述

文献[32]中介绍了一个公开的大规模行为数据集,该数据集包含100位用户的行为数据,每个用户分别在阅读、输入文本和地图导航3个任务中执行8次会话任务,每个会话持续15分钟。在执行会话过程中,记录了加速度计,陀螺仪及磁力计等运动传感器读数以及触控传感器数据。本次实验中使用了该数据100位用户在阅读时的触控和运动传感器所有8个会话的数据,分别作为触屏时触控传感器行为生物特征和运动传感器行为生物特征原始数据。

4.2 单模态认证

为了获取后续用于融合的生物模态认证分数,分别进行了上述两种行为的单模态实验。实验时,将用户自己数据作为合法用户数据,其他用户数据作为非法用户数据,混合划分训练集和测试集,划分比例为7∶3。模型训练时,利用训练集,经过预处理、特征提取和支持向量机模型训练几个步骤后,获得训练模型;认证评估时,利用测试集,经过预处理、特征提取和模型认证之后,获取到当前用户是合法用户的分数,该分数在[0,1]范围内,之后的融合实验是在此分数上进行的。

图3显示了两种行为生物特征认证的受试者工作特征曲线(Receiver Operating characteristic Curve,ROC),体现了在不同决策阈值下的错误接受率(False Acceptance Rate,FAR)和正确接收率(True Accept Rate,TAR)的变化关系,其中FRR=1-TAR,等错误率(Equal Error Rate,EER)为错误接受率和错误拒绝率相等时的错误率。当认证安全需求较高时,应选择受试者工作特征曲线上错误接受率较低的点所对应阈值,即曲线上靠近左下角的点。反之,当认证安全需求较低时,考虑到用户便利性,应选择靠近受试者工作特征曲线右上角的点。

图3 两种行为生物特征认证时的ROC图

4.3 自适应融合多模态认证评估

在上述单模态实验获取的认证分数的基础上,为了对提出的自适应融合多模态认证系统的可行性和有效性进行验证,将上述认证分数数据按1∶1比例划分成了学习集和评估集。学习集用来学习不同认证安全等级下的融合策略,学习到的参数将在评估集上进行验证和评估分析。此外,在利用自适应粒子群优化算法进行搜索过程中,设置粒子群规模大小为100,初始参数设置为ϖ=0.9,c1=1,c2=1,当搜索迭代次数达到100次时,流程终止。

本方案在不同认证安全等级下选取的融合策略如表1所示。可以看出,在[0.6,1.9]范围内的认证安全等级均选择了t-norm融合规则,充分说明了t-norm的优势。此外,与图3所示的单模态认证对比可知,在不同认证安全等级下,本方案均实现了更低的全局错误率,说明本方案的认证性能更好,且灵活度更高。

表1 在不同认证安全等级下选取的融合策略(-表示任意)

图4表示当CFA=0.6时,自适应融合策略选择方法在寻求最优解的过程中全局错误率的变化情况。从图中可看出,随着迭代次数增加,错误率减少后趋于平稳。不同认证安全等级下和不同融合规则下的最小全局错误率如图5所示,可以看出文中预定义的融合规则在学习集和评估集上都能实现较小的最小全局错误率,表明了认证系统的有效性。此外,相同的认证安全等级下,学习集和评估集上的最小全局错误率相似,表明了学习到的参数适用于实际的认证系统中。

图4 最优融合策略搜索过程中全局错误率变化(CFA=0.6)

(a) 学习集

4.4 相关文献对比

文献[24-25]提出了自适应的多模态认证方法,其中,文献[24]重点关注基于粒子群优化算法的自适应决策级融合的多模态认证,文献[25]重点关注分数级融合的认证。文中根据上下文信息自适应地确定安全认证等级,提供了更全面的融合规则,采用自适应粒子群优化算法能够跳出潜在的局部最优值,进而找到最优的融合策略。图6和图7分别展示了在不同认证安全等级下,文中方案与对比方案[24-25]在相同学习集和评估集上获取的全局错误率。从图中可以看出,在任意认证安全等级下,本方案均实现了更小的全局错误率,表明所提出的多模态认证系统的搜索精度更高,认证性能更好。

(a) 学习集

(a) 学习集

表2展示了文中方案与文献[24]和文献[25]在相同评估集上执行认证和搜索算法的时间开销。具体而言,文中使用粒子群优化算法和自适应粒子群优化算法为21个不同的安全等级搜索融合策略,并使用18 000个样本在不同的安全等级下分别进行了5轮认证,以求取平均时间。由表2可知,文中方案的认证时间更短,表明自适应选择的融合策略是最优的;自适应粒子群优化算法搜索的时间比粒子群优化算法的长,这是因为主动跳出潜在局部最优解是耗时的。值得注意的是,文中采用的自适应粒子群优化算法搜索最佳融合策略的过程可以根据不同的安全等级离线完成,在认证过程中可根据当前场景的安全等级直接使用最佳融合策略。

表2 执行认证与搜索算法时间开销对比

此外,与最近所提出的多模态生物认证方案[27-30]相比,文中所提出的基于上下文自适应分数级融合的认证方法更加灵活,不需要固定融合规则或参数,而是根据不同的认证安全等级自适应地选择最佳的融合策略,从而为不同的场景提供安全的认证,同时保证系统具备最优的认证性能。

5 结束语

针对现有多模态融合研究中存在使用固定规则和参数的融合策略、不能根据上下文灵活调整认证安全需求的问题,文中提出了基于自适应粒子群优化的自适应分数级融合多模态认证方案。该方案能够根据用户的上下文信息变化自适应地选择最佳融合策略,保证系统具有最佳的认证性能。首先,自适应粒子群优化算法根据认证安全等级和预定义的分数级融合规则自适应地选择最佳的融合策略。其次,多个生物特征模态的认证分数经过最佳融合后可对用户身份进行认证。再次,在公开的行为特征数据集上评估了本方案的可行性和有效性;与现有的方案相比,在相同认证安全等级下本方案的搜索精度更高,全局错误率更小。在未来的工作中,将增加生物特征模态的数量对所提出方案进行全面的实验评估。