基于Markov网络和多信息融合的民航人脸识别

车通 朱燕翎 王谦 李博文

摘   要：针对民航人脸识别系统中人脸图像的锐化识别问题，提出了一种人脸锐化照片综合识别方法。对于不同尺度下的不同合成结果，采用双尺度Markov网络的级联锐化合成方法进行图像合成，并提出了基于结构信息和特征信息的人脸识别数据融合方法。结合人脸识别认知理论，将结构信息和特征信息结合起来完成识别。实验结果表明，该方法在合成和识别过程中均优于其他方法。

关键词：人脸识别;双尺度Markov网络;结构信息;特征信息;图片锐化

中图分类号：TP751.1                                          文献标识码：A

文章编号：1003—6199（2020）02—0138—07

Abstarct：Aiming at the problem of facial image sharpening recognition in civil aviation face recognition system，this paper proposes a comprehensive method of facial image sharpening recognition. For different synthesis results at different scales，the cascade sharpening synthesis method of two-scale Markov network is used to synthesize images，and a face recognition data fusion method based on structural information and feature information is proposed. Combining the cognitive theory of face recognition，the structure information and feature information are combined to complete the recognition. The experimental results show that this method is superior to other methods in the process of synthesis and recognition.

Key words：face recognition;two-scale Markov network;structural information;feature information;image sharpening

在民航登机人脸自动识别系统中，由于连接远程身份认证系统借助人脸留存照片与现实照片存在偏差，无法在登机口准确获取用户的真实照片图像[1]。因此，民航登机人脸自动识别系统需对人脸留存照片进行锐化处理，进而快速匹配识别出登机用户的身份[2]。文献[3]将特征变换应用于整张人脸照片上，并合成伪锐化用于锐化模态匹配。文献[4]将特征变换应用于局部补丁上改进了合成框架。文献[5]提出了一种用于人脸锐化合成和识别的非线性方法，并采用非线性判别分析从合成的伪锐化中识别出锐化结果。然而，锐化和原照片是两种不同来源的模态，给识别研究带来了很大的困难。

提出了一种面向民航登机人脸自动识别方法。利用基于双尺度Markov网络的人脸锐化照片合成方法，將锐化和照片转换成相同的模态。根据人脸识别认知理论，提出了一种将结构信息和特征信息结合起来进行识别的数据融合方法。提取了整个人脸图像的定向梯度直方图（HOG）特征来表示结构信息。并利用稀疏核原型表示对局部面部组成部分的特征信息进而完成人脸识别。

1   双尺度Markov网络

1.1   网络合成

将初始锐化y和测试照片t都作为创建最终锐化，使用较小的尺度将它们划分为重叠的补丁，并且它们都用于搜索K个候选补丁。本文利用两个不同的特征HOG特征[7]和MLBP特征[8]来选择候选锐化补丁和强度特征，为目标锐化补丁选择2K个候选补丁。利用Markov网络来选择最近的Kt个候选补丁和用于锐化补丁合成的权重向量。

其中，Kt不是固定值，它与相邻阈值ε相关。它可以去除不合适的候选补片，提高合成锐化的质量。

使用选定的Kt个候选补丁及其权重来线性合成测试补丁。将该方法应用于其他测试图像的拼接，采用平均策略处理重叠区域并生成整个目标锐化。级联锐化合成方法的具体过程如图1所示。

1.2   复杂度分析

在锐化照片合成过程中，最耗时的步骤是候选补丁搜索过程。因此，利用搜索过程的计算复杂度来表示该方法的计算复杂度。假设K为人脸锐化合成的候选补丁数量，Nt和Nc分别为人脸图像中每行和每列的补丁数，M为训练集中锐化照片对的数目。搜索范围为R，在较大的Markov网络合成过程中，计算复杂度为O（RNt Nc M）。对于较小的Markov网络合成过程，由于初始锐化和测试照片都被用来搜索候选补丁，计算复杂度为O（2RNt Nc M）。因此，该方法的计算复杂度为O（3RNt Nc M）。

2   基于多信息融合的锐化人脸识别

根据人脸识别认知理论，提出了一种基于结构信息和特征信息融合的人脸识别方法。首先，利用从整个人脸图像中提取的HOG表示结构信息;其次，提出了一种描述局部人脸特征信息的稀疏核原型表示方法，然后分别利用结构信息和特征信息进行人脸识别。将上述两种识别过程的匹配分数进行融合，最终实现锐化与照片的精细匹配。所提出的识别方法框架如图2所示。

2.1   结构信息识别

结构信息是指人脸特征之间的空间关系，可以通过图像的边缘特征和形状特征来表示。HOG特征可以通过梯度或边缘方向密度分布来描述图像的外观和形状[9]。因此，图像的结构信息可以用

HOG特征来表示。HOG特征提取过程如下：

步骤1：将图像灰度化并正则化。

步骤2：将图像分为l × l个补丁并进行 叠加。

步骤3：将每个补丁分成（l/2）×（l/2）个块，每个块由四个相邻的（l/4）×（l/4）个单元组成。

步骤4：计算图像像素的水平和垂直梯度。像素的梯度描述如下：

其中，Gx（x，y），Gy（x，y）和H（x，y）分别表示水平梯度，垂直梯度和像素值。

步骤5：计算像素的梯度幅度和梯度方向分别为：

步骤6：将α（x，y）的范围[0，2π]平均分为8个格，按每个格的梯度方向进行表决，得到权重G（x，y）。因此，每个单元可以形成一个8维特征向量。

步骤7：将一个补丁中4个单元的特征向量连接成一个32维向量。

步骤8：将每个补丁中的所有特征向量连接起来，形成一个128维特征向量。

步骤9：将补丁的所有特征向量连接在一起，形成整个图像的Hog特征向量。

通过以上步骤可以得到图像的特征向量，需要一个降维过程来删除具有冗余或无用信息的特征。本文将PCA和LDA算法应用于降维。在本文的实验中保留了包含99%有用信息的特征，并将同一列上的补丁连接为LDA的子特征向量。利用余弦相似性测度来计算出锐化与照片之间的关系。对于合成锐化Yi，得到了测试锐化T j的匹配分数向量[cosSI （Yi，T 1），cosSI（Yi，T 2），cosSI（Yi，T n）]。基于结构信息的识别框架如图3所示。

2.2   特征信息的识别

特征信息是指单个面部部分的特征。本文利用所提出的稀疏内核原型来表示局部面部部分中的特征信息。因为特征信息是基于局部面部部分，所以首先要将面部图像分割为多个部分。本文使用简单的主动形状模型（ASM）来检测特征点，然后根据检测到的特征点位置来获取面部部分。本文选择额头、眉毛、眼睛、鼻子和嘴巴作为面部的主要组成部分，实验中使用的局部面部组成部分如图4所示。

其中，f（·）是每个图像补丁基于特征的表示。基于特征表示采用了两种特征描述符，即HOG描述符和MLBP描述符。

基于稀疏理论在计算机视觉中的有效性，將核原型表示扩展到稀疏空间，并给出了稀疏核原型表示（SKPR）。内核原型表示Φ（Yi）通过保留最近的S个部分变得稀疏，这些组成部分表示与Yi最相似。其他元素都变为零，Yi的稀疏核原型表示描述如下：

其中，sparse（·）是通过保留最大的S元素使向量稀疏。S表示稀疏过程中的稀疏程度。

在得到合成补丁Yi和测试补丁T ji的稀疏核原型表示后，利用余弦相似性测度可以计算出它们的相似性：

然后得到基于特征信息的匹配分数向量[cosFI ]（Yi，T 1），…，cosFI（Yi，T n）]。本文提出的基于稀疏核原型的特征信息识别方法概述如图5所示。

2.3   匹配融合

在结构信息识别和特征信息识别的基础上，通过最近邻分类器将匹配分数融合到最终的锐化图像匹配中。

3   实验分析

3.1   数据选取

实验分别在两个不同的锐化照片数据库（CUHK数据库[10]，AR数据库[11]）来验证该方法的有效性。CUHK数据库提供了188名来自香港中文大学学生系统的学生的锐化照片对。所有照片都是在正常照明条件下拍摄的，正面姿势，表情中性。在观看照片时，由计算机处理出的相应锐化照片。实验中随机选取88对锐化照片作为训练集（原型），其余100对锐化照片作为测试集。AR数据库由A.Martinez和R.Benavente发布，共有123对嫌疑犯照片和相应的法医锐化。随机选择100对作为训练集（原型），其余23对作为测试集。

3.2   参数设置

将图像划分为32×32个补丁且具有50%的重叠。在合成过程中，候选补丁的数量 、大尺度 和小尺度 的数量分别设置为15、14和10，结果如图6和图7所示。

从图6和图7可以看出，当 时，合成锐化的视觉效果最好。当 时，合成锐化较为粗糙，且随 的增加趋于平滑，当 和 设置为14和10时，合成像素质量最佳。大尺度导致合成图像粗糙，小尺度忽略了人脸结构之间的连接。

在图像识别过程中，在8个半径为1、3、5、7的邻域中提取混合局部二值模态（MLBP）。另外一个重要的参数 决定了稀疏核原型表示的稀疏程度。在CUHK数据库上进行了眼部组成部分的实验，说明了参数设置过程。当级别为10时，不同 的识别率如表1所示。

由表1可知，当S为30或40时，识别率最高。因此，在眼部组成部分的核原型表示过程中，将S = 30设置为稀疏度。同样，选取S为20、10、40、40分别作为眉部、额头、嘴部和鼻子部分的核心原型表示过程。

3.3   面部合成

与实验中提出的方法相比，还存在另外四种合成锐化方法。基于PCA的方法[12]用PCA改进了传统的特征面部方法。基于LLE的方法[13]是基于照片和锐化图像之间几何图形局部线性保持。MWF方法[14]利用Markov网络估计候选补丁的权重，并通过线性组合合成锐化。MRF方法[15]仅使用训练数据中的最佳锐化补丁合成锐化。CUHK数据库和AR数据库的综合锐化比较如图8所示。

为了验证本文方法的有效性，在不同的数据库上应用了结构相似度度量（SSIM）[16]来测量两幅图像的相似度：

不同数据库上SSIM值的比较结果见表2。从表2可以看出，与其他的几种锐化照片合成方法相比，该方法合成的锐化具有更大的SSIM值。

3.4   面部识别

将四种对比SFR方法与本文提出的方法进行了实验研究。文献[17]中的HOG+NLDA方法从整个图像中提取相同基于补丁策略的HOG特征。然后采用PCA基于零空间的LDA（NLDA）算法对提取的HOG特征进行降维。最后利用最近邻分类器对锐化和相应的照片进行匹配。文献[18]提出了核原型表示（KPR）方法，该方法首先将基于原型的方法扩展到SFR场景，并利用与原型在相同模态下的核相似性来表示测试图像，利用最近邻分类器对锐化图像进行余弦相似度识别。使用人脸的KPR来进行锐化人脸识别。并将所提出的稀疏核原型表示（SKPR）方法和HOG+KPR方法与最终的识别方法进行了比较。不同方法与本文方法在CUHK数据库和AR数据库上的比较结果如图9和图10所示。

从图9和图10可以看出，所提出的基于结构信息和特征信息的方法明显优于其他四种比较方法。在两个数据库的级别均小于4时，该方法的识别精度均达到了100%。HOG+KPR方法的结果优于HOG方法和KPR方法，说明了将结构信息和特征信息融合到SFR应用中的可行性。KPR方法和SKPR方法实现了基于局部人脸组成部分的识别，但识别率较低。同时，可以发现SKPR方法比KPR方法更有效。SKPR方法将稀疏概念融合到图像补丁的核原型表示中，可以去除不同原型带来的更多噪声。

4   结   论

针对民航人脸识别系统中人脸图像的锐化识别问题，提出了一种基于双尺度Markov网络和多信息融合的人脸照片合成与识别方法。该方法由两部分组成：（1）利用双尺度Markov网络将锐化和照片转换成相同的模态;（2）基于结构信息和基于特征信息的识别方法对合成图像和测试图像进行匹配。与以往仅使用单尺度合成图像的人脸锐化合成方法不同，该方法利用双尺度Markov网络进行锐化合成。然后，根据人脸识别认知理论，提出了一种将结构信息和特征信息结合起来进行人脸识别的锐化人脸识别方法。选取整个人脸图像中的HOG来表示结构信息。利用所提出的稀疏核原型表示方法来描述局部面部组成部分的特征信息。与不同的人脸锐化照片合成和识别方法相比，大量的实验结果表明，该方法在合成和识别过程中都具有较好的性能。

参考文献

[1]    刘明. 嵌入式人脸自动识别系统研究[J]. 电子技术与软件工程，2015（24）：195-196.

[2]    易焱，蔣加伏. 基于LBP和栈式自动编码器的人脸识别算法研究[J]. 计算机工程与应用，2018，54（02）：163-167.

[3]    杨晋吉，李亚文. 基于Curvelet变换特征的人脸识别算法[J]. 计算机应用与软件，2018，35（01）：169-174.

[4]    毛雯，朱虹，张岩. 一种单幅前视图的人脸识别算法[J]. 西安理工大学学报，2017，33（02）：127-131.

[5]    江诚，石雄. 基于非线性特征提取的人脸识别算法研究[J]. 武汉轻工大学学报，2019，38（02）：35-39.

[6]    谌湘倩，刘珂，马飞. 基于协作表示和正则化最小二乘法的多姿态人脸识别方法[J]. 现代电子技术，2017，40（05）：49-53.

[7]    雷超，张海燕，詹曙. 结合曲面局部纹理特征的3维人脸识别[J]. 中国图象图形学报，2019，24（02）：215-226.

[8]    李华玲，王智，黄钰靖. 基于图片特征与人脸姿态的人脸识别方法[J]. 科学技术与工程，2018，18（31）：195-199.

[9]    杨超，伍世虔，方红萍. 基于Fechner定律和梯度特征的人脸识别算法及实现[J]. 计算机应用与软件，2019，36（01）：227-231.

[10]  张敦凤，高宁化，王姮，等. 基于分块LBP融合特征和SVM的人脸识别算法[J]. 传感器与微系统，2019，38（05）：154-156.

[11]  黄祎翎，刘威，黄慧明. 基于Emgu CV的实时家庭安全防护系统[J]. 信息技术，2018，42（10）：77-80.

[12]  漆世钱.基于OpenCV组合优化的人脸识别应用平台设计[J]. 科学技术与工程，2019（13）：164-170.

[13]  卢涛，汪家明，李晓林，等. 基于中继循环残差网络的人脸超分辨率重建[J]. 华中科技大学学报（自然科学版），2018，46（12）：95-100.

[14]  吉娜烨，柴秀娟，山世光，等. 局部回归模型驱动的人脸素描自动生成[J]. 计算机辅助设计与图形学学报，2014，26（12）：2232-2243.

[15]  黄绿娥，吴禄慎，陈华伟. 融合LSTM的DCNN及其图像模糊类型和参数识别[J]. 应用基础与工程科学学报，2018，26（05）：1092-1100.

[16]  杨勇，吴嘉骅，黄淑英，等. 联合字典鲁棒稀疏表示的多聚焦图像融合[J]. 小型微型计算机系统，2018，39（08）：1871-1877.

[17]  张延良，卢冰. 基于信息增量特征选择的微表情识别方法[J]. 计算机工程，2019（05）：261-266.

[18]  邓丽萍. 多种代数特征抽取方法下的人脸图像SVM算法研究[J]. 信息安全与技术，2014，5（10）：45-47.