基于数据融合的人脸识别模型研究

张艳 宋一帆 魏晓娟

摘要：人脸识别在模式识别、人工智能、计算机视觉等多个领域得到了广泛应用。单一的识别算法在性能上存在局限性，文章基于数据融合的思想，提出一种融合多种识别算法的三层人脸识别模型。为充分发挥数据特点，在融合前先进行预处理，分离出有效特征值，组建特征矩阵。数据层和特征层分别选用加权平均算法和人工神经网络算法，决策级使用改进的模糊推理算法。基于MIT和ORL的仿真实验表明，本模型相比单一算法在识别率上有了明显改善，且具有一定的自适应能力。

关键词：数据分类；人脸识别模型；特征矩阵；模糊推理

中图分类号：TP312  文献标志码：A

0 引言

人脸识别技术在生物特征识别和视频监控中发挥着重要作用，人脸识别由于其友好性，在身份识别、图像处理、计算机视觉、模式识别等领域被广泛应用。

目前，国内外已出现了大量关于人脸识别的研究成果。张昀等［1］提出了一种融合Gabor特征的随机点积图的算法，优点是通过数据预处理减少了特征冗余度从而实现数据降维，但算法适应性不强。Zhou［2］采用BP神经网络算法，该算法改善了识别率和识别有效性，缺点是不能很好满足实时性要求。刘冬梅等［3］提出一种基于数据融合的人脸识别方法，对数据进行小波分解并区分高频子图和低频子图，引入数据融合方案，有效地提高了识别率，但缺乏自适应性。

不同的人脸描述方式有不同的特点［4］，考虑到使用单一识别算法识别率相对较低的缺点，本文基于数据融合技术，提出三层框架的人脸识别模型，在不同层融合不同算法以生成全方位的识别检测系统，进而达到改进人脸识别系统整体性能的目的。

1 基于数据融合的人脸识别模型

1.1 数据融合技术

每种识别算法有各自的特征、优缺点及适用范围，目前还没有哪种算法可以达到较高的识别率，同时又适应各种情况。数据融合技术利用计算机对大量传感器不同时域和空间域所收集的数据进行分析、合成、演绎推理出基于时间序列的数据规律，从而得出被测对象的规律和评估结果。数据融合分为数据级、特征级和决策级3级。

数据级融合是对各种传感器的原始数据在未经预处理前就进行综合和分析，目的是尽可能保留初始数据中的细微信息，是最低层次的融合。由于传感器中原始数据的不稳定性、不完全性和不确定性，直接融合可能会导致盲目检测，因此对数据級融合的纠错能力要求较高。特征级融合对数据级所提取的特征信息进行综合分析处理，并加以分类汇总和压缩。多特征提取可以获取目标对象更多的特征信息，从而改善识别性能。

决策级融合是最高层次的融合，经预处理过的数据和特征级的输出结果经过决策级算法进行处理和辨别，得出人脸特征的相关信息为决策提供依据，从而保证结果的精确度。

人脸识别算法即要满足识别精度的要求，又要考虑到实时性，还要有低的复杂度。本文基于数据融合的思想提出三层框架的人脸识别模型，根据数据级、特征级及决策级各自的特点，在模型三层框架中采用相应的人脸识别算法。

1.2 数据级融合模型

传感器中数据量大，处理代价高。考虑到原始数据不稳定的特性，需要对其进行预处理，消除图像噪声，以更精确地提取特征值。

对各传感器收集的原始数据信息分类处理：来自同质传感器的数据经预处理，符合校准精度后，作为特征级的输入；而来自异质传感器的数据，则需经过特征提取，不参与特征级处理，直接放入决策级进行融合。

为了更方便地从背景图像中提取人的面部特征，先进行边缘检测，并对图像进行灰度处理来降低算法的复杂度和系统资源消耗。目前人脸识别的特征融合分为基于整体脸部特征和基于脸部局部特征两种，局部特征中眼部、嘴部特征对人脸识别起着重要作用。本文在对异质传感器的数据提取特征时选择嘴唇、鼻子、眼及眉毛作为人脸面部的特征点。

定义o表示像素，δO表示邻域q（q∈δO）内的点，σq表示q的灰度信息，邻域δO的像素数用nO表示。特征点的权值计算如下。

第一步：根据灰度信息计算均方误差φoq。

φoq=∑q∈δo（σ′q-σq）2no-1（1）

第二步：投影到核空间。

πoq=exp-φoq-∑r∈δoφoqno（2）

第三步：计算特征权值。

oq=πoq∑q∈δoπoq（3）

每个局部特征被分配不同的权值，以此作为特征提取依据。

图像经过以上处理，中心节点的灰度值噪声可被消除，但同时会带来图像模糊的问题，本文利用反锐化掩膜法、图像叠加和高通滤波技术消除图像模糊，突出图像边缘，增强高频分量，实现图像锐化。最终，处理结果为：

Q=（L－P）×Q+P×Q（4）

其中，L为判定操作，P为冲击影响系数，引入因子λ（λ1）增强边缘图像的高频部分：

Qsh=（L-P）×Q+λP×Q（5）

反锐化掩膜滤波为：

I=L+（λ-1）P（6）

经过反锐化掩膜过滤后可得到理想的去噪数据，接下来可进行融合处理。

常用的数据融合方法有简单融合法、金字塔融合法和小波融合法等。对这些算法的原理及优缺点进行研究和比较后，考虑到数据层融合的特点，在数据级融合选用简单易实现的加权平均算法。通过训练对权值进行调整，得出自适应的权值。

对于图像中的某个点，在图像中的相对位置用（x，y）来定义，该点在传感器1，2，3…中的数据分别为A1（x，y），A2（x，y），A3（x，y），利用加权平均融合算法可得到融合后的结果ψ（x，y）为：

ψ（x，y）=aA1（x，y）+bA2（x，y）+cA3（x，y）（7）

其中，a，b，c为权重系数，且0≤a≤1（b，c相同）；大小取决于图像质量，且有a+b+c=1。当a=b=c=13时，表示平均加权融合。

系统设计时，收集同一对象的3张面部图像，经过定位、特征分割和归一化，可得到每张图像的3个样本。这点不同于以往只考虑单帧的算法，因为单帧可能存在质量问题。本文算法采用平均融合3个样本的像素的做法，得到保存结果作为特殊级输入。

由此，数据级融合模型如图1所示。

1.3 特征级融合模型

特征级融合是人脸识别中最重要的部分，且比较难实现，经过特征融合既要产生新特征又要保留融合前数据中的特征信息。

针对特征级融合的算法也很多，比较常用的有基于模板的算法、BP神经网络算法和RBF神经网络算法等，神经网络算法是基于距离度量的数据分类方法。通过对输入向量进行分析，调整参数得出输出向量。基于人工神经网络的算法具有理想记忆、分类和优化决策等功能，且响应速度快，在模式识别和分类中具有独特优势，本文选择BP神经网络来完成特征级融合。

BP神经网络是基于BP算法的多层前馈神经网络，本文的BP网络模型由一个输入层、两个隐含层和一个输出层构成。利用S型函数作为激励函数，如下：

ζ（x）=11+e-εx（8）

其中，ε是可选参数，用来控制精度。

输入向量用集合u∈Rn1，u=（u1，u2...un1）T表示，n2个输出向量为v∈Rn2，v=（v1，v2...vn2）T。ρ和ξ分别表示对应层的权值和阈值。则有：

nj=∑n1i=1ρiui-ξj（9）

令κj=ζ（ηj）=11+e-εηj，则有：

κ′j=ζ′（ηj）=11+e－εηjεe-εηj1+e－εηj=λ［1-ζ（ηj）］ζ（ηj）（10）

假设隐藏层第一层神经元个数为n，输出为x′∈Rn，x=（x′1，x′2...x′n）T，第二层个数为m，输出为x"∈Rm，x=（x"1，x"2...x"m）T。输入层到隐藏层第一层的权值为ρij，阈值为ξj；由输入层到隐藏层第二层的权值为ρ"jk，阈值为ξ′j，由隐藏层第二层到输出层的权值为w′ij，阈值为ξ"j，由此隐藏层第一层、第二层及输出层输出分别为：

x′j=ζ∑ni=0ρijxi-ξj，j=0，1，2...n

x"k=ζ∑mj=0ρ′jkx′j-ξ′k，k=0，1，2...m

y1=ζ∑mk=0ρ"klx"k-ξ"l，l=0，1，2...n2-1（11）

将各个权值和閾值设置成小的接近0的随机值，并初始化精度控制参数ε，按系统要求设置好网络参数后，利用样本D在神经网络中对输入向量进行训练。将输出矢量Y与目标矢量D的值做比较，计算误差项。根据误差项并不断调整权重系数，以收敛到正确的目标值，将权值系数和阈值结果保存，以进行下一次训练。

特征级融合模型如图2所示。

1.4 决策级融合模型

模型的最高级是决策级融合。决策级融合常用的方法有Bayes推理、D-S证据理论、模糊集等。

特征级输出结果和数据级提取的特征数据，由决策级进行融合。决策的做出是综合各方面因素作用的结果，如信息的完整性，数据的抗干扰能力，数据有效性等，这些因素的模糊性共同决定着结果，本文在决策级基于模糊推理技术提出了一种改进的基于特征矩阵的模糊推理算法。

假设特征级输出矢量组成集合N，有n个样本，m个特征值，则样本的指标特征矩阵S定义为：

S=s11…s1m

…

sn1…snm（12）

其中，sij表示样本i的指标j特征值。取目标j的最大特征值simax对优的目标相对隶属度为1，取目标特征值为0对优的目标相对隶属度为0。令simax=max（si1...sim），且rij=sij/simax，将目标特征矩阵转换为相对隶属度矩阵

R=（rij）（13）

异质传感器所提取的特征点数据及特征权重进行归一化处理得出矩阵Q，隶属函数由这两个矩阵决定：

P=R×Q（14）

最终判定人脸识别结果为矩阵中最大值：

Ai=maxP=max{R×Q}（15）

决策级融合需要综合分析检测区域、环境、对象、决策结果等信息以得出精确的人脸识别。利用特征级输出的特征值或从传感器提取的特征信息来确定决策结果。决策级融合的人脸识别模型如图3所示。

2 模拟实验及结果分析

本文使用MIT和ORL人脸库作为实验数据集。MIT人脸数据库由美国麻省理工学院媒体实验室创建，包含16位志愿者的2 592张不同姿态、光照和大小的面部图像。ORL数据库有40个人的400多幅图像，其中包含姿态、角度、尺度和眼镜等变化，且部分图像拍摄时间不同，面部表情和姿态也有较大改变。

实验1 在MIT人脸库上测试该模型的识别率及误识率，并与BP神经网络做比较。从数据库选择10个人的图像作为样本集，考虑到神经网络是基于训练的，随机选择每个人的10幅图像作为训练样本用作训练，选择每个人的10幅图像用作测试，且训练集和测试集无交集，经过本文模型融合后得到如表1所示统计结果。

实验2 在ORL人脸库上测试该模型的识别率及误识率。从数据库收集6个人脸图像作为样本集，选择前5幅作为训练样本用作训练，其余的用作测试，得到结果如表2所示。

从实验结果可看出，本文提出的模型由于融合了多种算法的优势，具有较高的识别率和较低的误检率。在样本合适的情况下，BP神经算法同样具有较好的识别率，但随着样本的急剧减小，BP神经网络的识别率大大下降。总体来说，经过数据融合后，人脸识别率有了显著提高，对于不同的数据集有一定的自适应性。

3 结语

数据融合技术采用分层结构，可以在一次识别中引入多个算法，使各算法发挥各自的优点从而获得较高的识别率。本文在数据融合技术的基础上，提出了三层框架模型对数据进行分类处理，并经过多级融合，与BP神经网络算法相比，本算法有更好的识别结果。下一步的研究工作，将是探讨如何在各层采用最适合的融合算法，以更全面地改进算法的性能。

參考文献

［1］张昀，顾乃杰.融合Gabor特征的基于随机点积图的人脸识别算法［J］.小型微型计算机，2015（6）：1306-1309.

［2］ZHOU J H. Video facial recognition of PCA and SVM multi-biometric feature fusion［J］. Jiamusi University Journal （Natural Science Edition）， 2010（4）：485-488.

［3］刘冬梅，吕明磊，曾智勇.基于数据融合的人脸识别方法［J］.计算机工程，2013（10）：192-195.

［4］张荣荣，闵钢，骆畑，等.引入图像去噪处理机制的DNN模型人脸识别算法［J］.数字印刷，2022（6）：26-36.

（编辑 沈 强）

Research on face recognition model based on data fusion

Zhang  Yan， Song  Yifan， Wei Xiaojuan

（Henan Polytechnic， Zhengzhou 450046， China）

Abstract： Face recognition has been widely used in pattern recognition， artificial intelligence， computer vision and other fields， while the recognition rate of single recognition method is inefficiency in facial recognition. A new facial recognition model using data fusion technology is proposed in this paper， which combined a variety of recognition algorithm to improve the recognition rate. Data is pre-preated in order to get effective eigenvalue and form characteristic matrix. Weighted average algorithm and Artificial neural network algorithm are selected in data layer and feature layer respectively. Decision layer uses the improved fuzzy reasoning algorithm. Simulation based on the MIT and ORL shows that the model has improved significantly in recognition rate compared with a single BP neural network method， and has a certain adaptive ability.

Key words： data classification; face recognition; feature matrix; fuzzy reasoning