基于信息融合的三维人脸识别*

1 三维人脸检测方法

人脸检测是指从动态场景或复杂的背景中检测出人脸的存在并确定其位置，然后分离处理的过程.以往的研究中，往往以整张人脸作为检测基础［11-12］，受到环境干扰较大，算法速度上也受影响.为减少整张人脸的环境影响，并结合人脸固有生理特征信息，文中拟通过检测人脸左右眼位置来确定人脸位置，然后利用区域肤色特征及深度信息特征实现人脸过滤.

1.1 人眼位置检测

双眼的位置是人脸的重要特征之一，相对于其他脸部特征，它在人脸姿态发生变化时也能保持相对稳定.文中提出的人脸检测主要依靠双眼位置来完成，借用Paul 等［13］提出的级联的Harr 分类器的思想，使用学习算法对人眼的左右眼数据库训练，得到对应的左右眼级联分类器，然后根据人眼分布信息经验值来确认人脸的区域.记Pl(xl，yl)为左眼位置，Pr(xr，yr)为右眼位置.则人脸的区域可以表达为

其中l=xl-xr.在具体实现中要注意左右眼的规定，因为捕获图像是实际图像的水平翻转.文中在程序实现上以图像中x 坐标较大者为左眼，较小者为右眼.

1.2 人脸检测肤色过滤

区域肤色特征是表征人脸的重要方面，选取肤色颜色空间和肤色模型进行有效的肤色过滤，能够提高人脸检测的准确率.文中选择YCbCr 作为肤色分割的颜色空间，相对于其他诸如RGB、CMY、HIS等颜色空间，该颜色空间在肤色提取上更具表征能力［14］.在肤色模型方面，考虑到光照变化可能对模型造成的影响，选择了混合高斯模型，并通过最大期望算法(EM)对肤色模型进行迭代估计.单个的肤色高斯模型为:

式中，c 为颜色向量，μ 为均矢量，E 为协方差矩阵.μ 和E 可以通过式(3)和式(4)得到:

式中，cj为第j 个颜色向量，n 代表皮肤颜色样本c的总数.颜色向量的肤色概率G 可以通过式(5)表示:

通过对检测到的人脸区域进行肤色统计，可以得到当前区域中肤色像素点所占整个区域的百分比，利用所占比例的信息来对检测区域进行肤色过滤.

1.3 人脸检测深度信息过滤

上述检测方法对于照片人脸或纹理特别丰富的区域还会出现误检现象.为避免误检情况，文中引入人脸深度信息以提高人脸检测的准确性.通过对检测的人脸区域深度信息进行统计分析，可以有效滤除照片人脸及纹理特征丰富区域.具体实现方法如下.记d(x，y)为图像中像素点p(x，y)的深度信息，则人脸区域的平均深度N 可以表示为

深度信息的方差V 表示如下:

V 反应了检测到人脸区域深度信息的变化情况，通过该值过滤人脸.

2 基于动态规整的人脸轮廓快速提取

2.1 人脸对齐

人脸对齐是人脸识别的重要前提，对齐效果直接影响后续的特征提取，进而影响识别结果.现有的三维人脸对齐的方法包括:①主成分分析(PCA)投影［15］;②通过迭代近邻点(ICP)找对称轴［16］;③建立姿态模型对人脸姿态估计，利用计算出的姿态参数对齐人脸.上述方法均存在计算量大的问题，文中结合前面已完成人眼定位的情况，基于人眼位置基本水平的客观事实，通过左右眼位置完成人脸倾斜角度计算，实现对应人脸的角度矫正，完成人脸对齐.

2.2 基于动态规整的人脸轮廓比较

动态规整(DTW)算法的核心思想是利用动态规划的方法实现不同长度特征之间的距离衡量，常用于解决语音识别过程中发音长短不一的模板匹配问题.该算法具有明显的优点:不需要提取训练;DTW 计算时间短，高效.文中引入动态规整算法实现人脸轮廓匹配，以期在人脸识别第一步快速过滤人脸，减少后续人脸特征的提取和匹配计算，提升系统的处理能力和实时性.

人脸的3D 轮廓信息，特别是人脸中轴线是重要的特征信息.人脸中轴线是指以鼻尖为中心，将人脸分为对称的两部分的一条轮廓线，它包含了人脸额头、鼻梁、嘴唇等的深度信息，以及相互间的深度位置关系.

在人脸深度信息上，鼻尖位置是人脸曲率变化最剧烈的区域，且稳定性高.文中对人脸深度信息按式(8)进行ShapeIndex 计算，计算出每一个点p 的ShapeIndex 值:式中，k1(p)为最大曲率，k2(p)为最小曲率.根据鼻尖一般处于人脸中心的实际情况及计算出的ShapeIndex 值对鼻尖进行精确的定位.然后，融合鼻尖和眼睛的位置来提取出人脸中轴线的深度轮廓信息.如图1(b)所示为提取出的人脸中轴轮廓线.

图1 人脸中轴轮廓线Fig.1 Medial axis contour of face

3 基于信息融合的改进LBP 的多尺度人脸识别

3.1 改进的区域LBP 特征

图像的LBP 具有很强的局部描述能力，最初多用于纹理匹配领域.LBP 特征的描述如图2 所示.从图中可以看出，LBP 特征的核心是将中心像素点的值与周围像素点的值进行比较，大于中心点像素值的编码为1，小于中心点像素值编码为0，并规定一个起始方向得到一组编码.如图2 所示，采用左上角为起始方向，得到的编码为11000111，对应的十进制数为199.基于这种编码方法，对整个图像进行归一化的编码，则可以得到一个256 维的直方图.采用欧氏距离衡量两张图像256 维度的直方图，实现两张图的匹配.

图2 LBP 特征描述Fig.2 Feature description of LBP

上述采用单个像素点编码的方法易于受到噪声、旋转等因素的干扰.为克服传统LBP 算法基于单个像素值与中心值比较进行计算的缺陷，提高识别的鲁棒性，文中提出一种基于区域像素值的改进LBP 算法.通过对中心像素区域与周围区域进行比较确定编码，获得更具有描述能力和抗干扰能力的区域LBP 特征.区域LBP 特征提取方法如图3 所示.改进后的区域LBP 特征的计算方式不再依赖单个像素点的像素值，而是通过计算一个区域的像素来决定LBP 的编码.如对编号“7”区域的计算，在传统的LBP 中是由一个像素点值决定的，而在扩展的LBP 特征中其是由4 个像素点值共同决定的.

图3 区域LBP 模式Fig.3 Regional model of LBP

3.2 区域权值确定

人脸的表情和姿态会造成人脸区域的颜色和深度信息的变化，是困扰人脸识别的重要问题.结合人脸生理上的固有特征，对区域LBP 特征权值的分配进行了研究，使区域LBP 特征匹配具有更好的鲁棒性.

3.2.1 彩色人脸图权值分布

彩色人脸图权值分布主要是根据人脸特征色彩空间的分布特点实现的，诸如眼睛、嘴唇等具有较丰富纹理信息的区域，赋予较高的权值，可以认为这些区域的信息对人脸的匹配起到主导作用.权值分布情况如图4 所示.

图4 人脸彩色图像图LBP 权值分布Fig.4 Weight value distribution of LBP for image

权值分布图中白色区域的权值为4，灰色区域的权值设置为2，深灰色区域的权值设置为1，黑色区域的权值设置为0.这种权值分布符合人脸彩色图的纹理变化分布，能够有效地表征人脸的LBP 特征区域分布.

3.2.2 人脸生理特征信息分布

为更好地确定深度人脸LBP 特征权值分布，文中分析人脸的生理特征及肌肉分布信息，人脸肌肉信息分布如图5 所示.

图5 人脸肌肉分布和LBP 权值分布图Fig.5 Muscle distribution of face and weight value distribution of LBP

通过对人脸肌肉分布信息研究后，确定人脸中的刚性区域.人脸刚性区域发生形变较小，深度LBP有较为稳定的前提，应赋予较高的权值，得出图5(b)所示的人脸深度权重信息分布图.权值分布图中白色区域权值设为4，灰色区域的权值设为2，深灰色区域的权值设为1，黑色区域的权值设为0.从深度图的权值分布可以看出，人脸的中心区域，特别是鼻子区域有较高的权重，表示该部分在深度上形变较小，可以很好地表征人脸的个体信息.

3.3 LBP 特征匹配

分别对人脸彩色图像和深度图像进行区域LBP特征提取，得到两个具有很强人脸描述能力的区域LBP 直方图.为使人脸识别系统具有快速判别能力，采用式(9)的方法来衡量区域LBP 特征的相似度:

式中，F、D 分别为当前人脸的区域LBP 特征和保存在人脸数据库的区域LBP 特征;wi，j代表了当前分块区域的权值.通过式(10)判断是否为同一张脸:

式中，δ 为判别识别是否成功的阈值，当T 为1 时表示识别成功，T 为0 时表示识别失败，继续寻找数据库的人脸的LBP 特征进行匹配.

4 实验结果及分析

系统在Xeon 3.07 Ghz 工作站上实现，使用Visual Studio 2010 开发，采集设备为Kinect，图像处理方面使用OpenCV 图像处理库来完成图像的基本操作.由5 个人在不同姿态、不同深度、不同光照下分别采集10 张人脸;将这50 张人脸作为训练样本数据，利用Kinect 采集的视频图像序列作为测试样本.

4.1 人脸检测分析

图6 所示为通过Kinect 在不同姿态下采集的人脸RGB 图像及深度图.在获取多组不同姿态下的人脸图像，可以得到其对应的深度图以及深度数据.通过计算人脸区域的深度信息方差来得到深度阈值范围，并作为人脸检测的特征之一，这样可以有效过滤掉人脸照片和纹理丰富的非人脸区域.过滤结果对比如图7 所示.

图6 不同姿态下人脸的RGB 图像及其深度图Fig.6 RGB image and depth image for face with different gesture

图7(a)为文献［13］的人脸检测结果，图7(b)则示出了文中提出的融合深度和彩色信息图的人脸检测结果.在Kinect 采集的视频序列中挑选了场景变化较大的100 帧数据作为测试对象，具体的统计数据见表1.

图7 人脸检测结果Fig.7 Face detection results

表1 人脸检测统计结果Table 1 Statistical results of face detection %

4.2 人脸对齐处理

文中采用的人脸对齐方法，使用了双眼位置作为对齐的基本信息，通过计算双眼的相对位置来实现快速的人脸对齐.通过实验验证，人脸在不同角度倾斜时，该方法在稳定性和速度上都有良好表现.不同倾斜人脸对齐情况如图8 所示.

图8 倾斜人脸对齐实验结果Fig.8 Experimental results of inclined face alignment

4.3 人脸识别时间分析

文中根据人脸在深度图和彩色图上的生理信息分布确定了LBP 的权值分布，并通过快速的人脸轮廓排除算法对人脸识别过程进行加速，对比于传统的3D 人脸识别方法，文中提出的方法在速度上获得了可观的提升，人脸识别处理时间分析见表2.

4.4 区域LBP 算法阈值确定及算法性能比较

文中多处涉及对算法阈值的确定，以彩色图像LBP 特征阈值计算为例，描述文中阈值的确定方法.

表2 人脸识别处理时间分析Table 2 Analysis of face recognition time

图9 示出了21 组数据的LBP 特征结果.“+”表示数据库中21 个已存的不同人脸与当前检测人脸进行分区域LBP 特征匹配的结果.“* ”表示21 个识别正确的结果所对应的分区域LBP 阈值匹配分布.从图中可以清楚看到，彩色图人脸LBP 特征匹配阈值合适的设置区间应为4000～5000.文中根据训练数据和人工标定结果最终将彩色人脸LBP 的匹配阈值设置为4500.针对图9 所示数据库中LBP匹配值有多个小于彩色人脸LBP 匹配阈值的情况，即图像中代表数据中的LBP 匹配值和代表识别正确结果LBP 匹配值的红线有多个交点的情况，文中选择最接近的结果作为最终匹配结果，即选择最小的LBP 匹配值作为人脸最后的识别结果.

通过上述的方法确定了系统中所采用方法的阈值，识别结果如图10 所示.

图10 人脸识别系统识别结果Fig.10 Results of face recognition

使用Kinect 采集10 人人脸信息作为样本库，挑选其中3 人在不同场景下的750 帧视频序列数据作为检测数据，用传统LBP 算法和改进的区域LBP 算法进行测试比较，测试结果见表3.

表3 两种算法的成功匹配率Table 3 Successful matching rate of two algorithms %

从表3 中可以看出，使用改进区域LBP 特征匹配的方法能更好地适应环境的变化，更有效地去除图像噪声、光照变化等因素对匹配结果的影响.

5 结语

文中提出了一种融合Kinect 采集的彩色图像和深度信息来完成人脸识别的方法.在人脸检测部分，提出利用双眼进行人脸定位，并结合肤色模型和人脸深度信息模型实现非人脸区域的滤除.在人脸对齐的基础上，引入DTW 算法实现人脸轮廓的快速排除，提高了系统的实时性.在识别研究中，提出了一种改进的区域LBP 算法，在区域LBP 算法的权值选取方面融合人脸的彩色图像信息和人脸生理特征信息，提高了识别的鲁棒性.

文中虽然在人脸识别的实时性和鲁棒性方面有所改进，但是系统应用还存在诸多不足.接下来将在以下几个方面展开研究:①弱光条件下人脸的检测及识别;②不同姿态下的人脸识别，特别是人脸有径向转动的情况;③大数据库环境的测试.

［1］Li S Z，Jain A K.Handbook of face recognition［M］.New York:Springer，2011.

［2］Abdi H，Williams L J.Principal component analysis［J］.Wiley Interdisciplinary Reviews:Computational Statistics，2010，2(4):433-459.

［3］王建忠.高维数据几何结构及降维［M］.北京:高等教育出版社，2012:95-114.

［4］Chan L H，Salleh S H，Ting C M，et al.PCA and LDAbased face verification using back-propagation neural network［C］∥Proceedings of the 10th International Conference on Information Sciences，Signal Processing and their Application.Kuala Lumpur:IEEE，2010:728-732.

［5］Yuan B H，Cao H G，Chu J L.Combining local binary pattern and local phase quantization for face recognition［C］∥Proceedings of 2012 International Symposium on Biometrics and Security Technologies.Taipei:IEEE，2012:51-53.

［6］Dornaika F，Bosaghzadeh A.Exponential local discriminant embedding and its application to face recognition［J］.IEEE Transactions on Cybernetics，2013，43(3):921-934.

［7］Ho Huy T，Chellappa R.Pose-invariant face recognition using Markov random fields ［J］.IEEE Transactions on Image Processing，2013，22(4):1537-1583.

［8］Smeets D，Fabry T，Hermans J，et al.Fusion of an isometric deformation modeling approach using spectral decomposition and a region-based approach using ICP for expression-invariant 3D face recognition［C］∥Proceedings of 2010 International Conference on Pattern Recognition.Istanbul:IEEE，2010:1172-1175.

［9］Priya M V，Narayanan R，Sivaa M，et al.A combined approach for face detection with 3D mesh and eigen face［J］.Procedia Engineering，2012，38:298-305.

［10］梁亚玲，杜明辉.基于唇部灰度能量图的唇读方法［J］.华南理工大学学报:自然科学版，2011，39(7):88-94.Liang Ya-ling，Du Ming-hui.Lipreading based on lip gray energy image［J］.Journal of South China University of Technology:Natural Science Edition，2011，39(7):88-94.

［11］Berretti S，Del Bimbo A，Pala P.3D face recognition using iso-geodesic stripes ［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32(12):2162-2177.

［12］Paysan P，Knothe R，Amberg B，et al.A 3D face model for pose and illumination invariant face recognition［C］∥Proceedings of 2009 Advanced Video and Signal Based Surveillance.Genova:IEEE，2009:296-301.

［13］Paul V，Michael J J.Robust real-time face detection［J］.International Journal of Computer Vision，2004，57(2):137-154.

［14］Takiwaki H，Overgaard L，Serup J.Comparison of narrow-band reflectance spectrophotometric and tristimulus colorimetric measurements of skin color twenty-three anatomical sites evaluated by the Dermaspectrometer and the chroma meter CR-200［J］.Skin Phamacol，1994，7(4):217-225.

［15］Wehrens R.Chemometrics with R ［M］.Heidelberg:Springer，2011:43-66.

［16］李晓莉，达飞鹏.基于排除算法的快速三维人脸识别方法［J］.自动化学报，2010，36(1):153-158.Li Xiao-li，Da Fei-peng.A rapid method for 3D face recognition based on rejection algorithm［J］.Acta Automatica Sinica，2010，36(1):153-158.