基于局部二值特征的人脸姿态估计系统的研究与实现

◆钟小华 张永清 肖成军

（1.广东白云学院机电工程学院 广东 510450；2.广东非思智能科技股份有限公司 广东510507）

基于局部二值特征的人脸姿态估计系统的研究与实现

◆钟小华1张永清2肖成军1

（1.广东白云学院机电工程学院 广东 510450；2.广东非思智能科技股份有限公司 广东510507）

本系统利用VS2010开发平台结合OpenCV图像处理软件实现人脸姿态的计算。首先采用Adaboost算法和Haar特征检测出待检测图像中的人脸，接着采用局部二值特征算法估算人脸的68个特征点，并利用比例正交投影迭代变换算法结合估算的68个人脸特征点实现了人脸人脸的姿态估计。实验结果表明该系统对有遮挡或转角过大的人脸也具有较高的准确度。

人脸姿态估计；人脸位置检测；局部二值特征

0 引言

人脸姿态估计在虚拟现实与增强、3D应用、表情识别等领域有广泛的应用。由于背景复杂、光照、距离、姿态等原因，人脸字姿态估计一直是国内外学者关注的重要课题之一，目前人脸姿态估计的方法主要有：基于几何模型的姿态估计法、基于三维模型的姿态估计法、基于人脸特征的姿态估计法。基于几何模型的姿态估计法是通过把人脸的关键点与常见的几何模型进行匹配从而估计人脸的姿态[1-2]，该方法简单容易实现，但若人脸姿态的变化角度过大(>45°)会造成姿态估算结果偏差较大。基于三维模型的姿态估计法首先需要建立人脸三维模型库，将待检测的二维人脸与三维模型库的旋转一定角度对应人脸模型投影到二维图像进行匹配，完成人脸姿态的识别[3-4]，但构建三维人脸数据库需要的数据量巨大，对计算机 CPU和存储空间要求较高，耗时长，同时对样本的姿态和光照要求高，实际中难以应用。基于人脸特征的方法利用算法检测人脸特定部位的特征点，一般为眼睛、鼻子、嘴等，这些特征点在姿态、视角和光照等条件发生改变时依然存在，从而利用二维特征点进行三维匹配确定人脸的空间姿态。尺度不变特征变换（SIFT）[5-6]对图像尺寸、旋转、仿射变换的能够保持不变性，对图像中人脸的尺寸大小和姿态转换具有一定的适应能力，但 SIFT算子维度高，计算量大。稀疏表示分类（SRC）[7-8]在有噪声影响和遮挡的人脸识别问题上表现出了独特的优势，但没有针对多姿态问题加以解决。本研究结合人脸特征的方法，采用人脸局部二值特征算法求得人脸关键点位置，再用比例正交投影迭代变换算法估算人脸的姿态。

1 基于局部二值特征的人脸姿态估计的核心算法

基于局部二值特征的人脸姿态估计实现过程可以分为三个步骤：1)人脸检测；2）局部二值特征计算；3）人脸姿态估计。

图1 人脸姿态估计流程图

1.1 人脸检测算法

人脸检测是判断人脸在一幅待检测图像是否存。首先需要对训练集图像中的人脸进行 Harr-like特征提取，再利用 Adaboost算法进行判断。Adaboost算法通过不断的迭代从大量的Harr-like特征中找到小部分人脸关键的特征，利用这些关键特征产生一些有效的分类器，然后将大量的分类能力一般的弱分类器以一定的方法级联叠加起来构成一个强分类器[9]，该方法能够有效地识别人脸和非人脸。流程示意图如图2所示。

图2 Adaboost算法示意图

1.2 局部二值特征算法

采用局部二值特征算法来标记人脸的68个特征点，例如眼睛、嘴、鼻子、眉毛以及人脸轮廓点等。人脸的 68个特征点 S的实际位置如图3所示。

图3 68个人脸特征点

对于图像I，输入人脸标准初始形状S0，通过级联的方式估算一个形状增量 △S来逐步修正S，估算第t次迭代的形状增量△St的过程为：

其中 I为输入图像，St-1为前一个层级得到的形状，Φt为特征映射函数，Wt为线性回归矩阵。

（1） 局部二值特征的生成

公式（2）的特征映射函数Φt由一系列的局部特征函数组成，如每一个局部特征函数都可以通过独立学习得到。采用一种标准的随机回归森林来学习每个随机森林树的分割点用像素差特征训练得到。假设叶子节点数的总数为D，输出为：

（2） 全局线性回归特征模型

其中第一项为回归目标，第二项为 Wt的L2正则化项。因为特征维度高，正则化必不可少。

1.3 比例正交投影迭代变换算法

如图4所示，人脸姿态的构成由三种角度组成，分别为左右翻转（偏航角 roll），平面内旋转（翻转角 yaw），上下翻转（俯仰角pitch）。

图4 人脸姿态示意图

本研究的姿态估计采用非线性最小二乘方法模型来估算：

其中(α,β ,γ) 代表人脸姿态的三个旋转角度，N代表一张人脸上标定特征点的个数，qi代表检测的人脸特征点，pi代表对应的三维通用标准模型特征点，R为旋转矩阵，T为空间平移向量。其中旋转矩阵R和空间平移向量T采用比例正交投影迭代变换（POSIT）算法[10]求出，该算法能够根据2D图像中的若干特征点位置，估计出物体在3D上角度，主要过程为：通过比例正交投影迭代变换（POSIT）算法求人脸特征点的旋转矩阵R和空间平移向量 T估计值；将其作为初始值进行弱透视投影，再通过POSIT算法迭代不断修正前一次的估计值，直到结果满意为止。

假设旋转矩阵R和空间平移向量T如式（6）所示：

在本文中，采用局部二值特征线性回归的方法求得人脸的68个特征点位置，结合标准3D模型中的相应位置的对应点，采用POSIT算法估算出旋转矩阵与平移矩阵，最终估算出人脸的偏转角度。

2 实验结果及分析

2.1 实验数据库及人脸数据预处理

采用LPFW人脸数据库[11]进行实验。该数据库中包含25000个规格不同肤色不同的人脸图像。从该人脸库中随机选取12500个人的人脸图像作为训练样本集，剩下的一半作为测试集。

2.2 人脸姿态估计总体结构设计

人脸姿态估计的开发工具是微软公司推出的开发环境Visual Studio 2010，利用了一个主流计算机视觉开发库OpenCV，OpenCV版本为OpenCV2.4.9。系统的流程图如图5所示，人脸姿态估计系统主要包括人脸检测模块、局部二值特征预测模块、人脸姿态估计模块。

图5 人脸姿态估计流程图

（1） 人脸检测模块

如同前面的 1.1所述，人脸检测的方法采用的是基于Haar-like特征的Adaboost人脸检测方法，该方法可以很好的将人脸图像中的人脸位置进行定位。在LPFW数据库中，我们挑选了部分样本作为人脸检测算法的输入，得到的结果如图6所示：

图6 人脸检测结果

（2） 局部二值特征回归模块

局部二值特征回归模块在在人脸检测的基础上，进行局部二值特征的提取，训练以及预测，其中训练的过程如图7所示：

图7 局部二值特征模型的训练过程

得到模型后，通过级联回归的增量修正，最终得到人脸中的68个实际坐标点，图8中为最终的结果。由图中可以看出，局部二值特征算法对角度偏转较大的图像也同样具有很好的鲁棒性。

图8 人脸特征点

（3）人脸姿态估计模块

人脸姿态估计实现的条件之一是求得人脸特征点（眼镜，嘴巴，鼻子等处的像素位置），其次是根据人脸特征点在图像上的坐标，通过比例正交投影迭代的方法，最终得到人脸的翻转角，偏航角以及俯仰角。图9为人脸的姿态估计结果，人脸姿态的三个角度组成，分别为左右翻转（roll），平面内旋转（yaw），上下翻转（pitch）已在图像上标出。

图9 人脸姿态估计结果

3 结论

该系统在VS2010开发环境下进行开发，对人脸对齐及人脸姿态识别具有很强的鲁棒性，能识别各类人群，即使戴眼镜或者眼镜反光，系统识别仍然具有很高的准确率，同时有一定的抗脸侧向的能力和抗脸倾斜识别能力，有较强的应用价值。

[1]X.P.Chen,Q.QYang,H.H,Liaoetal.Real-Time Face P-ose Estimate in Video Sequence[C].IEEE,Second International Workshop on Education Technology and Computer Science，2010.

[2]A.Narayanan,R.M.Kaimal,K.Bijlani. Yaw Estimation using Cylindrical and Ellipsoidal Face Models[J].IEEE,Transactions on Intelligent Transportation System，2014.

[3]FransensR,StrechaC,VanGoolL,Parametric Stereofor Multi-poseFaceRecognition and 3D-FaceModelling. Beijing,China，2005.

[4]尹宝才，张壮，孙艳丰等.基于三维形变模型的多姿态人脸识别.北京工业大学学报，2007.

[5]毋立芳，侯亚希等.基于紧致全姿态二值SIFT的人脸识别[J].仪器仪表学报，2015.

[6]周玲丽，赖剑煌.人脸特征的SIFT保护算法[J].中国图象图形学报，2011.

[7]张疆勤，廖海斌，李原.基于因子分析与稀疏表示的多姿态人脸识别[J].计算机工程与应用，2013.

[8]平强，庄连生，俞能海.姿态鲁棒的分块稀疏表示人脸识别算法[J].中国科学技术大学学报，2011.

[9]江伟坚，郭躬德，赖智铭. 基于新 Haar-like特征的Adaboost人脸检测算法[J].山东大学学报(工学版)，2014.

[10]程科文.基于自适应三维人脸模型的实时头部姿态估计[D].合肥市：合肥工业大学，2016.

[11]BELHUMEUR P,JACOBS D,KRIEGMAND,etal.Localization parts of faces using a consensus of exemplars[C]//Proceedings of the IEEE Conference on computer Vision and Pattern Recognition. Washington DC:IEEE，2011.

广东省智能制造应用型人才协调育人基地（粤高教函[2016]31号）。