改进级联回归模型的人脸特征点定位*

贾项南， 于凤芹， 杨慧中， 陈 莹

(江南大学 物联网工程学院，江苏 无锡 214122)

0 引 言

近年来，级联形状回归模型在人脸特征点定位[1～5]领域取得了重大突破。Dollar P于2012年首次提出了级联姿态回归(cascaded pose regression，CPR)模型[6]预测物体的形状。Cao X等人在CPR的基础上提出了显性形状回归算法(explicit shape regression，ESR)[7]，并用于人脸特征点定位，模型总体计算量大且未考虑物体的遮挡问题。对此，Burgos-Artizzu X P等人提出了鲁棒性级联回归方法(robust cascaded pose regression，RCPR)[8]，采用智能重启的初始化方法，并将遮挡信息引入到模型当中，实现了有遮挡的特征点定位，但模型仍然复杂。Ren S等人对级联回归进行了改进，提出了局部二值化特征(local binary features，LBF)回归算法[9]，采用平均形状作为初始形状，引入随机森林作为局部学习器，但随机森林结构复杂不利于构造，虽然提高了速度，但精度未改善。

本文针对以上问题，对级联回归模型进行改进研究:对模型的初始化方法进行改进，充分利用图像的纹理信息，并提取特征点局部区域的方向梯度直方图(histogram of oriented gradient,HOG)特征，采用普氏分析法得到最初人脸形状与真实人脸形状间的最佳仿射变换参数，建立图像特征与仿射参数之间的映射关系，通过变换得到更接近真实人脸形状的初始形状提高模型的收敛速度和精度；在各个特征点局部区域构造随机蕨局部学习器代替全局回归器，并学习得到计算简单且高度稀疏的局部二值化特征以提高模型的速度；采用全局线性回归对局部学习得到的二值化特征进行计算得到形状增量，更新每一级的预测形状，实现人脸特征点定位。

1 改进的级联回归模型的人脸特征点定位原理

人脸特征点定位是由初始形状通过加上一系列回归得到的形状增量一步一步收敛于真实人脸形状的过程。假设一幅人脸图像有L个人脸特征点，人脸形状可以表示为S=[x1,y1;x2,y2;…;xL,yL]，S为2L维的矩阵，用于存储人脸形状在整幅图像中的位置信息。给定人脸图像I和初始人脸形状S0，S的更新迭代过程如下

St=St-1+WtΨt(I,St-1),t=1,2,…,T

(1)

式中St为第t次迭代后的人脸形状;Wt为线性回归矩阵；Ψt(I,St-1)为特征映射函数，与人脸特征和上一级估计的形状有关。

本文从初始化和模型回归器的构造方式入手，对级联回归模型进行改进，使初始人脸形状逐步收敛于真实人脸形状，实现人脸特征点的定位。

1.1 基于仿射变换参数回归的人脸形状初始化

二维仿射变换用于改变人脸形状的旋转角度、尺度和位置。整个仿射变换过程可以表示[10]

(2)

式中 (x0,y0)为原始坐标；(xn,yn)为变换后的新坐标；(xr,yr)为旋转中心；θ为旋转角度；txr,tyr为根据旋转中心得到的水平和垂直方向偏移量；sx,sy分别为水平和垂直方向缩放尺度。通过普氏分析[11]得到最佳的仿射变换参数β1～β6，从初始人脸形状每个特征点的3×3局部区域块抽取HOG特征，通过学习6个线性回归器建立从HOG特征到仿射变换参数β1～β2间的映射。训练过程中，β1～β6表示如下

y1=β1,y2=β2,y3=β3+β1xr+β2yr

(3)

y4=β4,y5=β5,y6=β6+β4xr+β5yr

(4)

通过式(5)学习线性回归模型

(5)

式中i为训练样本的图片数量；φi为从最初的人脸特征点局部区域抽取的HOG特征；rk为权重向量；bk为偏移量。式(5)为线性最小方差问题。通过线性回归模型的求解过程可以从训练集中得到rk，bk。对于输入的任意图片，只需计算特征点局部区域的HOG特征，用训练得到的回归参数，即可求出仿射变换参数，进而求得变换后的初始形状。

1.2 基于随机蕨学习局部二值化特征

(6)

1.3 全局线性回归

由于对各个特征点进行局部学习存在彼此之间相互独立缺乏全局性约束且学习得到的二值化特征高度自由的情况。因此，采用全局线性回归，联合所有特征点的二值化特征，对其进行计算并求得形状增量。将式(1)的求解过程转化为目标函数式(7)的求最优值的过程

(7)

在学习过程中引入L2范数的正则项，λ控制正则化力度防止模型过拟合。通过式(7)学习得到全局回归矩阵，回归矩阵相乘得到形状增量ΔSt=Ψt*Wt，结合上一级估计的形状，即可得到本次迭代预测的形状St=St-1+ΔSt，进入下一次迭代，直到预测的形状收敛于真实人脸形状，结束回归过程。

2 算法实现步骤

改进的级联回归模型人脸特征点定位具体步骤为：

1)输入人脸图片I和人脸形状S，计算仿射变换参数，提取HOG特征，建立映射关系，求出6个回归器，计算变换后的初始形状S0;

2)在人脸特征点周围随机选取P个像素，产生P2个像素差值特征，从中选出与回归目标相关的F对像素差值特征和F个阈值;

3)根据步骤(2)选取的像素差值特征和阈值构造随机蕨，对每一个特征点生成M个随机蕨构成随机蕨丛林，通过随机蕨丛林对特征点周围的纹理进行学习，得到二值化特征;

4)对于所有训练样本得到的二值化特征，采用全局线性回归学习得到全局回归矩阵，计算得到全局形状增量ΔSt=Ψt*Wt，更新当前阶段预测的形状St=St-1+ΔSt;

6)输入测试样本I，随机选择S0，初始化S0，加载训练集当前阶段构造好的随机蕨，对特征点局部区域的纹理进行编码，得到二值化特征,加载在训练过程中学习的全局回归矩阵Wt，计算全局形状增量，更新当前预测的形状;

7)进入下一级回归，重复步骤(6)，直到初始人脸形状收敛于真实人脸形状，测试结束。

3 仿真实验结果与分析

实验运行环境为Windows7 64位，Intel Core i3—2310M CPU处理器，6GB内存，MATLAB R2016a仿真系统。采用公认的主流测试数据库LFPW[12],HELEN[13],AFW[14]进行仿真实验。LFPW包含了811张训练图像，224张测试图像；HELEN库包含了2 000张训练图像，330张测试图像；AFW包含330张图像，300张用于训练，30张用于测试。3个数据集包含了大量遮挡，表情姿态丰富和光照变化的图像，且数据集中均已给定了68个特征点作为真实人脸形状，无需重新标定。由于数据库中的图像大小不一，本文通过人脸检测框将样本裁剪成120×120大小。

3.1 实验参数设置

设置人脸特征数L为68，最大的迭代次数T为7，随机蕨丛林包含的蕨数M为10，每一株蕨的深度F为5，半径r为距离特征点的偏移量，每一级最佳特征提取的区域半径和每一级随机选取的像素特征个数P如表1设置。

表1 参数设置

3.2 定量对比分析

为了从定量的角度验证本文算法的有效性，在数据库LFPW，HELEN，FW上分别与文献[7～9]，3种算法进行了对比。以样本测试时定位速度作为时间的评价标准，均一化误差[7]作为人脸形状预测误差的衡量标准

(8)

式中Si为预测的人脸形状；i为真实人脸形状；di为每个样本瞳孔间的欧氏距离，用于对样本误差进行归一化，以公平对比样本之间的误差。从表2可知，3个库上，本文算法较文献[7]定位误差分别降低了25 %，15 %，13 %，较文献[8]定位误差分别降低了14 %，7 %，6 %。由于文献[7，8]采用100级以上的回归，所以，造成模型速度慢不能满足实时性要求。3个库中，本文算法与现公认定位效果较好的文献[9]相比，误差分别降低了15 %，7 %，12 %，时间分别减少了18 %，7 %，17 %。本文算法明显优于其他3种算法。

表2 4种算法在3数据库中误差与时间对比

为了更直观地评价本文算法的正确性和有效性，采用文献[15]的评价标准，画出积分误差分布(cumulative error distribution，CED)曲线，如图1所示，纵坐标为定位误差小于均一化误差的测试样本数量占总的测试样本数量的比率，CED曲线更能直观展现在某一误差上本文算法和其他3种算法特征点定位的正确率。图1(a)为在数据库LFPW上的CED曲线，图1(b)为在数据库HELEN上的CED曲线。从图1(a)可以看出:本文算法总体上都优于其他3种算法，当样本误差为0.1时，本文算法实现了98 %的定位精度，而文献[7～9]分别实现了89 %，94 %，97 %的定位精度。从图1(b)可以看出:当样本误差为0.1时，本文算法实现了93 %的定位精度，而文献[7～9]分别实现了88 %，91 %，93 %的定位精度。

图1 2种数据库上CED曲线

3.3 定性对比分析

从定性的角度进一步分析实验效果。图2为在数据库LFPW上的最终定位效果，第一行姿态偏转较大，本文定位效果良好，由于姿态偏转，导致文献[7]嘴角定位失败，文献[8]左边的颧骨定位失败；第二行为表情丰富的图像，由于本文充分利用纹理信息并在局部区域选择具有判别性的特征，定位效果好于其他几种算法；第三行分辨率较低，几种方法对于两颊的定位效果均不理想，文献[7，8]对鼻孔定位失败，文献[9]对眉毛定位失败；第四行光照变化，由于本文使用了像素差值特征对于光照有很好的鲁棒性，较其他几种算法实现了更好的定位效果；第五行右眼有遮挡，由于人脸未发生偏转，几种算法均实现了良好的定位效果。

图2 LFPW库上最终定位效果对比

4 结束语

提出了一种改进的级联回归模型人脸特征点定位方法，在多个具有挑战性的数据库上进行了仿真实验，通过仿真实验将本文算法与其他几种算法进行了对比。实验证明：本文算法具有模型规模小、运算速度快、定位精度高、实时性强等优点。但本文算法对于具有背景干扰的人脸图像上特征点定位仍然存在不足，为今后主要研究的内容。

参考文献:

[1] 孙君顶,刘晓惠,陈鹏鹏.基于改进局部方向模式的人脸识别[J].传感器与微系统,2016,35(6):52-55.

[2] 李月龙,靳 彦,汪建鸣,等.人脸特征点提取方法综述[J].计算机学报,2016,39(7):1356-1374.

[3] Ningbo H,Haibin L,Yiming Q,et al.Face super-resolution reconstruction and recognition using non-local similarity dictionary learning based algorithm[J].IEEE Journal of Automatica Sinica,2016,3(2):213-224.

[4] 黄 进,冬奇,陈毅能,等.混合现实中的人际交互综述[J].计算机辅助设计与图形学学报,2016,28(6):869-880.

[5] Meng Y,Lei Z,Jian Y,et al.Regularized robust coding for face recognition[J].IEEE Transactions on Image Processing,2013,22(5):1753-1766.

[6] Dollar P,Welinder P,Perona P.Cascaded pose regression[C]∥IEEE Computer Society Conference on Computer Vision and Pattern Recognition,2010:1078-1085.

[7] Cao X,Wei Y,Sun J.Face alignment by explicit shape regres-sion[C]∥IEEE Conference on Computer Vision and Pattern Recognition,2012:2887-2894.

[8] Burgos-Artzzu X P,Perona P,Dollar P.Robust face landmark estimation under occlusion[C]∥IEEE International Conference on Computer Vision,2013:1-8.

[9] Ren S,Cao X,Wei Y,et al.Face alignment at 3 000 fps via regressing local binary features[C]∥IEEE Conference on Computer Vision and Pattern Recognition,2014:1685-1692.

[10] Xuan L,Yidan X,Qi L,et al.Affine-transformation parameters regression for face alignment[C]∥IEEE Signal Processing Letters,2016:55-59.

[11] Gower J C.Generalized procrustes analysis[M].Vienna,Austria:Springer-Verlag,1975:33-51.

[12] Belhumeur P N,Jacobs D W,Kriegman D J,et al.Localizing parts of faces using a consensus of exemplars[C]∥IEEE Conference on Computer Vision and Pattern Recognition,2011:545-552.

[13] Brandt V L,Lin Z,Bourdev L,et al.Interative facial feature localization[C]∥The 12th European Conference on Computer Vision,2012:679-692.

[14] Zhu X,Ramanan D.Face detection,pose estimation,and landmark localization in the wild[C]∥IEEE Conference on Computer Vision and Pattern Recognition,2012:2879-2886.

[15] Shizhan Z,Cheng L,Chen C L,et al.Face alignment by coarse-to-fine shape searching[C]∥IEEE Conference on Computer Vision and Pattern Recognition,2015:4998-5005.