分层CS-LBP和HOG 特征融合的人脸识别研究＊

万源 李欢欢 童恒庆 吴克风

（武汉理工大学理学院 武汉 430070）

0 引 言

特征提取是人脸识别中的核心问题.近年来，局部特征的人脸识别技术备受学者的关注，局部二值模式（local binary pattern，LBP）［1］与局部三值模式（local ternary pattern，LTP）［2］、梯度方向直方图（histogram of oriented gradient，HOG）［3］等特征是人脸识别中常用的局部特征提取的方法.LBP特征由于其分类能力强，对单调的灰度变化具有不变性，且能结合图像的整体特征，因此于2004年被Timo Ahonen等［4］成功地应用于人脸识别中，成为人脸识别的重要方法.虽然LBP和LTP能很好地描述纹理特征，但对噪声却非常敏感，中心对称局部二值模式CS-LBP（center symmetric local binary pattern）特征是LBP特征的进一步改进，降低了特征维数，减小了时间复杂度.HOG 特征最初是Dalal等于2005 年提出的一种行人检测方法，后来被Déniz等［5］应用于人脸识别中.HOG 特征在一个大小统一、网格密集的细胞单元上进行计算，利用相互重叠的局部对比度归一化技术，是描述边缘和形状信息的最好的特征之一.HOG 特征边缘描述能力强，且对光照和小量的偏移具有鲁棒性，但其提取的特征向量维数较大且提取时间较长，当图像比较复杂时，HOG 效果会变差且提取的特征不完整［6-7］.

1 相关特征介绍

1.1 CS-LBP特征

LBP特征只考虑邻域像素与中心像素的灰度关系并不能完全有效的反映局部纹理特征，另一方面，以8邻域像素来描述图像的局部纹理特征，则LBP 的纹理直方图为256维，即所得到的特征维数相对较高，若用来描述图像的局部特征，将导致维数快速增长，而且邻域越大特征维数越高［8］.

Heikkilä等［9］提出了中心对称的局部二值模式（CS-LBP）纹理谱描述符，通过比较关于中心对称的4对像素之间的灰度值变化来描述局部纹理模式，即具体的CS-LBP算子计算公式为

式中：gi，gi+N／2是关于中心像素对称的像素对，阈值T是用于判定局部纹理区域的平坦性，Heikkilä等验证了阈值T取灰度范围的1%.

CS-LBP特征减小了计算复杂度且大大降低了特征表示的维数，由于其考虑了像素对的灰度差值，因此其与梯度算子密切相关，具体的LBP算子和CS-LBP算子的区别见图1.

图1 LBP与CS-LBP对比结果

1.2 HOG 特征

HOG 特征表示的是边缘的结构信息，可以描述局部的形状变化，其中位置和方向的量化在一定程度上抑制了平移和旋转带来的影响，分块分单元处理使得图像局部像素点之间的关系可以得到很好的表示.

HOG 特征提取的具体过程［10-11］为：（1）为了消除光照的影响，对彩色图像进行归一化；（2）将样本图像分割为若干个小块（block），每块由相邻的4个单元（cell）组成，每个单元由8×8像素组成，块与块之间采用重叠两个单元的形式进行滑动.每块的梯度方向平均划分为16个无向的直方图通道（bin），统计所有像素点各个方向的直方图特征，从而得到每个单元的直方图特征，进一步得到每块的直方图，再对每块内的直方图进行归一化，消除光照和阴影的影响；（3）最后得到每个单元的16维的特征向量，从而得到每块（4个单元）的64维的特征向量，将整幅图像所有块的特征串联得到图像的整体HOG 特征.

2 本文特征融合方法

CS-LBP算子是目前人脸识别局部特征提取的广泛使用方法，是一种简单且准确率较高的局部纹理特征描述子，但是其单独使用提取的特征不完整，且对于复杂图像提取的准确率较低.HOG 特征描述的是图像局部形状变化，其利用局部区域的梯度强度和方向直方图来构造图像特征，对光照变化和小量的偏移具有鲁棒性，且能很好地描述图像的边缘信息.基于此，提出了新的特征融合方法，即分层CS-LBP 和分层HOG 进行特征融合方法.

2.1 分层特征

由于一幅灰度图像分别经过CS-LBP算子和HOG 算子提取特征之后仍然得到一幅具有灰度大小的图像，因此为了提取图像更多更丰富的纹理特征，间接得到原始图像的灰度变化情况，可以对图像进行多次特征的提取.一幅人脸图像进行分层CS-LBP和分层HOG 特征提取结果见图2.

图2 三层CS-LBP和三层HOG 特征提取图像

由图2 可知，CS-LBP 特征的纹理结构非常清晰，而HOG 特征能提取明显的轮廓.图2a）能够清晰地表示整个人脸的纹理结构，具有较强的纹理信息，图2b）的纹理信息也比较清晰，图2c）信息较弱，但是其依然包含有用的纹理特征；图2a1）可以清晰的表示人脸的结构信息，图2b1），c1）也能清晰的看到人脸的外形、眼睛和鼻子的信息，即包含了对人脸分类有用的信息.因此分层特征的融合能够提取到更完整的信息.

融合步骤中的CS-LBP（n），n=1，2，3表示3幅CS-LBP的特征提取图像，CS-LBPi（i=1，2，3）特征表示得到的3 层CS-LBP 的分层特征；HOG（n），n=1，2，3表示3 幅HOG 的特征提取图像，HOGi（i=1，2，3）特征表示得到的3层HOG的分层特征.

2.2 分层CS-LBP和分层HOG 特征的融合步骤

基本思想是对图像分别提取分层CS-LBP特征和分层HOG 特征，然后将2种特征进行融合，形成图像的最终特征.算法具体步骤如下.

1）对预处理后的图像分别进行3次CS-LBP特征的提取，得到CS-LBP（n），n=1，2，3，将CSLBP（n）图像划分成大小相等、互不重叠的均匀子块图像.

2）统计每幅CS-LBP（n）图像的所有子块图像的CS-LBP特征，将所有块的直方图特征顺序级联成CS-LBP（n）图像的第一个特征向量，即得到分层特征CS-LBPi（i=1，2，3）.

3）再对预处理后的图像分别进行三次HOG特征的提取，得到不同的三幅HOG（n），n=1，2，3特征提取图像，进行与（1）相同的分块.

4）统计每幅HOG（n）特征提取图像的所有子块图像的HOG 特征，将所有块的HOG 直方图特征顺序级联成每幅特征图像的第二个特征向量，即得到分层HOGi（i=1，2，3）特征.

5）将CS-LBP（n），n=1，2，3 图像和HOG（n），n=1，2，3图像对应的两个特征向量进行串连级联，形成每幅图像的融合特征表示，即得到分层CS-LBP 与分层HOG 特征的融合特征［CS-LBPiHOGi］，i=1，2，3.

6）将3幅特征提取图像的所有特征进行顺序级联，得到图像的完整特征，即

3 仿真实验与实验分析

3.1 实验环境及预处理

为了证实提出算法的可行性，在ORL 人脸和GT 人脸库上进行仿真实验.实验步骤如下.

步骤1 对人脸图像进行预处理，利用双线性插值将人脸图像进行归一化，统一为64×64像素.

步骤2 利用提出的方法进行人脸特征提取，与单一的分层方法进行比较，分块大小为8×8，且比较了欧氏距离和卡方距离之下的识别率.

步骤3 最后利用最近邻分类器进行分类.

3.2 相似性度量

实验分析比较了不同算法的两种相似性度量方法在不同人脸库中的识别率，从而验证了提出方法的有效性.第一种是最常用的欧式距离，其公式为

第二种是χ2距离，通常利用χ2距离度量直方图之间的相似性，其公式为

其中图像所分的子块个数为s，子块图像直方图的个数为m，训练样本的一维直方图特征向量为H1，测试样本的一维直方图特征向量为H2.

3.3 特征融合算法比较

本文分别比较了CS-LBP算子的4类，每类3种共12种特征提取方法的识别性能，包括单独分层特征和多种分层特征的融合方法.

第一类特征是单独的分层CS-LBP 特征，即分别对人脸图像进行1，2，3 次CS-LBP 特征提取，得到的特征CS-LBP1，CS-LBP2，CS-LBP3.

第二类特征是单独的分层HOG 特征，即分别对人脸图像进行1，2，3次HOG 特征提取，得到的特征HOG1，HOG2，HOG3.

第三类特征是分层CS-LBP 特征与原始HOG 特征融合的特征CS-LBPHOG（1，0），CSLBPHOG（2，0），CS-LBPHOG（3，0）.

第四类特征是分层CS-LBP 特征和分层HOG 特征融合的特征CS-LBPHOG（1，1）、CSLBPHOG（2，2）、CS-LBPHOG（3，3）.

其中，CS-LBPHOG（n，0），n=1，2，3 表示n层CS-LBP 特征与原始HOG 特征的融合，CSLBPHOG（n，n），n=1，2，3表 示n层CS-LBP 特征与n层HOG 特征的融合.

3.4 ORL人脸库实验结果分析

ORL人脸数据库是1992 到1994 年间英国剑桥大学在实验室采集到的人脸图像数据库，包含40个人，每人10幅，共400幅图像，每幅图像的分辨率为112×92（10304），包括表情、微小姿态和20%以内的尺度变化.选择每类图像的5幅训练，5幅测试.ORL人脸库部分人脸图见图3.

图3 ORL人脸库部分人脸图

12种算子在欧氏距离和卡方距离下的识别率结果见表1.由表1可见，利用卡方距离得到的识别率绝大部分高于欧式距离的识别率，且相对而言识别率较高，说明ORL 人脸库中直方图特征的相似性度量利用卡方距离效果更好.

ORL人脸库中的图像只包括表情和微小尺度的变化，其纹理特征相对较清晰.分析12种特征提取方法可知，单独的分层CS-LBP 特征的识别率整体高于分层HOG 特征的识别率，即证明了CS-LBP特征在ORL人脸库中提取效果较好.

分层CS-LBP特征与分层HOG 特征的融合方法的识别率高于单独分层和分层特征与原始的HOG 特征融 合方法 的识别 率，且CS-LBPHOG（2，2）的识别率高达98%，从而证明了分层融合方法的有效性，优于单一特征提取，且其提高了人脸的分类识别率.

表1 算法在ORL人脸库上的识别率（欧氏距离／卡方距离） %

3.5 GT人脸库实验结果分析

GT（georgia tech face database）人脸库由每人15幅，50个人共750幅人脸图像组成，每幅图像的分辨率是640×480（307200），包括表情、姿态、光照、采集时间不同等变化，背景有些复杂，因此与真实环境更接近，是一个相对复杂的人脸库.选择每类的8 幅图像作训练，其余图像作测试.GT 人脸库部分人脸图见图4.

图4 GT 人脸库部分人脸图

12种算子在欧氏距离和卡方距离下的识别率结果见表2，整体看来，利用卡方距离得到的识别率绝大部分高于欧式距离的识别率，说明在GT 人脸库中利用卡方距离计算相似性更准确.

表2 算法在GT 人脸库上的识别率（欧氏距离／卡方距离） %

由于GT 人脸库图像包含更丰富的光照、表情、边缘和轮廓信息，且CS-LBP特征能提取丰富的纹理信息，HOG 特征对光照和小量的偏移具有鲁棒性，因此融合方法对于GT 人脸库的识别更有效，且分层CS-LBP 和分层HOG 特征融合与分层CS-LBP和原始HOG 特征融合方法识别率均能达到99.5%.GT 人脸库中人脸图像的背景比较复杂，且服装、姿势变化明显，CS-LBP 的分层融合方法的识别率达到了99.5%，更加证实了融合方法的可行性.

3.6 时间复杂度分析

在测试图像N中，针对每幅图像分别统计12种算子特征提取的平均响应时间，最后统计12种算子的时间值并计算N次的平均值作为每种算子的平均响应时间T（s）.

12种算子的平均响应时间见表3，其中CSLBP（n，0），n=1，2，3 与CS-LBPn，n=1，2，3 的维数相差1024维，在ORL人脸库中的平均提取时间相差不到0.04s，而识别率却高出4%；在GT 人脸库中的平均提取时间相差不到0.01s，而识别率却高5.5%，说明融合方法比单一的CSLBP特征更有效.

CS-LBP（n，n），n=1，2，3与CS-LBP（n，0），n=1，2，3的维数相差3000维，但在ORL 人脸库中平均提取时间相差不到0.02s，而识别率却高1.75%；在GT 人脸库中平均提取时间相差不到0.07s，而识别率却高2%，进一步验证了CSLBP（n，n），n=1，2，3融合方法的稳定性和可行性.

表3 算法时间复杂度分析、特征提取时间

4 结束语

考虑到全局和局部特征的融合，笔者提出了新的特征融合方法和表示模型，即分层CS-LBP与分层HOG 的特征融合方法，不仅考虑了人脸的纹理特征，而且考虑了轮廓边缘特征，从而提取了更完整的信息，改进了传统的单一特征的提取方法.融合方法的计算复杂度也相对较小，实验表明分层CS-LBP特征与分层HOG 特征之间有相互补充的作用，增强了表示图像特征的能力，显著提高了分类识别率.

［1］OJALA T，PIETIKAINEN M，HARWOOD D.A comparative study of texture measures with classification based on feature distributions ［J］.Pattern Recognition，1996，29（1）：51-59.

［2］TAN X Y，BILL T.Enhanced local texture feature sets for face recognition under difficult lighting conditions［J］.IEEE Transactions on Image Processing，2010，19（6）：1635-1650.

［3］DALAL N，TRIGGS B.Histograms of oriented gradients for human detection［C］∥Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.San Diego，CA：IEEE Computer Society，2005：886-893.

［4］AHONEN T，ABDEOUR H，MATTI P.Face recognition with local binary patterns［C］∥Proceedings of the 8th European Conference on Computer Vision（ECCV’2004），Prague：Czech Republic，2004：469-481.

［5］DENIZ O，BUENO G，SALITO J，et al.Face Recognition Using Histograms of Oriented Gradients［J］.Pattern Recognition Letters，2011，32（12）：1598-1603.

［6］瞿 中，孔令军，冯 欣.典型相关分析融合LBP 和HOG 特征的人脸年龄估计［J］.重庆大学学报，2014，37（4）：52-57.

［7］黄 炎，范赐恩，朱秋平，等.联合梯度直方图和局部二值模式特征的人体检测［J］.光学精密工程，2013，21（4）：1047-1052.

［8］毋小省.改进的旋转不变区域纹理谱描述符［J］.光电子·激光，2011，22（5）：783-787.

［9］HEIKKILA M，PIETIKAINEN M，SCHMID C.Description of interest regions with local binary patterns［J］.Pattern Recognition，2009，42（3）：425-436.

［10］陈 锐，彭启民.基于稳定区域梯度方向直方图的行人检测方法［J］.计算机辅助设计与图形学学报，2012，24（3）：372-377.

［11］向 征，谭恒良，马争鸣.改进的HOG 和Gabor，LBP性能比较［J］.计算机辅助设计与图形学学报，2012，24（6）：787-792.