人脸识别技术综述

徐晓艳

（国家知识产权局专利局专利审查协作江苏中心,215163）

1 概述

1.1 技术概述

人脸识别技术指的是通过比较人脸的视觉特征信息从而进行身份鉴别的技术，该技术是一项研究较为热门的计算机技术领域。

人脸识别技术主要是基于人的面部特征，针对图像或者视频检测其是否存在人脸，若存在人脸区域，就进一步地检测出其位置、大小以及面部各个器官的位置等信息，根据上述信息可以得到每个人脸中的代表身份的特征，将上述特征与现有的人脸库进行比对，从而识别出人脸身份。

人脸识别技术包含多个方面的内容，从广义角度而言，人脸识别技术包括构建人脸识别系统的一系列相关技术，例如人脸图像采集、人脸识别预处理、身份查找以及身份确认等；从侠义角度而言，人脸识别技术就是身份查找或身份确认的过程。

近些年来，在人脸图像研究相关的计算机视觉领域，随着人脸检测和人脸识别技术所取得的显著进展，人们的研究热点，逐渐转向了人脸表情分析和年龄评估等更为先进的研究课题。在这些课题中，年龄评估在“为不同年龄段的人提供不同服务”方面的应用，有着巨大的市场潜力。比如，具有年龄评估功能的网页浏览器可以限制用户是否访问一些网页，具有年龄评估功能的自动售货机，可以拒绝向未成年人出售烟酒等。

近些年来，人脸检测和人脸识别技术取得了一系列显著的进步，随着该项技术的发展，专家和学者们的研究热点逐渐转向了人脸表情分析和年龄评估等更为前沿和深入的领域，在上述领域中，年龄评估在“为不同年龄段的人提供不同服务”方面的应用，有着巨大的市场潜力。比如，具有年龄评估功能的网页浏览器可以限制用户是否访问一些网页，具有年龄评估功能的自动售货机，可以拒绝向未成年人出售烟酒等。

1.2 人脸识别的主要技术

人脸识别技术主要包含三个方面：人脸检测、人脸跟踪和人脸比对，上述三个过程均有多种成熟的技术对其进行处理。

人脸检测主要是从图像或者视频中检测是否存在人脸区域，并将上述人脸区域从背景区域中分离出来，人脸检测一般可以采用下述方法：参考模板法、人脸规则法、样品学习法和肤色模型法等方法。参考模板法需要一个或者多个标准人脸模板，然后将采集的数据样品与标准人脸模型进行匹配，并利用阈值来判断是否存在人脸；人脸规则法则是提取人脸的结构分布特征以生成相应的规则来判断测试数据样品是否存在人脸；样品学习法是基于人工神经网络学习产生分类器的方法；肤色模型法是根据人脸肤色在色彩空间中的分布规律来进行检测。

人脸跟踪即目标跟踪，通常是对检测到的人脸区域进行动态目标跟踪，其主要采用基于模型的方法或基于运动与模型相结合的方法，其中，肤色模型也是一种简单有效的跟踪方法。

人脸比对是指对检测到的人脸区域与现有的人脸库中的人脸进行目标搜索并进行比对，从而找到最优的匹配对象，其中人脸特征的描述决定了人脸比对的效率和性能，目前人脸比对主要采用特征向量和面纹模板两种方法。特征向量法先是确定五官的位置和大小等属性，然后计算得到它们的几何特征量并将这些特征量形成描述该人脸区域的特征向量；面纹模板法是将测试人脸数据与标准的人脸模板采用归一化相关量度量进行匹配，此外，还可以采用模式识别的自相关网络或特征与模板相结合的方法。

用于人脸识别的方法多种多样，主要的人脸识别方法有：基于特征脸（PCA）的人脸识别方法、几何特征的人脸识别方法、神经网络的人脸识别方法、弹性图匹配的人脸识别方法和线段Hausdorff距离（LHD）的人脸识别方法等。

2 技术发展状况

现有人脸识别系统主要用于安全监控等场合，通常是小规模封闭的系统，其也可以用于人机交互、跟踪监控、身份识别等领域。人脸识别技术主要包括人脸检测、人脸跟踪和人脸匹配三个方面，因而国内外的许多公司和学者主要在上述三方面对人脸识别技术进行研究和开发，在人脸检测方面主要采用识别模型、分类器、边缘检测算法、轮廓提取算法等方法来提取人脸，由于人脸识别容易受到光线、姿态和表情变化的影响，人们从二维人脸识别演变到三维人脸识别，三维人脸识别可以从多个角度获取人脸信息，从而可以很好地克服光线、姿态和表情变化的影响；人脸跟踪主要采用基于肤色、运动、局部特征和基于统计学习理论的跟踪方法等；而人脸匹配主要采用人脸模型、色彩空间分量匹配等方法。

由于人脸检测是人脸跟踪和人脸匹配的基础，检测效果的好坏直接影响到跟踪和匹配的效果，且近几年来许多公司和学者也主要从人脸检测方面入手以改善和提高人脸识别的效果，因而本文主要针对人脸检测进行分析和研究。

由于人脸识别技术主要是针对各种场合获得的图像或视频进行处理，因而其在专利文献中的分类号主要以G06T和G06K为主，涉及人脸识别技术的分类号主要为：

G06K 9/00用于阅读或识别印刷或书写字符或者用于识别图形，例如，指纹的方法或装置；

G06K 9/60·图像捕获和多种预处理作用的组合；

G06K 9/62·应用电子设备进行识别的方法或装置；

G06K 9/64··应用带有许多基准的多个图像信号的同时比较或相关的；

3 国内主要申请的技术演进

国内对人脸识别技术的起步较晚，专利的申请较国外的发展起步更晚，但是由于人脸识别技术的实用性，国内许多公司、高校和科研院所都对其投入了大量的人力和无力，因而近几年发展迅速，专利申请量也逐年提升。

3.1 重要申请人概况

在人脸识别领域有着突出贡献的公司有南京搜拍信息技术有限公司、北京中星微电子有限公司、希姆通信息技术有限公司等。南京搜拍信息技术有限公司致力于开发基于客户端、服务器架构的综合人脸以及人体辅助信息的交互式人脸识别系统；中星微电子有限公司主要主要致力于视频中对运动人体的人脸检测；希姆通信息技术有限公司利用标准的人脸识别模板，并将图像中的区域与标准人脸模板分别进行匹配以得到人脸区域。

有突出贡献高校、科研院所有东华大学、清华大学、浙江大学和上海交通大学等；东华大学的夏小玲等人提出了将Canny边缘 算法和轮廓提取算法运用到人脸检测领域，即利用上述方法提取人脸边界轮廓信息；浙江大学的潘纲、王跃明等人提出了三维人脸识别技术，由于人脸识别容易受到姿态、光线和表情的影响，二维人脸的识别往往达不到良好的技术效果，因而采用三维人脸识别技术可以基于三维数据以从多个角度精确地得到人脸模型；上海交通大学的张秀彬、徐林等人提出了彩色灯光的自动调节装置的数字技术，他们将图像进行彩色空间转换、图像增强等操作以对人脸进行识别。

3.2 专利申请量概况分析(2006-2010)

由于国内在人脸识别领域起步较晚，2005年之前的申请量较少，因而就针对2007年以后的申请量做一个分析：

由图3-1可以看出，2006-2010年之间的申请量保持平稳发展，每年的申请量没有太大变动，2011-2013年的申请量逐步提高，且每一年较前一年的申请量都有很大的提高；这一变化趋势与各种电子产品的发展趋势有关，人脸识别技术是电子产品中一项主要的技术内容，2006年以来手机、PDA、个人电脑等相关电子设备发生了翻天覆地的变化，随着触屏技术的迅速发展，作为其相关的人脸识别技术也得到了很大的提高，各大公司竞相投入研究和生产，伴随着各大公司对市场的占领，其在人脸识别领域的专利申请量也逐步上升，且技术日新月异；人脸识别技术的发展在科研领域也比较成熟，目前已经达到了产学研一体化的线状。

从图3-2中可以看出在人脸识别领域主要以公司、企业的申请量为主，高校、科研院所在该领域的投入也很多，此外，个人申请的申请量也比较多。各大公司在人脸识别技术领域是专利申请量的主要领导者，这与其经济发展以及市场占有率有关，2006年以来，智能客户终端机迅速发展，其给用户带来便利的同时，也领导了各种图像处理技术的空前发展，各大公司为了占领市场，竞争非常激烈，而专利也是其作为竞争的一项强有力的手段，因而例如苹果、三性、佳能等大公司竞相申请专利。

图3-1

图3-2

图3-3

图3-3描述了关于人脸检测技术的发展脉络图。

由于在人流密集的情况下，只有有限的背景，且行人拥挤时，行人间存在严重的相互遮挡，同时在人流密集的视频图像中往往还包含大量的不规则运动，因此这加大了对人脸进行检测的难度，同济大学的刘富强等人（CN200710172336）提出了利用Adaboost算法进行人脸识别，该算法将弱分类器进行加权组合从而生成强分类器，并利用强分类器组成瀑布层叠样式进行人脸区域的检测，其克服了现有技术中斑块检测和跟踪背景差方法中识别率较低的缺陷，该算法检测的结果更为准确，其主要适合用于公共场所的人群管理中；在视频中人脸检测需要考虑人脸检测的实时性，同时还要考虑人脸检测的准确率和速度问题，因而刘辉（CN201010144249）提出了一种快速准确的基于视频序列的人脸检测跟踪方法，该方法首先采用光线补偿、肤色模型等策略减少检测区域、提高运算速度，对于人脸检测仅在待测区域采用改进的级联AdaBoost分类器进行人脸检测；AdaBoost分类器在应用中的不足之处是训练过程远比SVM分类器耗时得多，AdaBoost分类器训练阶段大部分时间都消耗在寻找弱分类器上，因而对于其计算量大、耗时长一级弱分类器构造过程中传统阈值设置方法存在一系列问题，有必要改善AdaBoost的性能，文学志等人（CN201010280835）提出了一种改进的AdaBoost分类器构造方法，上述方法首先将样本的类Harr特征值与其类别标签结合起来生成候选分类位置集，从候选分类位置集中寻找使分类错误最小的位置，基于此位置构造弱分类器，并同时提供一种自适应的弱分类器阈值构造方法；

在理想光照条件下的人脸检测技术已经比较成熟，在实际情况中，光照条件往往较差，这对人脸检测的检测效果产生巨大的影响，因而如果人脸特征不会基于光照的变化而变化，即人脸特征相对稳定的技术将会对不同光照条件下的人脸检测有很大帮助，为了解决上述不足，中国科学院自动化研究所的卢汉清等人（CN200610073171）提出了一种人脸快速检测的方法，该方法基于灰度图像和局部区域的二进制编码特征通过学习训练得到人脸检测子，并最终利用人脸检测子检测图像中的位置和大小，该方法对光照较差的图像检测也能获得较好的效果；由于基于特征的人脸定位方法不容易找到一个适用于所有情况的显示特征，在背景区域中有可能会存在与人脸区域特征相似的特征，这容易得到错误的检测结果，而基于图像的人脸定位方法计算复杂性高，需要大量的时间和精力搜集人脸样本和非人脸样本，为了克服上述缺陷，中国科学院半导体研究所的莫华毅等人（CN200810105764）提出了基于人类视觉模拟的计算机人脸定位方法，

该方法先对图像进行灰度化和低通滤波预处理，将经过预处理后的灰度图像分割为若干分立的区域，在上述区域中确定出包含人脸的区域并得到相应区域的原始彩色图像区域，在该原始彩色图像区域上进行人脸校验，判断该区域是否含有人脸;红外成像由于具有光照不变特性、抗伪装特征和温度敏感性等的特点，因而其具有更高的准确性和更快的处理速度，张浩宇等人（CN200910068562）提出了嵌入式红外人脸图像识别方法及识别装置，该方法包括对红外图像中人脸的定位，人脸特征信息的自动抽取，人脸特征信息库的自动训练；

由于现有技术尚无法做到在各种表情变化情况下达到较好的识别性能，浙江大学的潘纲、王跃明等人（CN200710071538）提出了基于导向变形和变形刚性约束来弱化表情变化影响，该方法通过三维模型的对称面和面部的两个特征点确定人脸姿态，然后将该三维模型放置于统一的坐标框架中，从而建立三角形对应关系；由于人脸对称面在表情存在的情况下很容易出错，其制约了三维人脸检测技术的发展，因而复旦大学的吴海山等人（CN200910197378）提出了基于多尺度的矩分析方法来得到粗略人脸曲面，随后利用鼻尖区域特征来精确定位鼻尖的位置，从而进一步精确地分割出完整的人脸曲面；而通过鼻尖等特征点进行人脸检测属于局部特征的相似度计算方法，忽略了三维颅面的整体特征，从而具有很大的局限性，因而浙江工业大学的梁荣华等人（CN201110117786）提出了将标准模型的局部特征与颅面模型的局部特征进行相似度计算，并将标准模型的特征点与颅面模型的映射特征点对齐，最终实现对三维复原颅面的识别；南开大学的蓝杨等人（CN201010199818）提出了一种基于等高线法的三维人脸识别方法，该方法将三维人脸模型变成容易处理的二维曲线图，并对曲线图作出相应的特征提取和识别分析，上述方法使得识别的准确性和速度方面大大提高。

4 国外主要申请的技术演进和发展

目前大多数人脸检测系统都源于Viola和Jones在2001年提出的人脸检测模型，该人脸检测模型主要是通过AdaBoost学习算法将Harr型特征的弱分类器组合成强分类器，最后将强分类器组合起来形成瀑布层叠形式的检测器结构，与该技术相比，Viola和Jones提出的这一检测器模型可以更为有效地处理正面直立人脸检测问题。上述检测器可以分为四个层次：其中，可以通过积分图像进行快速计算得到Harr型特征，这大大提高了检测速度，

后来的学者和研究人员在这个基础上进行了很多改进，例如将检测器扩展成为多视角人脸检测，不仅提高了系统检测的精度和速度，还将检测器扩展成为多视角人脸检测，其中，在检测器结构层次上，为了扩大人脸检测视角，Li提出使用金字塔模型替代瀑布模型，Viola和Jones使用的是决策树结构，而Huang采用的则是宽度优先搜索树，另一方面，Xiao的链式Boosting算法和Wu的嵌入式瀑布结构将组织松散的强分类器更为紧密地联系在一起。

国外申请量的分布图如下：

从上述图4-1中可以看出，人脸识别的国外申请量也是逐年上升的。

在图像处理领域中，日本、美国、韩国等的一些技术公司和其技术都遥遥领先，人脸识别是图像处理的一个重要分支，一些公司例如苹果、索尼、佳能、三星等大公司都致力于研究和开发人脸识别方法和系统，图4-2显示了上述国家的专利分布：

5 总结与展望

文本主要对现有技术中的人脸识别领域进行了分析和总结，首先对人脸识别技术的主流方法进行了总结，其次分析了人脸识别技术在专利申请方面的概况，然后分别在中文专利库和英文专利库进行了检索，并对国内外的各大申请人进行横向的比较和分析.

图4-1

图4-2

第一章主要介绍了目前人脸识别技术的几大主流方法，主要包括参考模板法，人脸规则法，样品学习法，肤色模型法，特征子脸法；而第二章主要介绍了专利文献中主要的人脸检测方法，由于人脸检测技术包含了多种多样的方法，梳理较困难，因而本文只针对人脸检测技术进行进一步研究；第三、四章分别对国内外的人脸检测技术进行介绍，主要包括对重要申请人的概况分析，专利申请的地域分布，以及各项人脸检测技术的发展脉络。

由于目前的人脸检测技术已经十分成熟，大多数研究主要集中在对已有技术的改进上，即改善各种算法的性能以提高人脸识别的精度和效率。未来人脸识别技术的发展方向主要是与其他图像处理技术相结合以综合各项技术对图像进行处理，各项技术之间相互配合，以达到良好的图像处理效果。

[1]王俊艳，“年龄变化的人脸识别”，计算机世界，2006.12

[2]童林，“基于视频的人脸识别与跟踪算法研究”，计算机与现代化，第2期，2003

[3]P.Viola and M.Jones，“Rapid Object Detection Using a Boosted Cascade of Simple Features，”Proc.IEEE Conference Computer Vision and Pattern Recognition，Dec.2001.

[4]S.Z.Li，L.Zhu，Z.Q.Zhang，et al.，“Statistical Learning of Multi-View Face Detection”.Proc.7th European Conference on Computer Vision，pp.67-81，May 2002，.