面向智能人机交互的鲁棒的实时多人脸检测

赵新超 袁家政

1(北京市信息服务工程重点实验室 北京 100101) 2(北京联合大学计算机技术研究所 北京100101)



面向智能人机交互的鲁棒的实时多人脸检测

赵新超1袁家政2

1(北京市信息服务工程重点实验室 北京 100101)2(北京联合大学计算机技术研究所 北京100101)

人脸检测在人机交互HRI(Human-Robot Interaction)过程中起着重要作用，它能够让智能教育机器人IER(Intelligent Educational Robot)识别用户或说话人。提出一种智能视觉算法，可以实时地从复杂的场景中检测出所出现的多个人脸，并过滤掉那些看起来像人脸但并不是人脸的图像。实时的人脸检测使用基于Adaboost的角点级联分类器[1,2,23,29]，并对该检测算法进行了改进，以实现从单一人脸检测到多人脸检测。此外，改进的算法也考虑了各种可能的头部姿态，如俯仰、偏转、倾斜等。实验结果充分证明了所提出的机器人视觉算法进行人脸检测的鲁棒性和高效性。

人机交互 人脸检测 智能机器人 多姿态

0 引 言

人脸检测和人脸识别是智能机器人在进行人机交流和合作过程中必须具备的基本功能之一[3-4]。在本文中，主要关注于各种人机交互技术中的一个重要问题：人脸检测。我们提出一个智能的视觉算法帮助机器人鲁棒地从各种复杂的场景中检测出人脸。近年来，人脸相关的视觉算法在众多实际应用领域中吸引了人们的广泛关注[5-7]，这是因为它作为人机交互的重要的一部分，直接关系到机器人能否在实际应用环境中和用户进行正常的交流和合作[28,30]。不精确的人脸检测将导致不良的人机交互和用户体验效果。因此，一个高准确率的鲁棒的实时多人脸检测算法对于智能教育机器人来说是至关重要的[26,31]。

1 相关工作

从近几年的文献中看出，许多国内外研究人员致力于智能交互机器人的研究。Bernhard Froba等使用卡尔曼滤波[13-14]解决智能移动机器人系统中的人脸跟踪问题[8]。Kwang Ho An等通过Adaboost学习算法选择和训练用尽可能少的具有决定性的特征，以达到准确检测人脸初始位置、大小、视角的目的[9]。Paul Viola等用Adaboost训练算法实现基于完整图像的实时人脸检测[10]。X Xie等提出一种基于人眼特征跟踪的实时跟踪算法[11]。相比之前的方法，为了实现从图像或视频序列帧中快速检测出其中包含的多个人脸[24,27]，我们修改和完善Adaboost人脸检测算法[15,21]，提出一种新方案，它对场景和头部姿态多变的问题具有较高的鲁棒性。该方法不仅提高了人脸检测的准确率，同时也保证了实时检测的速度。

2 人脸检测方法

2.1 传统方法

尽管在过去，国内外研究人员曾提出一些人脸检测算法用于实时应用环境[16]，如机器人系统。但仍有一些不足之处常常限制着这些应用的使用和推广[20]。

(1) 场景问题

当一个新的人物对象进入场景的可视区域，那么他理应被检测到，此时检测器该如何响应。另外，当周围场景与待检测目标人物比较接近的时候，具有较强的混淆性，此时检测器又会做何响应。

(2) 头部姿态问题[18,25]

一般情况下，有两种可能导致检测器失效。第一是目标人物离开场景的可视区域，这个属于正常情况。而第二是目标人物的头部姿态超出了常规的变化范围，但目标人物仍在场景可视区域范围内，这属于异常情况。根据我们的调查和分析，头部姿态主要分为三类：俯仰(绕X轴方向)、偏转(绕Y轴方向)、和倾斜(绕Z轴方向)。

因此，我们改进并提出新的人脸检测算法来解决传统算法的不足之处。整个系统的流程框架如图1所示。

图1 人脸检测系统流程图

2.2 改进的方法

所提算法原理如图2所示。传统的AdaBoost算法基于图像序列进行人脸检测[12]，将图像序列加载到系统将花费大量的时间，我们将它称之为全局AdaBoost人脸检测GAFD(Global AdaBoost Face Detection)算法，该算法执行效率很低，尤其是当它运行在实时智能机器人系统中时。

图2 算法的流程图

为了满足快速多人脸检测的需求，我们改进传统的AdaBoost算法，利用跟踪到的人脸的状态来减少算法的执行时间，我们将它称之为局部Adaboost人脸检测LAFD(Local AdaBoost Face Detection algorithm)算法。LAFD首先假设在图像中只有一个人脸，跟踪并展示人脸的当前状态[8]。然后，跟踪器通过卡尔曼滤波检测[13-14]、预测序列化图像之间的人脸的最新状态。根据对跟踪器的预测结果的分析，可以获得被称为感兴趣区域ROI(Region Of Interest)的局部图像。这样LAFD算法在实时环境中将有很大的执行效率提升。其中的跟踪控制器控制GAFD和LAFD的运行时间，并维护所跟踪的人脸的状态。

本文中提出了一些针对传统Adaboost算法缺陷的改进。改进的算法提供了人脸的相关性，用于感兴趣区域的选择，而对于从选择的感兴趣区域中检测人脸来说不必要的冗余信息，该方法可以将其减至最小。首先选择并标记一定数量的正样本和负样本，然后将它们作为训练集进行训练，再用所提出的方法从感兴趣区域提取特征。通过如下步骤，一些弱的分类器逐渐被提升为一个强大的分类器。

(3) 归一化权重ωt，t=1,2,…,T。使它服从概率分布：

(4) 优化权重误差：

一个弱分类器h(x,f,p,θ)由特征f，阈值θ和一个极性p组成：

其中x表示一幅图像的一个24×24像素的子窗口，p表示不等式的方向。

(5) 选择最优化权重误差的分类器：

ht(x)=h(x,ft,pt,θt)

其中ft、pt和θt对应最小化的εt。

当样本xi分类正确时，ei=0；反之，ei=1。

3 实验及结果

为了评估本文所提出的方法的效率和准确率，我们使用两个数据集进行实验。一个是MIT+CMU正面人脸数据集和CMU侧面人脸数据集，这个数据集和Viola-Jones算法[19]使用的数据集相同。另外一个是我们自己的数据集。我们使用6 500幅560×420像素的彩色图像对所提出的方法进行测试，这些图像是从互联网上的照片和视频中采集的。每幅图像都有着不同复杂程度的场景和不同的光照条件，其中包含一个或多个人脸。每个人脸的大小、姿态、位置和表情都各不相同。尤其是大部分图像中的人脸是多姿态的，包括旋转的正面人脸和不同情况的侧面人脸。

我们在配置为英特尔酷睿2双核2.8 GHz CPU、4 GB内存的主机上进行测试。图3展示了一个单一的人脸检测结果，我们只将人脸区域用一个尽可能小的矩形框标记出来，而不关心其他区域。图4展示了一个复杂场景下的多人脸检测结果，图像中的场景和目标人物对象比较相似，具有很高的混淆性；另外，目标人物的表情也不相同。图5展示了一个多姿态的多人脸检测结果，候选图像中每个人的头部姿态、朝向、位置、大小都不相同。

图3 单一人脸检测结果图

图4 复杂场景下的多人脸检测结果图

图5 多姿态多人脸检测结果图

4 实验结果分析

用不同算法进行人脸检测的实验结果之间的比较如表1所示。

表1 人脸检测结果比较

我们在MIT+CMU数据集和我们自己的数据集上，将我们的方法与前人的工作进行了性能比较。基于各种各样的人脸检测实验结果比较，表明我们的检测算法可以获得较高的检测正确率(最高达96.3%)，比文献[15]传统的Adaboost方法高出约10个百分点，比文献[22]改进的Adaboost方法高出约7个百分点；另外，检测的平均速度上也比两者分别快了大约25 ms和22 ms。

我们的算法能够提高检测的正确率，同时保持相对较低的误检率的原因是我们在设计算法和处理样本的时候，考虑了多种的复杂场景以及多变的头部姿态可能对最终检测结果产生的影响，以期提高算法的正确性和鲁棒性。因此，我们的算法能够比其他算法获得相对较好的检测效果。

此外，我们的算法能以26帧/秒的速度在视频帧上执行，其中每帧大小为560×420像素。因此，该算法能满足实时人脸检测的要求，并为实时的人脸识别、表情识别等任务提供良好的输入[17]。

5 结 语

本文实现了一种新的基于图像序列的鲁棒的多人脸检测方法，用于面向智能教育机器人应用的智能人机交互系统。实验结果证实了所提出的方法的有效性和计算效率的提高，证明了该方法的优势，保证正确性的同时结合效率的提升，兼具准确性和鲁棒性等优点。

我们计划将所提出的方法用于智能自主导航机器人以实现人机的自然互动，使得机器人在展览中心和博物馆中引导游客自主地进行参观和游览。具体来说，所提出的方法将为人脸识别和人脸属性分析提供有效的输入，以供人们用于不同的会话场景。

未来的工作包括利用极线约束处理立体视觉来扩展人脸检测算法，使得本文所提出的方法能够更加广泛地应用于集成的智能人机交互系统。

[1] Zhu J, Chen Z. Real Time Face Detection System Using Adaboost and Haar-like Features[C]// International Conference on Information Science and Control Engineering. IEEE, 2015:404-407.

[2] Sun S, Xu Z, Wang X, et al. Real-time vehicle detection using Haar-SURF mixed features and gentle AdaBoost classifier[C]// Control and Decision Conference. IEEE, 2015:1888-1894.

[3] Ge S S, Fua C H. Queues and Artificial Potential Trenches for Multirobot Formations[J]. Robotics IEEE Transactions on, 2005, 21(4):646-656.

[4] Ge S S. Social robotics: Integrating advances in engineering and computer science [J]. Computer Telecommunications & Information Technology Mae Fah Luang University Chang Rai, 2007, 5(1):9-12.

[5] Yang M H, Kriegman D J, Ahuja N. Detecting Faces in Images: A Survey[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2002, 24(1):34-58.

[6] Zhao W, Chellappa R, Phillips P J, et al. Face recognition:A literature survey[J]. Acm Computing Surveys, 2003, 35(4):399-458.

[7] Osadchy M, Cun Y L, Miller M L. Synergistic face detection and pose estimation with energy-based model [J]. Journal of Machine Learning Research, 2007, 8(1):1017-1024.

[8] Froba B, Kublbeck C. Face Tracking by Means of Continuous Detection[C]// Conference on Computer Vision and Pattern Recognition Workshop. IEEE Computer Society, 2004:65.

[9] Kwang Ho An, Dong Hyun Yoo, Sung Uk Jung, et al. Robust multi-view face tracking [C]// 2005 IEEE/IRSJ International Conference on Intelligent Robots and Systems. 2005:1905-1910.

[10] Viola P, Jones M. Robust Real-time Object Detection [J]. International Journal of Computer Vision, 2001, 57(2):87-89.

[11] Xie Xangdong, Sudhakar R, Zhuang Hanqi. Real-time eye feature tracking from a video image sequence using Kalman filter [J]. IEEE Transactions on Systems, Man and Cybernetics, 1995, 25(12):1568-1577.

[12] Blais F. Review of 20 Years of Ranges Sensor Development [J]. SPIE-the international society for optics and photonics, 2004, 13(1):228-240.

[13] Kalman R E. A New Approach to Linear Filtering and Prediction Problems [J]. Transactions of the ASME-Journal of Basic Engineering, 1960, 82 (Series D): 35-45.

[14] Greg Welch, Gary Bishop. An Introduction to the Kalman Filter [J]. University of North Carolina at Chapel Hill, 1995, 32(7):127-132.

[15] Wu B, Ai H, Huang C, et al. Fast rotation invariant multi-view face detection based on real Adaboost[C]// IEEE International Conference on Automatic Face and Gesture Recognition, 2004. Proceedings. IEEE Xplore, 2004:79-84.

[16] Abualkibash M, Mahmood A, Moslehpour S. A near real-time, parallel and distributed adaptive object detection and retraining framework based on AdaBoost algorithm [C] //High Performance Extreme Computing Conference. 2015:1-8.

[17] Liu W, Lv J, Yu B, et al. Multi-type road marking recognition using adaboost detection and extreme learning machine classification [C] //2015 IEEE Intelligent Vehicles Symposium (IV). 2015:41-46.

[18] Wei Liuliu, Liu Mingyang. Multi-pose Face Detection Research based on Adaboost [C] //2016 Eighth International Conference on Measuring Technology and Mechatronics Automation (ICMTMA). 2016:409-412.

[19] Putro M D, Adji T B, Winduratna B. Adult image classifiers based on face detection using Viola-Jones method [C] //International Conference on Wireless and Telematics. 2015:1-6.

[20] Cheney J, Klein B, Jain A K, et al. Unconstrained face detection: State of the art baseline and challenges [C] //International Conference on Biometrics. 2015:229-236.

[21] Abualkibash M, Mahmood A, Moslehpour S. A near real-time, parallel and distributed adaptive object detection and retraining framework based on AdaBoost algorithm [C] //High Performance Extreme Computing Conference. 2015:1-8.

[22] Ma S, Du T. Improved Adaboost Face Detection [C] //International Conference on Measuring Technology & Mechatronics Automation, 2010, 2:434-437.

[23] Zhu J, Chen Z. Real Time Face detection System Using Adaboost and Haar-like Features [C] //International Conference on Information Science & Control Engineering. 2015:404-407.

[24] Aniruddha Dey. A contour based procedure for face detection and tracking from video [C] //International Conference on Recent Advances in Information Technology. 2016:483-488.

[25] Wei L, Liu M. Multi-pose Face Detection Research based on Adaboost [C] //Eighth International Conference on Measuring Technology & Mechatronics Automation. 2016:409-412.

[26] Meyer G P, Alfano S, Do M N. Improving face detection with depth [C] //IEEE International Conference on Acoustics, Speech and Signal Processing. 2016:1288-1292.

[27] Dutta Pranti, Nachamai M. Detection of faces from video files with different file formats [C] //International Conference on Microelectronics, Computing and Communications. 2016:1-6.

[29] Savas B K, Ilkin S, Becerikli Y. The realization of face detection and fullness detection in medium by using Haar Cascade Classifiers[C]// Signal Processing and Communication Application Conference. 2016:2217-2220.

[30] Mykoniatis K, Angelopoulou A, Akbas A S, et al. Multi-method modeling and simulation of a face detection robotic system[C]// IEEE Systems Conference. IEEE, 2016:1-6.

[31] Dahal B, Alsadoon A, Prasad P W C, et al. Incorporating skin color for improved face detection and tracking system [C] //IEEE Southwest Symposium on Image Analysis and Interpretation. 2016:173-176.

ROBUSTREAL-TIMEMULTI-FACEDETECTIONFORINTELLIGENTHUMAN-ROBOTINTERACTION

Zhao Xinchao1Yuan Jiazheng2
1(BeijingKeyLaboratoryofInformationServiceEngineering,Beijing100101,China)2(InstituteofComputerTechnology,BeijingUnionUniversity,Beijing100101,China)

Face detection plays a crucial role in developing Human-Robot Interaction (HRI) for Intelligent Educational Robot (IER) to recognize users or speakers. In this paper, we introduce an intelligent vision algorithm that is able to detect human face from complex scene and filter out all the non-face but face-like images. The human face is detected in real-time environment using the approach called Adaboost-based Corner Cascade Classifier[1,2,23,29], and the real human face detection is improved to implement from single-face detection to multi-face detection. Furthermore, variable head pose is taken into account, such as pitch, roll, yaw, etc. The proposed robot vision algorithm for human detection is tested to be effective and robust through real-time experiments.

Human-robot interaction Face detection Intelligent robot Multi-pose

2016-08-11。国家自然科学基金项目(61571045)；国家科技支撑计划项目(2014BAK08B02)。赵新超，硕士生，主研领域：深度学习，数据挖掘，模式识别。袁家政，教授。

TP242.6+2

A

10.3969/j.issn.1000-386x.2017.08.029