基于肤色和唇色的自适应面部皮肤区域提取研究
2015-07-26邱晓欣张文强
邱晓欣，张文强
基于肤色和唇色的自适应面部皮肤区域提取研究
邱晓欣，张文强
针对中医面诊客观化中需要检测获取面部皮肤区域从而进行面色和面部光泽诊断的问题，提出了一种基于唇色和面部肤色的自适应的方法进行面部皮肤区域的分割提取。使用基于YCrCb的肤色模型建立初始肤色模板，通过提取模板在HSV空间的代表信息进行肤色消除，区分出嘴唇区域，并利用唇色与肤色在HSV空间的距离信息进行自动适应的迭代操作，最终得到较为完整的肤色区域。实验结果证明，能有效地消除眼睛和嘴唇部分对面部区域的干扰，并且在不同脸色的情况下，依然能保持稳定高质量的提取能力。
图像处理；肤色检测；面部分割；色彩空间
0 引言
肤色检测在图像处理中被广泛应用于人脸跟踪，姿态分析，图像检索等人机互动领域[1-6]。而计算机信息技术的发展为中医4诊采集的量化研究提供了契机，使“望、闻、问、切”4诊由主观描述逐渐向定量检测的方向过渡。其中，望诊是通过观察对象的脸、舌头等方面进行诊断，通常这些诊断还要配合对象的身体状况综合使用。但是传统中医是根据经验丰富的中医医生通过目视来判断的，缺少客观和量化的依据，而利用计算机技术辅助进行中医客观化非常重要。目前中医面诊中的一个重要环节是根据面色和面部光泽得到诊断信息，因此，需要通过计算机图形图像技术进行面部皮肤区域提取。
傅言对所截取的反映病症典型区域的色块，比较了若干种提取人脸肤色的方法[7]。朴鑫利用积分投影、snake 算法及模板匹配方法将人脸区域划分为20个小区域，粗略定位了各色部所在区域[8]。近年基于模板匹配的人脸检测算法成为热门,这种算法对图像使用已知模式进行匹配[9-10]。但是，这些方法需要大量的人工操作或者大量的图像先验知识。而传统获得皮肤的方法通常先设置一个固定的值区分皮肤像素和非皮肤像素。例如Crowley等在归一化的RGB空间中使用直方图获取观察得到的特定的 RGB向量[11]。Saxe在HSV空间定义了一个颜色判定来区分肤色与背景[12]，在一定范围皮肤颜色相似的人群中可以进行，但是,在肤色和唇色的颜色变化很大的时候固定值不能很好地适应变化，在唇色和非唇色比较相似时不能很好地工作，容易提取错误。为了解决这个问题，本文使用一种基于肤色和唇色自适应的方法进行面部肤色区域的抽取。该方法通过皮肤色与唇色之间关系的迭代计算进行皮肤区域与非皮肤区域的抽取，当迭代到一个适当的值时停止进行，获得较为完整的非皮肤区域模板，再用已有的初始皮肤区域消去非皮肤区域模板的内容，就可以得到受眼睛部分及嘴唇部分干扰较小的皮肤区域。本文的方法无需通过模板匹配进行面部杂物的消除，同时,在不同肤色类型下依然能稳定提取较高比例的面部皮肤区域。
1 数据集
对图像采集的基本设备包括标准化的采集箱，一台摄像机（Logitech C525，用USB接口进行交互），处理电脑为i3核，有4G内存。标准面部图像采集箱是特殊制造的，它包括LED（光源，色温值约5600K，Ra值90）和内嵌于中间的摄像机来拍摄接受视频图像数据。这个标准面部图像采集箱的大小为36cm*40cm*28cm。其它的拍摄条件包括人脸距离33cm（相机和拍摄对象之间的距离），Tv（快门速度）1/15s. Av（光圈值）5.6，ISO（感光度）80，白平衡，自定义模式，水平拍摄。拍摄窗口的大小为220mm*170mm。对象的图像信息是从上海中医药大学、上海中医药大学附属龙华医院、上海中医药大学附属曙光医院、上海仁济医院中采集获取的。这项研究已经由上海医学伦理学会批准，所有患者签署了知情同意书，手续不完备的信息不会被收录。采集到的图像包括各种面部图像，按肤色分5类，有黑、红、黄、青和白色。5种面部肤色的图像，如图1所示：
图1 五种面部肤色的图像
从左到右：白色面部肤色；黑色面部肤色；红色面部肤色；黄色的面部肤色；青色的面部肤色。均见电子版。
2 自适应的面部皮肤区域提取分割
本方法首先先抽取面部皮肤信息，建立初始肤色模板。之后基于初始肤色面部模板在HSV空间提取H通道和S通道的统计直方图峰值，在进行肤色消除的同时寻找嘴唇区域，利用嘴唇区域的HSV空间值迭代进行高精度的肤色像素消除工作，留下包括眼睛区域和嘴唇区域的非肤色模板。再用已有的初始肤色模板删除非肤色模板部分，剩下的则是经过提取筛选较为完整的最终肤色区域。
2.1初始面部肤色模板
从采集箱采集的图像需要先进行面部定位，然后进行皮肤信息的提取。本文使用级联检测器能快速地对面部进行定位[13]。然后，使用基于YCrCb的颜色空间肤色模型法提取面部皮肤模板[14]。
YCbCr颜色空间能从RGB空间简单地转换过来，而且能比较彻底地分离亮度和色度份量，在人脸肤色建模的领域里受到很大的重视，在不同光照下具有鲁棒性[15,16]。通过Anil K.Jain等人研究了肤色像素点在YCbCr空间及在二维投影 CbCr子空间中的情况。这些肤色像素点是该实验从Heinrich-Hertz-Institute（HHI）图像库中的137幅图像由人工提取共853571个肤色像素点[17]。从他们的实验结果可以看到肤色聚类是椭圆形状既中间厚，两头尖，两个尖头部分是Y值较大和较小时的样子。在CbCr上的投影也集中在一个较小的椭圆形区域内。
通过对较为集中区域进行椭圆形拟合可以得到如下非线性变换的肤色模型，如公式（1）、（2）：
表达式中的常量分别：cx=109.38，cy=152.02，ecx=1.60，ecy=2.41，θ=2.53，a=25.39，b=14.03，是由Anil K.Jain等人的实验得出的。计算肤色像素点是否在这个拟合的椭圆形内，如果在椭圆形内则为肤色区域，否则就是非肤色区域。通过这种方法先构造一个初始的基于YCrCb颜色空间的面部肤色模板。如图2所示：
图2 基于YCrCb空间的提取效果
图2（a）为原始面部图像，图2（b）为使用YCrCb的颜色空间肤色模型后得到的图像。
HSV空间类似于人类感觉颜色的方式，色彩分类简单自然，具有较强的感知度。假设k1是在R，G，B颜色通道中的最大值，k2是最小值。通过公式（3）（4）（5），我们可以从RGB颜色空间变换得到 HSV 颜色空间。特别是在H和S的颜色通道，脸部皮肤颜色和嘴唇的颜色可以明显进行区分，这样能够得到一个初始唇色。后续步骤使用H0和S0构建面部肤色模板，H0为整脸图像在H通道的直方图峰值，作为面部在H色彩通道肤色信息的代表值，而S0为整脸图像在S通道的直方图峰值，作为面部在S饱和度颜色通道肤色的代表信息值。
脸部与唇部在H与S通道映射到灰度图像时的像素分布情况样例。如图3所示：
图3 脸部与唇部在H与S通道像素分布情况
横轴为0-255，纵轴为最大值，(a)是整张脸部在H通道的情况，(b)是整张脸部在S通道的情况，(c)是嘴唇区域在H通道的情况，(d)是嘴唇区域在S通道的情况。得公式（3）、（4）、（5）：
2.2非肤色模板
本文使用通过在YCrCb的颜色空间肤色模型获取得到初始的面部肤色模板，然后，基于这个肤色模板进行去除非唇色像素的操作。需要对这个初始面部肤色模板的颜色空间转换为HSV空间，通过研究实验发现唇色和面部肤色都处于一个很小的 H通道范围内，但是，还是有一定距离可以进行区分，而唇色和面部肤色的差异在S通道则较为明显，如图2所示。因此可以进行去除工作。如公式（6）：
如果模板内有像素点的值H和H通道代表值H0之间的偏差小于ht，则代表这个像素点与面部肤色像素相似。如公式（7）：
经过试验测试如果模板内有像素的值S和S通道皮肤像素代表值S0之间的距离小于100，则与面部肤色像素相似的可能性很大。同时符合这两个条件的像素可以被去除。则在面部肤色模板内靠近面部肤色的大部分区域会被移除，然后留下一个保留了眼睛和唇部区域的模板。接着做一些形态学开运算和闭运算，用于去除微小点和填充小孔。由于正常人的嘴唇处于面部的下半部分，可以通过在面部下半部分寻找大块连通区域，起始位置大于宽度1/20，区域横纵比大于1.2，区域面积大于图片1/100,来确定为嘴唇。
具体迭代过程如下：
第1步：设ht值为3，做面部肤色去除操作，然后搜索寻找嘴唇。如果找到嘴唇区域，则获取嘴唇在 H通道的峰值hl，以及获取嘴唇的区域像素集合SS0，然后进行第2步。如果找不到嘴唇区域，代表去除皮肤操作的范围不够，嘴唇区域不能被区分出来。则ht加1，增加去除范围的情况下重新进行去除操作，再寻找嘴唇，循环操作直到找到嘴唇为止，进行第2步。当ht>8时强行结束迭代。
第2步：获取H0和hl的差值为hd，如果hd小于7，则说明嘴唇的颜色和面部肤色在 H通道相近，可以退出。否则，说明嘴唇颜色和面部肤色依然可以明显地被区分继续进行第3步。
第3步：ht加1，做面部肤色去除操作，如果找到嘴唇，则获取嘴唇的区域为SS1然后判断SS0和SS1的区域差异量SSd。如果hd小于7及SSd
图4 迭代进行消除得到的非肤色模板情况
最后，对初始肤色面部模板减除使用迭代结束后得到的非肤色模板的内容，即可得到最终的肤色区域。
3 实验结果
为了验证本方法的有效性，本文使用250人脸图像数据集进行测试，包括5种类型的面部肤色，每种50个样本。5种类型的面部皮肤区域提取情况样例如图5所示：
图5 五种类型的面部皮肤区域提取情况样例
上列为原输入图片，下列为提取出来的皮肤区域，从左到右依次是白色面部肤色；黑色面部肤色；红色面部肤色；黄色的面部肤色；青色的面部肤色。
为了评估肤色区域的效果，本实验定义一个重叠区域精度OL，如公式（8）：
S1为人工标注的面部皮肤区域，S2为本方法提取得到的面部皮肤区域。若OL值越大，表明效果更好。5种肤色类型的重叠精度平均值如表1所示：
表1.五种皮肤类型的OL比例
从表1可以看到，本文的自适应肤色区域提取法能有效提取面部的肤色区域，去除大部分唇色与眼睛部分的干扰，并且在各种面部肤色类型下依然能进行稳定高质量的人脸面部肤色区域提取。
4 总结
在面对不同肤色类型的情况下，本文提出的自适应面部区域提取法依然是有效且稳定的，同时能有效地消除眼睛和嘴唇部分，使得对于肤色判定的干扰更少。这种基于面部肤色与唇色自适应面部皮肤区域提取方法可以应用到需要进行肤色分类的应用中。
[1] Vadakkepat P, Lim P, De Silva L C, et al. Multimodal approach to human-face detection and tracking[J]. Industrial Electronics, IEEE Transactions on, 2008, 55(3): 1385-1393.
[2] Chan C S, Liu H, Brown D J. Recognition of human motion from qualitative normalised templates[J]. Journal of Intelligent and Robotic Systems, 2007, 48(1): 79-95.
[3] Kubota N, Nishida K. Perceptual control based on prediction for natural communication of a partner robot[J]. Industrial Electronics, IEEE Transactions on, 2007, 54(2): 866-877.
[4] Linda O, Manic M. Fuzzy force-feedback augmentation for manual control of multirobot system[J]. Industrial Electronics, IEEE Transactions on, 2011, 58(8): 3213-3220.
[5] Chan C S, Liu H, Brown D J. Human arm-motion classification using qualitative normalised templates[C]// Knowledge-Based Intelligent Information and Engineer -ing Systems. Springer Berlin Heidelberg, 2006: 639-646.
[6] Pratl G, Dietrich D, Hancke G P, et al. A new model for autonomous, networked control systems[J]. Industrial Informatics, IEEE Transactions on, 2007, 3(1): 21-32.
[7] 傅言.基于图像分析的中医面诊及在肝病上的研究[D].哈尔滨:哈尔滨工业大学,2006.
[8] 朴鑫.面诊中的人脸分割研究［D］.哈尔滨:哈尔滨工业大学深圳研究生院,2006.
[9] 由霖,修春波.基于模板匹配的目标识别算法[C].2011年中国智能自动化会议论文集,2011:737-740.
[10] 卢绪军,赵勋杰.一种基于肤色和模板匹配的人脸检测方法[J].计算机应用与软件,2011,28(7):112-114,140.
[11] Crowley J L, Berard F. Multi-modal tracking of faces for video communications[C]//Computer Vision and Pattern Recognition, 1997. Proceedings., 1997 IEEE Computer Society Conference on. IEEE, 1997: 640-645.
[12] Saxe D, Foulds R. Toward robust skin identification in video images[C]//Automatic Face and Gesture Recognition, 1996., Proceedings of the Second International Conference on. IEEE, 1996: 379-384.
[13] Viola P, Jones M. Rapid object detection using a boosted cascade of simple features[C]//Computer Vision and Pattern Recognition, 2001. CVPR 2001. Proceedings of the 2001 IEEE Computer Society Conference on. IEEE, 2001, 1: I-511-I-518 vol. 1.
[14] Hsu R L, Abdel-Mottaleb M, Jain A K. Face detection in color images[J]. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2002, 24(5): 696-706.
[15] 李岚,朱林杰,张云,等.肤色与梯度互补的人脸检测研究[J].计算机应用与软件,2013,30(2):280-282,295
[16] 李智勇,田贞.基于肤色模型的人脸检测研究[J].现代电子技术,2011,34(3):131-133.
[17] Hsu R L, Abdel-Mottaleb M, Jain A K. Face detection in color images[J]. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2002, 24(5): 696-706.
TP311 文献标志码：A
2015.04.24）
1007-757X(2015)08-0001-03
国家自然科学基金（81373555）
邱晓欣（1989-），女，复旦大学，计算机科学技术学院，研究方向：机器智能、视频分析、图像处理，上海，200433
张文强（1970-），男，复旦大学，计算机科学技术学院，研究方向：机器智能、视频分析、机器人等，上海，200433
