基于肤色的眼睛轮廓自动提取新方法

刘祥楼+杨龙+张明+孙悦

摘 要： 眼睛作为人脸识别最重要的生物特征之一，具有高稳定性、不易复制性和可区分性等特点，其特征提取是人脸图像检索的关键环节，通常对眼睛特征的描述主要依据视觉感知，面对由于模糊描述而无法实现量化处理的难题，提出了一种基于肤色的人眼轮廓自动提取新方法。该方法分为四步：首先，提取人脸彩色图像并将其从RGB色彩空间变换到YCbCr色彩空间；其次，通过肤色非线性空间映射进行人脸区域定位处理；然后，采用大津法实现人眼区域分割；最后，通过色度信息以及形态学处理方法提取眼睛轮廓。实验表明：该方法能够精确提取人眼轮廓，提取率为99%以上，提取时间小于1.75 s。

关键词： 眼睛轮廓； 特征提取； 肤色； 人脸图像检索

中图分类号： TN919?34 文献标识码： A 文章编号： 1004?373X（2014）14?0125?03

A new method of eye contour automatic extraction based on skin color

LIU Xiang?lou1， 2， YANG Long1， 2， ZHANG Ming1， 2， SUN Yue1， 2

（1. Northeast Petroleum University， Daqing 163318， China； 2. The R&D Center of Measuring and Testing Technology & Instrument and Meter Engineering for University?enterprise in Heilongjiang Province， Daqing 163318， China；）

Abstract： The eyes as a most important biometric feature of face recognition has the characteristics of high stability and distinguishability， and is not easy to be copied. Its feature extraction is a key step in face image retrieval. The usual description of eye features is mainly based on visual perception. As for the defficulty that quantization processing can not be realized due to fuzzy description， a new method for eye contour automatic extraction based on skin color is put forward. The method consists of four steps： extraction of the color face image and transformation of the RGB color space into YCbCy color space， localization processing of the face region by color nonlinear space mapping， segmentation of the eye region with Otsu method， and extraction of the eye contour according to the color information and morphological processing method. The experimental results show that the method can accurately extract eye contour， the extraction rate is more than 99%， and the extraction time is less than 1.75 s.

Keywords： eye contour； feature extraction； skin color； face image retrieval

0 引 言

中国传统文化对眼睛特征经历漫长的研究过程，其汉语语义描述虽然为大家所共识，但由于不同人视觉感官的差异和语义表征的差异，致使对相同眼睛有不同的描述，难以实现量化处理。因此在基于语义化的标准证件照人脸图像检索系统中，眼睛轮廓的提取是构建眼睛几何模型关键步骤[1]。构建眼睛几何模型的方法种类众多，譬如基于模板法、基于可变形模板法、基于变换投影等方法[2]。以上方法大多是根据人眼的先验知识，通常以椭圆或者抛物线作为描述人眼的模型。然而这些方法对描述眼睛的几何模型并不是很理想，譬如传统的语义描述丹凤眼就是并非严格的椭圆或抛物线状。所以本文合理地利用眼部色度信息变化提取眼睛轮廓较好地解决各类形状眼睛的形状特征提取。

1 人眼轮廓自动提取的系统构成及原理

人眼轮廓提取系统主要分为四个环节，即图像获取、人脸定位、区域分割、特征提取，其结构框图如图1所示[3]。而基于肤色的眼睛轮廓自动提取原理主要是利用肤色的聚类特征检测出彩色图像中人的脸部区域图像，然后根据眼睛的色度信息提取眼睛轮廓[4]。

1.1 基于肤色的人脸定位

通常彩色图像是基于RGB色彩空间，如图2（a）所示，其色彩空间是由红、绿、蓝三个分量共同决定，三个分量都包含亮度信息。

图1 人眼轮廓提取结构框图

图2 不同类型图像

为了克服亮度对肤色的影响而采用YCbCr色彩空间，需要将RGB色彩空间变换到YCbCr色彩空间，具体线性变换如式（1）所示[5]：

[YCrCb= a11 a12 a13 a21 a22 a23a31 a32 a33?RGB+ c1c2c3] （1）

因为YCbCr色彩空间由RGB色彩空间线性变换得到，因此在YCbCr色彩空间中色度信息并不是独立于亮度信息而单独存在，而是随着[Y]分量的不同值而呈现非线性的变化。由此可见，肤色的非线性映射可以使肤色聚类区域很好的适应亮度过明亮或者过暗的区域，从而使肤色模型的鲁棒性大大提高。经过非线性分段色彩变换得到的色彩空间用YCb″来表示，具体色彩空间变换过程如下[6]：

（1） 肤色区域的中值分别用[CbY]和[CrY]表示，变换参见式（2）：

[WCi（Y）=WLCi+ （Y-Ymin）?（WCi-WLCi）Kl-Ymin， if Y≤KlWHCi+ （Ymax-Y）?（WCi-WHCi）Ymax-Kh， if Y≥Kh] （2）

式中：[ Kl]和[Kh]为非线性分段色彩空间变换的分段阈值，其中[i]分别代表b或者r，[Ymin]与[Ymax]为实验中聚类肤色区域中[Y]的最小值和最大值。

（2） 肤色的区域宽度分别用[WCbY]和[WCrY]表示，其使用分段函数表示，其变换参见式（2）。

（3） 最终可以根据过程（1）、（2）得到非线性分段色彩空间变换参数，最终经过变换得到肤色聚类在[YCbCr]空间映射到[YCb′Cr′]色彩空间，如式（3）所示：

[Ci′Y=CiY-CiY?WCiWCiY+CiKh， if Y≤ Kl or Kh≤Y CiY， if Y∈Kl ，Kh ] （3）

得到[YCb′Cr′]色彩空间图像，如图2（b）所示。因为肤色在[Cb′-Cr′]空间上大致服从正态分布，其分布函数参见式（4）。对图像中像素进行统计，使得90%以上的点满足[W′（CbCr）]>[T]，得到的像素点被认为是肤色，其中[T]为由实验得到的肤色分割的阈值。此时检测出来的区域包含一部分和肤色相近的背景区域等，所以对图像进行形态学开运算处理，消除杂散点和无关区域。在此基础上，对于给定一个阈值[T]，如果像素点满足 [W′（CbCr）]>T则该点被认为是肤色，检测到的肤色图像如图2（c）所示。

[W′（CbCr）=exp-12A′·Cr-Cr2+2B′·Cr-Cr·Cb-Cb+C′×Cb-Cb2] （4）

因为眼睛的[Cb]值较高而[Cr]值却偏低，因此在得到人脸区域图像后，利用图像[YCb′Cr′]色彩空间的[Cb′，Cr′]的分布特征构建分布函数，如式（5）所示：

[CbrMean=Cb+Cr2CbrFunc=Cb-CbrMean2+Cr-CbrMean2] （5）

式中：CbrFunc为构造[Cb，Cr]变量的函数；CbrMean为CbrFunc的直方图分布。采用大津法（Otsu）与形态学开运算相结合的方法将人眼部区域分割出来。

1.2 基于大津法的图像分割

大津法（Otsu）是一种确定图像二值化阈值分割的算法。该方法又称作最大类间方差法，按照大津法求得的阈值进行图像二值化分割后，前景与背景图像的类间方差最大。当类间方差最大时的阈值为最佳阈值，获得最佳阈值时分割图像产生二值图。设一幅图像的灰度级为 m级，则该图像中灰度级为[i]的像素总数为n，如式（6）所示：

[N=i=1mni] （6）

灰度值为[i]的像素的概率如式（7）所示：

[Pi=niN] （7）

然后取其中一个灰度值K将m级灰度分为两组[C0]={1，2，…，K}，[C1]={K+1，K+2，…，m}，[C0]、[C1]两组概率和均值计算分别参见式（8）和式（9）：

[ωi=i=1kPi] （8）

[μi=i=1kiPiωi] （9）

式中[i]分别为0或者1，则整体图像的统计均值[μ]的计算如式（10）所示：

[μ=ω0μ0+ω1μ1] （10）

[C0]、[C1]两组的类间方差[σ2K]如式（11）所示：

[σ2（k）=ω0（μ0-μ）2+ω1（μ1-μ）2] （11）

从1，2，…，m之间改变K值，当max[σ2（k）]取值最大值时的K值为最佳分割阈值，对此时图像进行分割产生二值图像。

1.3 人眼轮廓自动提取

首先，依据大津法方法分割产生的二值图像，通过膨胀和腐蚀等操作去除小面积连通区域和无关的区域，得到二值化的人眼图像。然后，对得到人眼图像通过Canny算子进行眼睛边缘轮廓检测得到眼睛轮廓的边缘信息，人眼轮廓的边缘轮廓提取见图2（e）。最后，对眼睛轮廓清晰的图像进行建库编码。

2 实验仿真与结果分析

仿真实验计算机配置为AMD Athlon X2台式机，2.81 GHz主频，2.0 GB内存，计算机运行系统

Windows XP Professional SP3。在Matlab平台上，本文采用东北石油大学2011级研究生入学采集的1 000张照片建立实验图像库。随机分成两个样本集A、B，每个样本集500张图片分别进行试验，每个样本集的实验分别为10组，每组实验从实验图像库中随机抽取100张图片进行试验。在实验图像中抽取准彩色图像、眼睛具有倾角的彩色图像、肤色偏暗的彩色图像3张实验过程中输出的彩色图像进行说明，如图2所示。从实验得知，基于肤色的人脸眼轮廓自动提取方法能够准确自动提取眼睛的大小、方向、色度不同的彩色图像眼睛轮廓，而不受客观因素的干扰。根据概率论统计本次实验数据显示，基于肤色的人脸眼轮廓自动提取成功率达到99.00%以上。9组实验做数据概率统计，其概率分布如表1所示，其中时间为每幅图片提取时间的均值。

通过实验得知，在式（2）中参数取值分别为[ Kl]=125，[Kh]=125，[Ymin]=16，[Ymax]=235。在求得肤色区域的中值[CbY]和[CrY]时参数取值分别为[WCb]=118、[WCr]=154、[WLCb]=108、[WLCr]=144、[WHCb]=132、[WLCr]=108。在实验过程中，其中[Cr]=152.020 0，[Cb]=109.380 0，为A，B共同作为同一样本集时取值，实验得知A实验中[Cr]=155.000 0，[Cb]=104.250 0，B实验中[Cr]=149.040 0，[Cb]=114.510 0。在求得肤色的区域宽度[WCbY]和[WCrY]时参数取值分别为[WCb]= 46.79，[WCr]=38.76，[WLCb]=23、[WLCr]=20，[WHCr]=10，[WHCb]=14。在式（4）中求得参数[A′]=0.030 3，[B′]=0.033 5，[C′]=0.054 1，判定肤色的阈值[T]采用0.75～1.5进行取值对结果几乎无影响，因此可以根据不同样本集取得不同最优参数。根据眼睛轮廓清晰的图像的大小、旋转方向、色度等信息进行建库编码，其中图2（e）编码分别为L0001?0000?0000?0060、L0004?0000?0000?0020、L0001?0000?0000?00a0。

观察实验过程中未成功彩色图像，如图3所示。由此可见，对于编号3557彩色图像，由于在其采集过程中，出现眨眼现象造成采集人眼轮廓图像不是实际人眼轮廓图像，因而提取失败。对于编号3537图像，由于采集图像时光照严重不足，致使采集彩色图像太暗，在图像处理过程中即使加入光照补偿也未能达到理想效果。

图3 实验未成功图像

表1 实验结果分布表

3 结 论

经过试验验证：尽管本实验采用的样本图像远不及标准证件照的效果，但其提取率依然可达到99.00%以上，且每幅图片提取时间小于1.75 s。而从提取失败的图像分析，标准证件照中不会出现眨眼和光照严重不足的图像，由此断定，对于标准证件照检索系统而言，其提取率完全可以达到100%。本文采用肤色定位人脸和大津法的图像分割方法是最佳的提取人眼轮廓的方法，相比较模板等方法，可以克服模板匹配等方法的匹配过程中的参数选择、匹配过程耗时、准确率低等问题，本方法能够克服图像中人脸的姿势，大小，方向等对眼睛特征提取的干扰。在本方法基础上，可以通过提取边缘点进行曲线拟合或建立眼睛的坐标为构建描述眼睛特征的几何模型提供依据。本方法在肤色空间非线性映射过程中，依据本实验的样本中的肤色设定相关的阈值及参数，不具有通用性，用户可以通过建立动态肤色库，以达到对不同肤色的自适应需求。

参考文献

[1] 朱秋煜，黄素娟，王朔中.证件照片的特征提取与检索[J].模式识别与人工智能，2007，20（4）：545?550.

[2] 魏冬冬，谌海新，聂铁铸.人脸特征提取与识别技术研究[J].计算机与现代化，2007，23（3）：69?76.

[3] 王伟，马建光.人脸识别常用方法及其发展现状[J].兵工自动化，2002，21（1）：49?51.

[4] 龙伶敏.基于Adaboost的人脸检测方法及眼睛定位算法研究[D].成都：电子科技大学，2008.

[5] 刘祥楼，张明，邓艳茹.一种人脸对象的区域分割方法[J].科学技术与工程，2011（12）：2686?2690.

[6] 黎云汉.人脸特征提取与跟踪[D].杭州：浙江大学，2008.

通过实验得知，在式（2）中参数取值分别为[ Kl]=125，[Kh]=125，[Ymin]=16，[Ymax]=235。在求得肤色区域的中值[CbY]和[CrY]时参数取值分别为[WCb]=118、[WCr]=154、[WLCb]=108、[WLCr]=144、[WHCb]=132、[WLCr]=108。在实验过程中，其中[Cr]=152.020 0，[Cb]=109.380 0，为A，B共同作为同一样本集时取值，实验得知A实验中[Cr]=155.000 0，[Cb]=104.250 0，B实验中[Cr]=149.040 0，[Cb]=114.510 0。在求得肤色的区域宽度[WCbY]和[WCrY]时参数取值分别为[WCb]= 46.79，[WCr]=38.76，[WLCb]=23、[WLCr]=20，[WHCr]=10，[WHCb]=14。在式（4）中求得参数[A′]=0.030 3，[B′]=0.033 5，[C′]=0.054 1，判定肤色的阈值[T]采用0.75～1.5进行取值对结果几乎无影响，因此可以根据不同样本集取得不同最优参数。根据眼睛轮廓清晰的图像的大小、旋转方向、色度等信息进行建库编码，其中图2（e）编码分别为L0001?0000?0000?0060、L0004?0000?0000?0020、L0001?0000?0000?00a0。

观察实验过程中未成功彩色图像，如图3所示。由此可见，对于编号3557彩色图像，由于在其采集过程中，出现眨眼现象造成采集人眼轮廓图像不是实际人眼轮廓图像，因而提取失败。对于编号3537图像，由于采集图像时光照严重不足，致使采集彩色图像太暗，在图像处理过程中即使加入光照补偿也未能达到理想效果。

图3 实验未成功图像

表1 实验结果分布表

3 结 论

经过试验验证：尽管本实验采用的样本图像远不及标准证件照的效果，但其提取率依然可达到99.00%以上，且每幅图片提取时间小于1.75 s。而从提取失败的图像分析，标准证件照中不会出现眨眼和光照严重不足的图像，由此断定，对于标准证件照检索系统而言，其提取率完全可以达到100%。本文采用肤色定位人脸和大津法的图像分割方法是最佳的提取人眼轮廓的方法，相比较模板等方法，可以克服模板匹配等方法的匹配过程中的参数选择、匹配过程耗时、准确率低等问题，本方法能够克服图像中人脸的姿势，大小，方向等对眼睛特征提取的干扰。在本方法基础上，可以通过提取边缘点进行曲线拟合或建立眼睛的坐标为构建描述眼睛特征的几何模型提供依据。本方法在肤色空间非线性映射过程中，依据本实验的样本中的肤色设定相关的阈值及参数，不具有通用性，用户可以通过建立动态肤色库，以达到对不同肤色的自适应需求。

参考文献

[1] 朱秋煜，黄素娟，王朔中.证件照片的特征提取与检索[J].模式识别与人工智能，2007，20（4）：545?550.

[2] 魏冬冬，谌海新，聂铁铸.人脸特征提取与识别技术研究[J].计算机与现代化，2007，23（3）：69?76.

[3] 王伟，马建光.人脸识别常用方法及其发展现状[J].兵工自动化，2002，21（1）：49?51.

[4] 龙伶敏.基于Adaboost的人脸检测方法及眼睛定位算法研究[D].成都：电子科技大学，2008.

[5] 刘祥楼，张明，邓艳茹.一种人脸对象的区域分割方法[J].科学技术与工程，2011（12）：2686?2690.

[6] 黎云汉.人脸特征提取与跟踪[D].杭州：浙江大学，2008.

通过实验得知，在式（2）中参数取值分别为[ Kl]=125，[Kh]=125，[Ymin]=16，[Ymax]=235。在求得肤色区域的中值[CbY]和[CrY]时参数取值分别为[WCb]=118、[WCr]=154、[WLCb]=108、[WLCr]=144、[WHCb]=132、[WLCr]=108。在实验过程中，其中[Cr]=152.020 0，[Cb]=109.380 0，为A，B共同作为同一样本集时取值，实验得知A实验中[Cr]=155.000 0，[Cb]=104.250 0，B实验中[Cr]=149.040 0，[Cb]=114.510 0。在求得肤色的区域宽度[WCbY]和[WCrY]时参数取值分别为[WCb]= 46.79，[WCr]=38.76，[WLCb]=23、[WLCr]=20，[WHCr]=10，[WHCb]=14。在式（4）中求得参数[A′]=0.030 3，[B′]=0.033 5，[C′]=0.054 1，判定肤色的阈值[T]采用0.75～1.5进行取值对结果几乎无影响，因此可以根据不同样本集取得不同最优参数。根据眼睛轮廓清晰的图像的大小、旋转方向、色度等信息进行建库编码，其中图2（e）编码分别为L0001?0000?0000?0060、L0004?0000?0000?0020、L0001?0000?0000?00a0。

观察实验过程中未成功彩色图像，如图3所示。由此可见，对于编号3557彩色图像，由于在其采集过程中，出现眨眼现象造成采集人眼轮廓图像不是实际人眼轮廓图像，因而提取失败。对于编号3537图像，由于采集图像时光照严重不足，致使采集彩色图像太暗，在图像处理过程中即使加入光照补偿也未能达到理想效果。

图3 实验未成功图像

表1 实验结果分布表

3 结 论

经过试验验证：尽管本实验采用的样本图像远不及标准证件照的效果，但其提取率依然可达到99.00%以上，且每幅图片提取时间小于1.75 s。而从提取失败的图像分析，标准证件照中不会出现眨眼和光照严重不足的图像，由此断定，对于标准证件照检索系统而言，其提取率完全可以达到100%。本文采用肤色定位人脸和大津法的图像分割方法是最佳的提取人眼轮廓的方法，相比较模板等方法，可以克服模板匹配等方法的匹配过程中的参数选择、匹配过程耗时、准确率低等问题，本方法能够克服图像中人脸的姿势，大小，方向等对眼睛特征提取的干扰。在本方法基础上，可以通过提取边缘点进行曲线拟合或建立眼睛的坐标为构建描述眼睛特征的几何模型提供依据。本方法在肤色空间非线性映射过程中，依据本实验的样本中的肤色设定相关的阈值及参数，不具有通用性，用户可以通过建立动态肤色库，以达到对不同肤色的自适应需求。

参考文献

[1] 朱秋煜，黄素娟，王朔中.证件照片的特征提取与检索[J].模式识别与人工智能，2007，20（4）：545?550.

[2] 魏冬冬，谌海新，聂铁铸.人脸特征提取与识别技术研究[J].计算机与现代化，2007，23（3）：69?76.

[3] 王伟，马建光.人脸识别常用方法及其发展现状[J].兵工自动化，2002，21（1）：49?51.

[4] 龙伶敏.基于Adaboost的人脸检测方法及眼睛定位算法研究[D].成都：电子科技大学，2008.

[5] 刘祥楼，张明，邓艳茹.一种人脸对象的区域分割方法[J].科学技术与工程，2011（12）：2686?2690.

[6] 黎云汉.人脸特征提取与跟踪[D].杭州：浙江大学，2008.