基于改进型最大类间方差法的瞳孔定位方法

黄丽丽，杨 帆，王东强，唐云建

1.重庆邮电大学 计算机科学与技术学院，重庆 400065

2.重庆市科学技术研究院 信息与自动化技术研究中心，重庆 401123

基于改进型最大类间方差法的瞳孔定位方法

黄丽丽1，杨 帆2，王东强2，唐云建2

1.重庆邮电大学 计算机科学与技术学院，重庆 400065

2.重庆市科学技术研究院 信息与自动化技术研究中心，重庆 401123

1 引言

近年来，视线跟踪[1-2]在人机交互中的应用已经成为一个热门的研究趋势，该方式使人机对话变得简单，因此备受关注。瞳孔定位作为视线跟踪中的一个重要研究课题，其准确性和有效性直接影响整个视线跟踪系统的优劣。

目前，对瞳孔定位的研究方法很多，大多数方法是基于对圆的检测，主要考虑到瞳孔的几何特性，常将其看作一个圆或椭圆。常用的方法包括Hough变换[3]和椭圆拟合[4-5]的方法，就其本质而言，Hough变换和椭圆拟合都是利用图像的边缘信息作为基础来获得瞳孔的位置和大小。Hough变换的方法是通过参数搜索确定一个圆，而椭圆拟合主要是通过最小二乘法或其他方法来进行椭圆的拟合。Hough变换和椭圆拟合的方法首先都需要对眼部灰度图像进行二值化，然后对二值图像进行边缘信息的提取，就其边缘信息实现定位。然而在求取二值图像时，阈值的选取成为困难，尤其在红外光照下阈值的选取更是不易。Wildes[3]和Tisse[6]等通过Hough变换的投票机制在参数空间寻求最优值，Takeshi Takegami[7]等人提出Hough变换拟合椭圆的算法来定位椭圆，张书强、来跃深[8]等人利用Sobel算子结合Hough圆检测的方法来定位瞳孔，王长元、史学颖[9]提出了基于强边缘和弱边缘的情况下采用Hough变换检测圆的方法定位瞳孔。这些方法虽然取得了一定的准确性，但是采用固定阈值的方法无疑增加了方法的局限性，通用性较差，且Hough找圆的方法遍布整幅图像，盲目搜索，同时该方法复杂度大、资源需求大，运算时间长。

朱柳柳、卢光明[10]在虹膜定位中提出基于最长弦定义边界的检测方法，该方法在图像二值化时采用最大类间方差法来实现阈值的提取，最大类间方差法提高了图像阈值选取的自适应性，但是在光线较暗情况下，效果不是很好，易造成较多黑色区域，且整个方法运算时间较长。

基于以上算法的不足，本文提出一种基于改进型最大类间方差法的瞳孔定位方法。该方法的特点是：（1）从图像预处理入手，采用光线补偿和中值滤波来提升红外光线照射下采集的图像质量；（2）从阈值提取入手，根据图像直方图，采用只对图像中存在的像素灰度值计算最大类间方差的方法现实自适应阈值提取，获取最佳二值图像；（3）最后采用基于最小二乘法的椭圆拟合方法进行瞳孔中心的精确定位。实验证明，该方法提高了瞳孔定位的准确性和运行速度。

2 方法实现

2.1 阈值提取

为了更好地将瞳孔部分分割出来，需要获取能将瞳孔部分与其他部分区分的最佳二值图像，因此阈值的选取成为整个过程的关键。最大类间方差法是一种常用的自适应阈值选取方法。该方法介绍如下。

2.1.1 最大类间方差法（OTSU）

最大类间方差法（OTSU）[11]又称大津法。其主要原理为：

计t为图片前景和背景的分割阈值，其中前景点数占整个图像比例为w0，其图像平均灰度值为u0，背景点数占图像比例为w1，其图像平均灰度值为u1，于是可计算得图像总平均灰度为u。从最小灰度值到最大灰度值遍历为t，当t使得类间方差值g最大时，此时t即为分割的最佳阈值。设图像大小为M像素×N像素，L为图像灰度级，设图像中像素的灰度值小于t的像素个数记作N0，像素灰度大于t的像素个数记作N1，可计算得：

t将从0～L－1依次取值，当g取最大时的t值为图像分割的最佳阈值。

由此可见，最大类间方差法主要是根据图像的灰度特性，将图像分成前景（即目标）和背景两个部分。前景和背景之间的类间方差越大，图像两部分的差别就越大，图像分割的效果就越好。

2.1.2 改进型最大类间方差法

最大类间方法目前适应较广，但是在较暗光照条件下，效果仍然不好，例如用于本文实验时，由于红外光的照射，采集的眼部图像会存在图像整体偏暗和噪声的情况，不能获得较好的分割效果，同时该方法在计算最大类间方差时需要遍历0～255的每一个灰度级，降低了运算效率。因此，本文主要采用一种改进型最大类间方差法来实现阈值的提取。该方法首先通过亮度补偿和中值滤波来提升红外光照下的图像质量，利于区分瞳孔部分与其他部分；然后根据图像的直方图，只对图像中存在的像素灰度值计算最大类间方差的方法来求取二值化图像的最佳阈值，提高运行速度。

步骤1图像预处理，增加图像整体亮度及滤除噪声。

由于眼部图像是在红外光源的采集下得到的，因此不可避免存在图像偏暗、模糊和噪声情况。如果将此图像不做处理直接用最大类间方差法来提取阈值的话会造成背景和前景错分概率大，不能获得好的分割结果。因此可对采集的图像进行预处理，提升图像亮度和滤噪，主要采用光线补偿和中值滤波来实现。光线补偿时，通过眼部图像的直方图，统计出整个图像中所有像素点的灰度值，求取最高约5%～10%的像素灰度值的平均值，以此平均值作为基准，将图像其他部分的灰度值按比例系数进行补偿。在图像滤噪时，采用二维的中值滤波器[12]实现。

图1（a）、（b）分别表示采集到的眼睛原图和经过光线补偿和中值滤波（Sobel模板）的结果图像。

图1 眼睛原图和预处理效果图

由图1（a）、（b）对比可看出，经过光线补偿和中值滤波后的眼部图像，图像整体亮度增加了，噪声减少了，同时更利于区分瞳孔、虹膜、矾膜及皮肤。

步骤2根据直方图，统计出图像中未出现的像素灰度值，计算余下像素的最大类间方差。

根据最大类间方差法，将眼部图像分成M0和M1两类。M0由灰度值为0～t之间的像素组成，M1由t+1～L－1之间的像素组成。在计算最大类间方差时，t遍历的过程将从图像直方图灰度级为0处一直遍历到灰度值为255处。然而根据实验，摄像机采集到的大量眼部图像，经统计直方图后发现，并非每个灰度级上都有像素数目，也有某些灰度值像素数目为零的情况，因此图像并非完全覆盖全部的256级灰度。如果在实验过程中，对某个灰度值像素数目为零的像素也计算方差的话，这将增加不必要的运算量。因此，可以将这些数目为零的像素灰度值不纳入类间方差的计算，而仅计算图像中数目非零的像素的类间方差。根据这样的思路，可以大大降低方差计算次数，提高运行速度。

图2为眼部摄像机所采集到的某一眼部图像所对应的直方图，由该直方图可看出，在图像灰度级约0～35之间及210～255之间的这两部份灰度级所对应的像素数目都为零，因此在求取最大类间方差时，先将图像中这两部分像素灰度值统计出来，不计算其所对应的类间方差值，只对余下的像素进行计算。

图2 某一眼部图像所对应的直方图

为了验证该算法的可行性，根据文献[13]，可将式（6）推导如下：

其中，i为图像中各个灰度级；ni为图像中各个灰度级所对应的像素数目；Pi为图像中各个灰度级所出现的概率；假设灰度值为t'的像素数目为0，即Pt'=0，若选t'-1为阈值时：

因此可知：gt'-1=gt。

若有连续灰度级t1，t2，…，tn的像素数目为0，仍可得到：

于是，根据推导，对于图像中不存在的像素灰度值，也即是像素数目为零的灰度级，不计算以之为阈值时的类间方差，可将最近的像素数目不为零的较小灰度级所对应的类间方差作为其类间方差值。因此在求取最大类间方差时，对于数目为零的像素灰度级，并不计算其所对应的类间方差值，这并不影响最终阈值选取的结果。

图3（a）为拍摄的三幅不同角度下的眼部图像，（b）和（c）为采用改进型最大类间方差法所获得的效果图像，可知瞳孔部分已很好地分离出来，其中背景部分灰度值为255（白色），瞳孔部分灰度值为0（黑色）。

图3 不同角度下的眼部图像及采用改进型最大类间方差法相对应的效果图

2.2 确定瞳孔中心及半径

在通过改进型最大类间方差法计算得到二值化图像的基础上，通过轮廓提取方法（即掏空内部点的方法[14]）与最小二乘法的椭圆拟合方法的结合实现瞳孔的精确定位。在阈值提取基础之上，可知，背景像素灰度值为255，瞳孔像素灰度值为0，瞳孔轮廓提取的步骤如下：

（1）若中心像素为255，不论其余相邻的8个像素为何值，一律保留中心像素值255。

（2）若中心像素为0，且其余相邻的8个像素值为0，则改变中心像素值为255。

（3）其余情况时，全部将中心像素值改为0。

瞳孔的边缘信息是椭圆拟合的基础条件，获取到轮廓的边缘信息后，可对边缘信息进行椭圆拟合。本文采用基于最小二乘法来实现对边缘点的拟合链接，其基本思想是求各候选点到圆上距离的平方和最小。设瞳孔椭圆方程为：

由此可得到一个线性方程组，然后结合约束条件，可解得方程系数A，B，C，D，E，F的值。于是椭圆的中心坐标(xp，yp)、长轴和短轴(a，b)均可通过以下式子求的，从而获得了瞳孔的半径和中心坐标值：

3 实验结果与分析

本实验基于XP环境下，通过在Visual Studio 2010+ OpenCV平台下编程实现。利用本实验室制作的一个带有红外摄像机的图像采集设备实现眼部图像的采集，采集了一定规模的瞳孔图像（40人，40瞳孔，2 000张不同角度的瞳孔图像），图像分辨率为320×240，图像灰度为0～255。

3.1 定位精度对比测试

为了考察算法的有效性，将文献[8]中的方法（以下简称方法1）、文献[10]中的方法（以下简称方法2）与本文方法定位瞳孔的准确性对比测试：

方法2定位结果损失掉了大量瞳孔的边缘信息，定位的瞳孔中心也与实际瞳孔中心值偏差较大，如图4（a）；方法2定位的结果较为准确，但由于图像未做预处理，仍然存在少量瞳孔边缘损失的情况，如图4（b）；而本文方法通过采用改进型最大类间方差法获取了较佳的二值图像，实现了瞳孔边缘信息的完整提取，使得瞳孔定位结果更加准确，如图4（c）。

图4 不同方法下瞳孔定位比较

3.2 定位速度对比测试

表1为方法1、方法2及本文方法定位图3（a）中三个不同角度下眼部图像时所耗时间对比表。由表1可知，本文方法在保证瞳孔定位准确性的前提下，有效地降低了定位时间。

表1 三种方法所消耗比较 ms

4 结束语

本文提出了一种基于改进型最大类间方差法的瞳孔定位方法，该方法通过图像预处理操作和对图像中存在的像素灰度值计算最大类间方差的方法，快速且准确地求取了图像的最佳阈值，为瞳孔边缘信息的完好提取奠定基础；最后在此基础上采用轮廓提取方法和基于最小二乘法的椭圆拟合方法实现瞳孔的精确定位。实验证明，本文方法在保证定位准确度的情况下，运行速率也得到很大的提高，是一种有效的瞳孔定位方法。

[1]Salvucci D D.Inferring intent in eye-based interfaces：tracing eye movements with process models[C]//CHI’99，1999：254-261.

[2]廖卫华，严由伟，徐子清.视线跟踪技术在人机交互中的研究[J].长春师范学院学报：自然科学版，2005，24（2）：130-132.

[3]Wildes R P.Iris recognition：an emerging biometric technology[J]. Proceedings of IEEE，1997，85（9）：1348-1363.

[4]Kennedy R B，Pressman I S，Chen S，et al.Statistical analysis of barefoot impressions[J].Journal of Forensic Sciences，2003，48（1）：55-63.

[5]Jung J W，Sato T，Bien Z.Dynamic footprint-based person recognition method using a hidden Markov model and a neuralnetwork[J].InternationalJournalIntelligentSystem，2004，19（11）：1127-1141.

[6]Tisse C，Martin L，Torres L.Person identification technique using human iris recognition[C]//Proc Vision Interface.[S.l.]：IEEE Press，2002：294-299.

[7]Takegami T，Gotoh T，Ohyama G.An algorithm for modelbased stable pupil detection for eye tracking system[J].Systems and Computers in Japan，2004，35（13）：21-31.

[8]张书强，来跃深，尚雅层，等.瞄准器的眼跟踪算法研究[J].国外电子元器件，2008（12）：69-70.

[9]王长元，史学颖.基于视频眼震图的瞳孔中心定位方法研究[J].计算机与数字工程，2011，39（3）：128-130.

[10]朱柳柳，卢光明.一种改进的虹膜快速定位算法[J].计算机应用，2008，28（3）：674-676.

[11]Otsu N.A threshold selection method from gray-level histogram[J].IEEE Trans on Actions on SMC，1979，9：652-655.

[12]郑玉丽，陈卫兵.图像加窗中值滤波算法研究[J].微计算机应用，2011，32（9）：9-14.

[13]李鉴庆，左坤隆.图像阈值选取的一种快速算法[J].计算机与现代化，2001，76（6）：11-19.

[14]吴凤和.基于计算机视觉测量技术的图像轮廓提取方法研究[J].计量学报，2007，28（1）：18-22.

HUANG Lili1,YANG Fan2,WANG Dongqiang2,TANG Yunjian2

1.College of Computer Science and Technology,Chongqing University of Posts and Telecommunications,Chongqing 400065,China
2.Research Center for Information and Automation Technologies,Chongqing Academy of Science&Technology,Chongqing 401123,China

To improve the accuracy and rapidity of pupil location in human-computer interaction,a method based on the improved OTSU algorithm is proposed in this paper.The image is pre-processed using light compensating and median filtering to calculate the maximum between-class variance of the pixels which exist in the image,and obtain the optimum threshold of the binary image, the pupil center and radius are got by using ellipse fitting.Experimental results show that the method is quite accurate and fast, which lays a great foundation for the eye tracking.

pupil location;threshold;OTSU algorithm;ellipse fitting

为了提高人机交互中瞳孔定位的精确性与快速性，提出一种基于改进型最大类间方差法的瞳孔定位方法。对图像进行基于光线补偿和中值滤波的预处理操作，进而根据直方图统计出图像中未出现的像素灰度值，计算余下像素的最大类间方差，求取二值化图像的最佳阈值，采用椭圆拟合方法确定瞳孔中心及半径。实验结果证明，该方法准确快速，为视线跟踪奠定必要的基础。

瞳孔定位；阈值；最大类间方差法；椭圆拟合

A

TP391

10.3778/j.issn.1002-8331.1205-0396

HUANG Lili,YANG Fan,WANG Dongqiang,et al.Pupil location method based on improved OTSU algorithm.Computer Engineering and Applications,2013,49（23）：137-140.

重庆市科技攻关计划基金资助重点项目（No.cstc2011ggB0028）。

黄丽丽（1987—），女，硕士，主要研究领域为智能信息处理、模式识别；杨帆（1977—），女，博士；王东强（1977—），男，博士；唐云建（1981—），男，博士。E-mail：huangliliym@163.com

2012-06-01

2012-08-13

1002-8331（2013）23-0137-04

CNKI出版日期：2012-09-07 http://www.cnki.net/kcms/detail/11.2127.TP.20120907.0900.012.html