微操作中操作者瞳孔的定位方法研究

陈国良 马 辉 张钏钏

武汉理工大学机电工程学院，武汉,430070

微操作中操作者瞳孔的定位方法研究

陈国良 马 辉 张钏钏

武汉理工大学机电工程学院，武汉,430070

针对微操作中操作者的眼球偏转小和眼睛图像灰度变化小的特点，提出一种瞳孔定位的快速算法，首先对眼睛图像提取特定的矩形区域，然后采用半精定位的方法缩小瞳孔所在区域，提高瞳孔区域的图像占比，最后利用Hough变换精确定位瞳孔。实验表明，该算法能快速、准确地定位瞳孔中心，适用于微操作中使用头戴式设备的瞳孔图像提取。

微操作；瞳孔定位；对称性；Hough变换

0 引言

随着现代科学技术的发展，人们对微操作系统的要求越来越高。现阶段微操作系统的自动化程度较低，操作模式仍然以手动操作为主，无法自动完成较为复杂的微操作任务;操作者在显微镜下长期工作特别容易疲劳，操作效率和精度也易受到人为因素影响。将视线跟踪技术应用于微操作中，能够将操作者从狭小的显微镜视野中解放出来，可以有效改善人机交互环境，简化操作步骤，使操作者的手部劳动转化为微操作系统的自动化操作，推动了“所看即所得”的微操作人机交互技术的发展应用。瞳孔的精确定位是实现视线跟踪的关键技术之一。目前，很多学者针对不同应用场合的瞳孔图像特征的瞳孔定位进行了大量研究。蒲小勃等[1]针对头戴式头盔视线跟踪系统，根据瞳孔遮挡程度的不同，提出了一种分级瞳孔定位方法，该方法同时兼顾了速度与精度。颜红金等[2]依据医用眼睛图像中瞳孔灰度和几何特征，将数学形态学与Hough变换结合实现了红外与可见光下瞳孔的精确定位。Li等[3]集成基于特征和模型的瞳孔检测方法，提出了一种基于Starburst算法的瞳孔定位方法，该算法具有很好的实时性。张文聪等[4]针对视线跟踪过程中眼部图像在干扰情况下出现的变形瞳孔，提出一种基于3点的随机采样一致性定位算法RANSAC_3，该算法对外部干扰具有较强的鲁棒性。王长元等[5]基于视频眼震图的瞳孔图像特征，先进行虹膜粗定位，然后再精确定位瞳孔，算法具有很好的抗干扰性与准确性。

针对微操作中操作者的眼球偏转小和眼睛图像灰度变化小的特点，本文采用计算机视觉及图像处理技术，研究适合微操作技术及环境特点的操作者瞳孔定位算法，以达到快速获取微操作中操作者的注视点的目的，使微操作系统具有获取、定位操作者兴趣视野目标的自动化能力，为实现微操作自动化提供基础。

1 瞳孔图像的特点

(a)头戴式设备(b)操作者进行微操作图1 系统实物图Fig.1 The photos of equipment system

本文的头戴式设备及操作者进行微操作的实物图见图1，其中头戴式设备包括一个眼底照相机、一个滤光镜片和一个红外发光二极管。眼底照相机用于获取微操作者的瞳孔图像；滤光镜片为红外高反滤光片，起到反射红外光、透射可见光的作用；红外发光二极管为850nm红外线发射管。眼底照相机所得到的瞳孔图像属于暗瞳图像，如图2a所示，暗瞳图像的瞳孔灰度小于虹膜灰度，而虹膜灰度小于巩膜灰度。

基于实验中头戴式设备的结构特点，所拍摄的瞳孔图像中会出现眉毛以及周围环境特征等一些干扰信息，图2a为头戴式设备拍摄的图像。从图2a中可以看出，眼睛区域占整体图像比例较小，而且图像周边噪声很多，如果直接在所获取的图像中进行瞳孔定位，那么会由于噪声多而造成算法复杂化而且定位的精度也难以保证。而在头戴式设备固定的情况下，照相机与眼睛的相对位置固定，故眼睛区域主要集中在大小特定的矩形区域内，如图2b所示。确定特定的矩形区域模板的思路为：用一个很小的阈值对图像进行二值化，然后采用Hough变换圆检测，定位此二值图像中瞳孔的中心(x1,y1)、半径r1，以此来确定特定的矩形区域。具体算法如下：

(1)

式中，(x,y)为矩形区域的左上起始点；l、w分别为矩形区域的长度和宽度。

(a)眼睛图像(b)特定矩形区域图2 眼睛原图及特定矩形区域图Fig.2 The photos of eyes and a specific rectangle area

图2b所示为从图2a中提取的特定矩形区域，图像包含了眼睛的大部分信息，使得瞳孔包含在内。这样的操作不仅提升了瞳孔区域的图像占比，提高了后续定位瞳孔的效率，而且消除了图像周边的噪声，减少了一部分眉毛区域。需要说明的是，对于不同的微操作者，经试验，在绝大多数情况下此特定矩形模板是合适的，如果出现不合适的情况，则需要重新计算此矩形模板。

同时，由于微操作的环境相对固定，所拍摄的图像光线不会改变，因此图像中一般不会出现因室外光照不均而引起的灰度变化。

基于微操作的特点，人机交互界面就是正常的电脑显示屏大小，而且微操作的操作范围较小。当微操作者在人机交互界面前操作时，眼球的偏转较小，不会出现眼球极力向一个方向转动而导致瞳孔大部分被眼睑遮挡的情况。尽管瞳孔图像质量较高，特征比较明显，但是图像中仍然有许多干扰因素，包括眉毛、睫毛以及由于红外发光二极管造成的光斑等。

2 瞳孔中心的半精定位

基于眉毛和睫毛的灰度与瞳孔灰度相近，对定位过程有很大影响。在第一部分中提取的特定矩形区域消除了部分眉毛区域；为了降低睫毛的干扰程度，在文献[6-7]的基础上提出一种半精定位的方式缩小精定位的瞳孔区域图像，提高瞳孔的图像占比，从而使得瞳孔被完全包含在内而睫毛的干扰减到最小。半精定位是结合下采样、固定阈值、8连通区域、线扫描法和基于对称性的圆检测方法的定位算法，具体方法如下。

2.1 下采样

所谓下采样，就是对一个原有的样值序列，按某种规律进行间隔取样，以得到一个新的图像序列。下采样使得图像的像素点数据量呈指数级缩减，在保证一定程度精度的情况下能够大大提高算法的运算速度。对提取的特定矩形区域图像进行如下式处理：

Out(i,j) =Samp(I(x,y) )

(2)

其中，I(x,y)表示特定矩形区域，Samp(·)表示对特定矩形区域进行下采样，设计为

Samp(·) =f( 1∶k∶m,1∶k∶n)

(3)

式中，m、n为图像的大小；k为采样率。

本文对图像进行两次下采样得到一幅缩小的图像，下采样因子为2。经过这样的处理之后，得到一幅缩小16倍的图像，意味着参与计算的像素点为原来的1/16，这样使得计算量和占用内存空间都大大地减小了。由于图像的宽和高均为原图的1/4，故定位的瞳孔坐标及半径均为原图的1/4。

2.2 固定阈值

考虑到基于微操作的固定环境特点，所拍摄的瞳孔图像灰度变化不大，阈值相对固定，因此采用固定阈值法对图像进行二值化处理。通过对50个样本图像阈值的提取确定最终固定阈值，采用文献[8]提出的方法获取每个样本图像的阈值。首先获取样本图像的灰度直方图，求其中第一个和第二个波峰之间的波谷对应的灰度值T0；然后计算T0与第一个波峰对应的灰度值的差值，若差值大于3，则T0就作为这幅图像的最终阈值T；否则将第二个波谷对应的灰度值作为最终的阈值。图3为这50个样本图像阈值的统计直方图，可以看出图像的阈值变化不大，选取所有阈值的均值作为本文最终的固定阈值，通过计算，固定阈值为22。二值化图像如图4所示。

图3 样本图像阈值统计直方图Fig.3 Sample image histogram

图4 二值化图像Fig.4 Binary image

2.3 提取及修正瞳孔

由于本文采用提取特定的感兴趣区域方法，所以基本去除了眉毛、图像周边噪声的干扰，二值化后瞳孔的连通域面积大于睫毛等噪声的连通域面积，故采用八连通域方法[9]提取瞳孔区域。

采用线扫描法从水平和垂直方向对光斑进行填充，扫描过程如图5所示，具体操作步骤如下：

(1)水平方向上，某一行从左到右扫描，x1为第一个灰度值为0的点；

(2)从右向左扫描，x2为第一个灰度值为0的点；

(3)将点x1和点x2之间所有点的灰度值置为0；

(4)重复上述过程完成水平方向和垂直方向的扫描。

图5 线扫描过程Fig.5 The process of line scanning

图6所示为瞳孔提取与修正的结果，从图6a中可以看出，经过8连通域初步提取瞳孔，虽然很好地去除了睫毛等孤立噪声的影响，但是不能去除瞳孔区域内光斑的干扰；从图6b可以看出，经过线扫描法，瞳孔中由于光斑所形成的白色区域已经被填补，得到了质量较好的瞳孔区域。

(a)初步提取瞳孔 (b)修正后瞳孔

图6 瞳孔的提取与修正

Fig.6 The extraction and revision of pupil

2.4 基于对称性的圆检测方法

考虑到是半精定位，既要保证一定的精度也要兼顾速度，采用一种基于对称性的圆检测方法定位瞳孔。

(a)获取参数a0(b)获取参数b0图7 圆心的检测Fig.7 The position of the center of circle

(4)

将圆心检测中所得到的线扫描与圆的交点代入式(4)中，计算得到的数值ri在一维数组B中存储，最终统计一维数组B中各个值的频次，其最大频次对应的值即为圆半径值r0。

3 瞳孔精确定位

由半精定位方法定位出的瞳孔中心坐标为(a0,b0)和半径r0，将圆心坐标和半径放大到原来的4倍，得到原始尺度图像具有一定精度的圆心坐标和半径，即(4a0, 4b0)和4r0。所以用于精确定位的感兴趣区域计算如下：

(5)

式中，(xl,yl)为感兴趣区域的左上顶点坐标；(xr,yr)为感兴趣区域的右下顶点坐标。

由于是半精定位的结果，为了确保瞳孔被完全包含在感兴趣区域内，所以设置了误差范围d，本文d取10。

基于缩小的感兴趣的区域图像，结合固定阈值、8连通区域、线扫描法对瞳孔进行提取和修正，然后采用Canny算子对瞳孔区域的边缘进行检测，最后利用Hough变换定位出瞳孔的中心。根据Hough变换原理[10]，得出Hough变换检测圆的x、y与ρ、θ映射关系。

在直角坐标系下圆的一般方程为

(x-a)2+(y-b)2=r2

(6)

在极坐标系的ρθ平面，圆的极坐标方程为

(7)

式中，a、b为圆心坐标；r为圆的半径。

图像空间中有三个参数a、b、r，因此，在参数空间中累加数组是三维的，通过Hough变换，将图像空间(x,y)对应到参数空间(a、b、r)，算法的实现步骤如下：

(1)根据图像的大小分别计算参数a、b、r的最大值和最小值，建立三维离散的参数空间，参数空间的大小由a、b、r的最大值和最小值决定；

(2)在参数空间中建立累加器数组A(a，b，r)，并对三维数组进行初始化；

(3)对图像中的边缘点作Hough变换，对表示该边缘点的圆参数(a，b,r)进行投票，并在相应立方小格的累加器上加1；

(4)对三维阵列的所有累加器求峰值，其峰值小格的坐标就对应着图像空间共圆周点的圆心。

实验中Hough变换半径范围的选取直接影响圆检测的结果。根据第2节中半精定位的半径r0和圆心(a0，b0)可以有效缩小Hough变换中半径、圆心坐标的大小范围，本实验选用的参数：半径r的取值范围为r0-δ1≤r≤r0+δ1，圆心(a,b)的取值范围为a0-δ2≤a≤a0+δ2，b0-δ2≤b≤b0+δ2，半径r的步长为0.5，角度θ的变化范围为0～2π，θ的步长为0.1。考虑到半精定位的误差，并在此基础上放宽得到δ1和δ2，本实验中设置δ1=5、δ2=5。半精定位之后所获得的图像的参量空间大小与原图的参量空间大小相比大大减小了。瞳孔精确定位的完整流程见图8。从图8中的定位结果可以看出，图像中的瞳孔得到了准确的定位。

图8 瞳孔精确定位Fig.8 The precisely positioning of pupil

4 实验与分析

瞳孔中心坐标的提取是视线追踪的关键步骤。本实验采用瞳孔-角膜反射向量法，利用本文提出的瞳孔中心定位算法进行视线追踪。

本系统使用的显示屏是19.5英寸液晶显示屏，计算机配置为Intel的奔腾双核G640，CPU频率为2.4GHz，内存容量为2GB。

鲁西的含氨基酸液体肥含多种游离态氨基酸，促进根系分化，加速根系发育，培育壮苗，促进插枝生根，提高存活率。而液钙、氨基钙叶面肥富含活性钙，防止裂果效果明显，在蔬菜和水果的结果期十分有效。提高作物的免疫力，抗外界不利影响能力，利用率100%。

实验主要从速度性和准确性上对瞳孔定位算法进行衡量。

4.1 速度性

从表1中可以看出，本文算法平均运行时间最短。算法一与算法二相比以及算法三与本文算法相比共同区别在于，在进行Hough变换定位之前没有进行瞳孔提取与修复，由眉毛、睫毛以及光斑等产生的噪点较多，使得计算量增大；将算法三与算法一进行对比可以看出速度提升较大，算法三经过半精定位之后有效缩小了瞳孔区域图像，同时去除了眉毛区域和减小了睫毛区域，故定位速度提升很大；本文提出的算法经过半精定位之后，进行瞳孔提取与修复，最后用Hough变换进行定位，在速度方面提升明显。

表1 两种算法运行时间比较

4.2 准确性

瞳孔中心定位是视线跟踪中最关键的步骤，其定位的准确性直接影响注视点估计的精确度。

实验中在屏幕上标记的9个点坐标分布如图9所示。操作者眼睛依次从左上角第一个点开始注视，每个点至少注视1.5 s。注视完之后，根据这9个点的坐标值以及对应的瞳孔-角膜反射向量坐标，用最小二乘法计算出映射模型的参数，之后就可以根据瞳孔-角膜反射向量计算操作者注视点的位置。视线跟踪结果显示如图10所示。

图10中，9个实心圆点是注视标定点，9个空心圆是利用映射模型估计的注视点；4个实心菱形是预先在屏幕上标注了的点，4个空心菱形是估计的注视点。

图9 注视参考点Fig.9 The reference points of gazing

图10 视线跟踪结果Fig.10 Eye tracking results

经过分析，水平方向即x方向的平均误差为5.69个像素点，最大误差为17个像素点；垂直方向即y方向的平均误差为9.15个像素点，最大误差为25个像素点，出现误差较大的原因是操作者轻微的头部运动产生的误差。

5 结论

(1)根据头戴式设备特点，提取特定的矩形区域，有效去除了大部分眉毛区域和图像周边低灰度区域等的干扰。

(2)基于微操作环境相对固定的特点，采用固定阈值二值化的方式，缩短了计算阈值的时间。

(3)提出一种快速的半精定位方法，经过半精定位有效缩小了瞳孔区域图像，去除了眉毛区域和减少了睫毛区域，在保证一定精度的同时兼顾了速度。

(4)通过提取和修正瞳孔，使得光斑得到修补，从而减少了Hough变换中对干扰点的投票计算。

(5)经过半精定位获得的图像，提高了瞳孔的图像占比，使得用于Hough变换的参量空间大大减小。

(6)本算法能够很好地定位出瞳孔中心，在速度方面优势明显，并具有良好的鲁棒性和定位精度，完全能够满足微操作对瞳孔定位提出的快速性和准确性要求。

[1] 蒲小勃, 王月星, 邓宏平，等. 视线跟踪系统中的分级瞳孔定位算法[J]. 航空学报, 2012, 33(6): 1052-1059.PUXiaobo,WANGYuexing,DENGHongping,etal.TheClassifiedPupilLocalizationAlgorithmofLineofSightTrackingSystem[J].ActaAeronauticaetAstronauticaSinica, 2012, 33(6): 1052-1059.

[2] 颜红金, 张永林. 医用眼睛图像中瞳孔特征值检测算法的研究[J]. 计算机工程与设计, 2010, 31(23): 5124-5127.YANHongjin,ZHANGYonglin.ResearchonDetectingAlgorithmofPupil’EigenvaluesinMedicalEyeImage[J].ComputerEngineeringandDesign, 2010, 31(23): 5124-5127.

[3]LIDongheng,PARKHURSTDJ.Starburst:aHybridAlgorithmforVideo-basedEyeTrackingCombiningFeature-basedandModel-basedApproaches[C]//IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition.NewYork:IEEEComputerSociety, 2005:79-79.

[4] 张文聪, 李斌, 邓宏平,等.视线跟踪过程中变形瞳孔的定位[J]. 电子与信息学报, 2010, 32(2)：416-421.ZHANGWencong,LIBin,DENGHongping,etal.DistortedPupilLocalizationinEyeTracking[J].JournalofElectronics&InformationTechnology, 2010, 32(2)：416-421.

[5] 王长元, 史学颖. 基于视频眼震图的瞳孔定位方法研究[J]. 计算机与数字工程, 2011, 39(3): 128-130.WANGChangyuan，SHIXueying.ResearchontheMethodofPupilLocalizationBasedonVideonystagmograph[J].Computer&DigitalEngineering, 2011, 39(3): 128-130.

[6] 陈健, 郑绍华, 潘林,等. 基于图像特征的快速瞳孔提取算法[J]. 电子测量与仪器学报, 2014, 28(2): 203-210.CHENJian,ZHENGShaohua,PANLin,etal.FastPupilExtractionAlgorithmBasedonImageFeature[J].JournalofElectronicMeasurementandInstrumentation，2014, 28(2): 203-210.

[7] 王红茹, 丁文. 一种改进的基于对称性的Hough变换圆检测[J]. 微电子学与计算机, 2014, 31(6)：121-124.WANGHongru,DINGWen.AnImprovedSymmetryBasedHoughTransformAlgorithmforCircleDetection[J].Microelectronics&Computer, 2014, 31(6)：121-124.

[8] 孙彩堂, 周春光, 刘向东,等.一种改进的虹膜定位方法[J]. 小型微型计算机系统, 2006, 27(7):1335-1338.SUNCaitang,ZHOUChunguang,LIUXiangdong,etal.ImprovedIRISLocationAlgorithm[J].Mini-microSystems, 2006, 27(7):1335-1338.

[9]LIAGHATDARA,KANGARLOOK,FAROKHIF.PupilLocalizinginVideoImagestheFirstStepTowardEyeMonitoring[C]//IEEEConferenceonMultimediaTechnology.NewYork:IEEE,2011: 3163-3166.

[10]WILDESRP.IRISRecognition:anEmergingBiometricTechnology[J].ProceedingsofIEEE, 1997, 85(9): 1348-1363.

[11] 张占强, 孟克其劳, 朝乐门. 基于阈值分割与Hough变换的瞳孔半径测量算法研究[J]. 内蒙古农业大学学报, 2013, 34(4): 145-148.ZHANGZhanqiang,Mengkeqilao,Chaolemen.PupilRadiusMeasurementBasedonThresholdSegmentationandHoughTransformAlgorithm[J].JournalofInnerMongoliaAlriculturalUniversity, 2013, 34(4): 145-148.

[12] 王书强, 赵英杰, 张书强.Hough算法在眼跟踪瞄准的应用[J]. 制造业自动化, 2009, 31(11): 73-74, 86.WANGShuqiang,ZHAOYingjie,ZHANGShuqiang.ApplicationofHoughAlgorithminEyeTrackingandTargeting[J].ManufacturingAutomation, 2009, 31(11): 73-74, 86.

(编辑 王艳丽)

Research on Operator Pupil Localization Method in Micro Operations

CHEN Guoliang MA Hui ZHANG Chuanchuan

School of Mechanical and Electronic Engineering,Wuhan University of Technology,Wuhan，430070

According to the small deflections of the operator’s eyeball and the small variations of the eye image grayscale, a fast pupil extraction and localization algorithm was proposed. Firstly, in order to extract high quality pupil areas, the specific interesting areas were extracted. Then, the semi-precise positioning method was adopted to narrow the pupil areas and increase the proportion of the pupil areas in the eye images. Finally, Hough transform was used to locate pupil center. The experimental results show that the new algorithm extracts high quality pupil areas, locates the pupil center and is suitable for pupil image captured by head-mounted devices.

micro operation; pupil localization; symmetry; Hough transform

2016-02-17

国家自然科学基金资助项目(61373110)；武汉市科技攻关项目(2014010101010005)

TP242.2

10.3969/j.issn.1004-132X.2017.04.002

陈国良，男，1972年生。武汉理工大学机电工程学院副教授。主要研究方向为智能控制与机器人技术、计算机视觉、机电一体化。发表论文20余篇。马 辉，男，1990年生。武汉理工大学机电工程学院硕士研究生。张钏钏，女，1989年生。武汉理工大学机电工程学院硕士研究生。