基于瞳孔-角膜反射技术的视线估计方法

刘　冬　蔡　超

(华中科技大学自动化学院多谱信息处理技术国家级重点实验室　武汉　430074)



基于瞳孔-角膜反射技术的视线估计方法

刘冬蔡超

(华中科技大学自动化学院多谱信息处理技术国家级重点实验室武汉430074)

摘要近年来,以图像处理为基础,结合瞳孔-角膜反射技术的视线估计方法成为视线追踪研究的主要发展方向。现有的视线追踪系统有两个主要问题: 1) 视线追踪精度不高; 2) 操作不够方便,很多视线追踪系统严格限制了观测者的头部运动,给使用者带来了不便。通过对眼球模型和光学反射过程的分析,详细介绍了两种允许自由头动的视线估计方法。

关键词眼球模型; 瞳孔-角膜反射技术; 视线估计

Eye Gaze Estimation Method Based on Pupil Center CorneaReflection Technique

LIU DongCAI Chao

(National Key Laboratory of Science and Technology on Multi-spectral Information Processing,

School of Automation, Huazhong University of Science and Technology, Wuhan430074)

AbstractThe technique of eye gaze tracking, based on image processing and pupil center and cornea reflection technique(PCCR), has made considerable headway in recent years. However, there are still two main problems preventing the use of eye gaze tracking in actual applications. 1) Low tracking accuracy; 2) Most system have low tolerance for head movement and require the users to hold their heads unnaturally still. In this paper, by exploiting the eye anatomy, two solutions are proposed to allow natural head movement.

Key Wordsthe eyeball model, pupil center and cornea reflection, gaze estimation

Class NumberTP391

1引言

视线追踪不仅有着重要的科研价值,而且在人机交互设备[1]、体育运动研究[2]和网站可用性研究[3]等商业领域的应用前景也十分广阔。瞳孔-角膜反射技术通过图像分析计算角膜中心与瞳孔中心的位置信息,再结合眼睛光学模型可以较为精确地计算出观测者视线方向。由于这种方法具有对人干扰小,视线估计方法简单易于实现的特点,使其成为视线追踪研究的主要方法。按照对于观测者头部的限制可以分为利用2D向量的函数映射法和利用3D信息的空间向量法。其中,基于2D向量的函数映射法不考虑观测者头部的空间位置信息,当观测者头部位置发生变化时,追踪精度急剧下降。基于3D信息的空间向量法,通过图像特征配合眼球模型计算出人眼视线方向的3D信息进行视线追踪,这种实时获取人眼视线3D信息的方法可以摆脱系统对于观测者头部运动的限制。

C.H.Morimoto等人在文献[4]中采用了基于2D向量的函数映射法。这种2D视线追踪系统可以分为提取瞳孔-耀点向量和获取关注点映射函数两个主要部分。这种方法对于头部运动的高敏感性是阻碍其广泛应用的重要原因。Elias Daniel Guestrin等人在文献[5]中给出了基于3D信息的空间向量法的视线追踪系统中,相机和光源数量对系统造成影响的理论分析。Sheng-Wen Shih等人在文献[6]中对视线追踪系统中相机和光源位置关系进行了分析。Craig Hennessey等人在文献[7]中实现了一种基于单相机双光源的视线追踪系统。其主要思路是,利用一系列的几何三角关系和光学定律,将问题转化为一个复杂的非线性方程,最终通过迭代方法获得角膜中心三维坐标的数值解。

本文针对现有眼动追踪系统对于头动的敏感性,对基于瞳孔-角膜反射技术的视线估计方法进行了详细分析,分别介绍了单相机和双相机的视线估计方法。

2眼球模型

人类眼睛是一个复杂的天然光学仪器,是由多个界面组成的共轴光学系统。在眼动和视线追踪研究中,通常对人眼进行简化和近似处理。本文采用的眼球简化模型为Emsley简略眼[8],其模型如图1所示。

图1　Emsley简略眼

图1中各个符号含义如下:Ocornea为角膜中心;Oeyeball为眼球转动中心;r为角膜半径;rd为瞳孔中心和角膜中心的距离;n为眼球内容物折射率。Emsley简略眼将复杂的人眼简化为仅有一个折射界面而又保持其基本光学性质的光学结构。那么,通过眼球对称轴光轴来估计视线方向,关键在于确定人眼光轴上角膜中心和瞳孔中心的三维坐标。

3单相机视线估计方法

瞳孔-角膜反射技术中,相机与光源是必须的两个硬件。根据其数量和位置关系的不同,需要采用的视线估计方法也不同。Emsley简略眼中角膜被简化为球面。近红外点光源发出的光线在人眼角膜表面发生反射,并在相机图像平面形成耀点,如图2所示。

如图2所示,O为相机光心;Q为LED点光源;C为角膜中心;L为光心到点光源的距离;r为角膜半径;P为角膜表面光线反射点;Pimg为第一普金野像[9]。建立如上图所示的三维坐标系O-XYZ和二维辅助坐标系XOZ′。其中相机光心O为原点,X轴为光心和点光源连线方向,Z轴为相机光轴,Y轴垂直XOY平面向上。在OPQ平面内垂直X轴向上方向为轴。XYZ平面与XOZ′平面夹角为θ。

图2　近红外光线反射示意图

由凸球面镜反射定律可知:光源Q、光心O、球心C、反射点P、像点Pimg五点共面;且CM为∠OPQ的角平分线。在二维辅助坐标系XOZ′内,有以下三角关系式:

(1)

(2)

根据上述三角关系,在辅助平面XOZ′内,角膜中心坐标表达式为

(3)

将二维辅助坐标系XOZ′绕X轴旋转θ后与XOZ平面重合。那么在已知第一普金野像点Pimg的图像坐标、距离L和角膜半径r的前提下,利用几何关系可以得到角膜中心三维坐标表达式:

(4)

将式(1)、式(2)带入式(4),分析上述方程可知角膜中心三维坐标无法通过单相机和单光源来确定。同时,上述方程还可以看作是经过角膜中心C,以xP为参数的空间曲线参数方程。那么,如果利用一个相机和至少两个光源,就可以确定角膜中心即空间曲线交点的三维坐标。在获取角膜中心三维坐标后,可以利用简略眼中瞳孔和角膜中心的距离参数求得瞳孔中心三维坐标,最后得到光轴直线方程估计视线方向。

通过上述非线性分析过程,可以得出以下结论:在已知眼球模型参数的情况下,单相机配合双光源是求取角膜中心的最小系统,也是实现视线追踪的最小系统。

利用在凸球面反射过程中,光源Q、光心O、球心C、反射点P、像点五点共面的信息,我们可以得到以下关系式:

s·kc=0

(5)

(6)

通过以上线性分析过程,可以得出以下结论:如果相机光心与多个光源位置不共线,那么可以通过方程组(6)得到经过相机光心和眼睛角膜中心的直线方程。

4双相机视线估计方法

4.1重建角膜中心

近红外点光源发出的光线在角膜表面发生反射,在相机图像平面形成的耀点实际上是光源的像[10],且光源的像在角膜内部,位于光源与球心的连线上,如图3所示。

图中各个符号代表含义如下:L为放置于眼睛前方的点光源;L′为角膜内部,光源的虚像点;F为凸球面镜(角膜)的焦距;Ocornea为角膜中心。

在凸球面镜反射中,只要点光源与球面位置固定,像点在球面中的位置也是固定的。如果在不同位置放置两台相机,两台相机都会观测到同一个光源的像点,并在各自图像平面上形成耀点,如图4所示。因此,可以通过双目立体视觉重建的方法,对角膜内部的同一光源像点进行三维重建[11]。

图3　点光源、像点和角膜关系示意图

图4　点光源像点与图像平面耀点关系示意图

利用双目视觉重建光源像点三维坐标后,可以利用球面镜反射的像物方程进一步获取角膜中心三维坐标。

4.2重建瞳孔中心

由于眼球内容物与空气折射率不同,所以瞳孔发出的光线会在角膜表面发生折射。通过对光源像点位置的分析,对瞳孔像的位置也有同样结论:瞳孔的像的位置与观测者位置无关。而且,瞳孔像的位置也位于人眼光轴上,如图5所示。

图5　瞳孔、瞳孔像和角膜中心位置关系示意图

图中各个符号代表的含义如下:P为真实瞳孔中心;P′为瞳孔像中心;Ocornea为角膜中心。求取瞳孔中心的主要目的是确定人眼的光轴方向,那么,可以利用瞳孔像的中心代替真实瞳孔中心来确定人眼光轴方向。同样可以采用双目立体视觉重建的方法重建得到瞳孔像点中心的空间三维信息。所以,采用双相机单光源的视线追踪系统可以利用立体视觉重建的方法获取眼睛光轴进行视线估计。

5实验与分析

以下为单相机视线追踪系统在视觉注意实验中的应用,背景为机场遥感图像,观测者在整幅图中搜索机场区域位置。实验结果如图6所示,图中浅色区域为人眼关注区域,区域大小与关注时长有关,区域半径越大,关注时间越长,反之,关注时间越短。

图6　人眼关注区域示意图

从视觉注意实验中,可以看出视线追踪的精度满足实验需求,可以有效地反映真实人眼关注区域。这种非接触式的视线追踪方式,对人无干扰,允许观测者头部在一定范围内运动,使得实验过程更加自然。

6结语

针对瞳孔角膜反射技术中存在的主要问题:限制观测者的头部运动。分别介绍了单相机与双相机视线追踪系统的视线估计方法,通过实时地获取人眼光轴方向进行视线估计,允许一定范围内的头部运动,提高了视线追踪系统使用方便性。并在视觉注意试验中得到了验证。在未来的研究中,更加精确的人眼视线方向的建立是一项重要工作。自然光照条件下的精确视线追踪也是今后研究的方向之一。

参 考 文 献

[1] 邓铸.眼动心理学的理论,技术及应用研究[J].南京师大学报,2005,1(1):91-95.

DENG Zhu. Theories, Techniques and Applied Researches About Eye-movement Psychology[J]. Journal of Nanjing Normal University,2005,1(1):91-95.

[2] 李京诚,徐守森,张森.体育运动心理领域的眼动研究综述[J].首都体育学院学报,2006,18(3):3-5.

LI Jingcheng, XU Shousen, ZHANG Sen. A Review of Eye Moving Researches in Sports Psychology[J]. Journal of Capital University of Physical Education and Sports,2006,18(3):3-5.

[3] 燕保珠.眼动研究在网站可用性测试中的应用[D].北京:北京邮电大学,2011:8-17.

YAN Baozhu. The Methods of Eye Movement Research on Web Usability Test[D]. Beijing: Beijing University of Posts and Telecommunications,2011:8-17.

[4] Morimoto Carlos H., Mimica Marcio R. M. Eye gaze tracking techniques for interactive Applications[J]. Computer Vision and Image Understanding,2005,98(1):4-24.

[5] Elias Daniel Guestrin Moshe Eizenman. General Theory of Remote Gaze Estimation Usingthe Pupil Center and Corneal Reflections[J]. IEEE Transactions on Biomedical Engineering,2006,53(6):1124-1132.

[6] Sheng-Wen Shih. A Novel Approach to 3D Gaze Tracking Using Stereo Cameras[J]. IEEE Transactions on Systems, Man, and Cybernetics Part B: Cybernetics,2004,54(12):234-245.

[7] Hennessey C. A Single Camera Eye-Gaze Tracking System with Free Head Motion[C]//Proceedings of Etra Eye Tracking Research & Applications Symposium,2006:87-94.

[8] Almeida M S D, Carvalho L A. Different schematic eyes and their accuracy to the in vivo eye: a quantitative comparison study[J]. Brazilian Journal of Physics,2007,37:378-387.

[9] 吕帆,瞿佳.眼球光学[J].眼视光学杂志,2001,3(3):184-185.

LV Fan, QU Jia. Ophthalmology and optometry[C]//Chinese Journal of Optometry and Ophthalmology,2001,3(3):184-185.

[10] 李晓彤,岑兆丰.几何光学·像差·光学设计[M].杭州:浙江大学出版社,2014:12-30.

LI Xiaotong, CEN Zhaofeng. Geometrical Optics, Aberrations and Optical Design[M]. Zhangzhou: Zhejiang University Press,2014:12-30.

[11] 于任琪,刘瑞祯.学习OpenCV[M].北京:清华大学出版社,2009:451-455.

YU Renqi, LIU Ruizhen. Learning OpenCV[M]. Beijing: Tsinghua University Press,2009:451-455.

中图分类号TP391

DOI:10.3969/j.issn.1672-9722.2016.01.036

作者简介:刘冬,男,硕士研究生,研究方向:模式识别与人工智能。蔡超,男,副教授,研究方向:目标识别、视觉认知、模式识别与人工智能。

收稿日期:2015年7月16日,修回日期:2015年8月22日