穿戴式视线追踪系统研究

曹　晔

(岐山县职业技术教育中心　岐山　722400)

穿戴式视线追踪系统研究

曹晔

(岐山县职业技术教育中心岐山722400)

摘要为了克服头动对于视线追踪效果的影响,论文提出了一种穿戴式的视线追踪系统。穿戴式的优势在于摄像机与人眼的距离始终保持相对不变。要实现精度高、实时性好的视线追踪系统,系统首先是对头部运动进行检测,然后对眼部进行特征提取。这里使用亮瞳孔技术,瞳孔-角膜反射的原理,应用特制的红外线摄像头捕捉眼球的运动,分析眼球运动轨迹和注视时间。最后,通过头部运动参数联合视线追踪数据,得到准确的视线定位。

关键词视线追踪; 模式识别; 穿戴式; 头动参数

Class NumberTP391

1引言

眼动分析[1]是当前用视线进行人机交互[2]的一个重要研究领域,通过视线跟踪及控制[3]能够提高人与计算机或相关系统的信息交流速度。而眼睛的运动通常受头部运动的影响,头部运动会带动眼部运动。人观察外界对象时,眼睛经常在运动着,两个眼球的运动非常协调,它们总是向同一方向转动,而眼球运转的范围有一定的限制,超过某个角度时就需要头部运动的帮助,以扩大人的视野范围。人体头动和眼动信号中蕴含了丰富的环境运动信息和人体生理信息,头部运动联合视线追踪信息检测分析技术在医学研究中有着广泛应用价值。通过对头动信息分析,可以了解人体所受运动刺激和运动环境参数情况,通过眼动信息分析可了解视眼动功能、前庭功能、进行神经精神分析等。目前常见的视线追踪方法是对人体头动和眼动分别进行检测,实际上,二者之间具有内在的密切关系,从功能方面讲,由于眼动范围有限,常需要头动补偿,二者之间具有紧密耦合;从生理功能方面讲,出于固视需要,头动会引起反射性眼动。因此同步检测分析二者之间的关系并实现精度自由度更高的视线追踪系统具有重要的意义和应用价值。

2系统设计方法

本文研究的是穿戴式[4]视线追踪系统。本项目研究内容是环环相扣的,对于整个视线追踪系统,头部对视线追踪起辅助作用,从而得到更精准的视线方向的定位。系统首先是对头部运动检测,眼部特征提取;然后,通过头部运动联合视线追踪技术,将头部运动数据结合视线追踪的数据,以此得到准确的视线定位。

2.1穿戴式视线追踪系统的组成研究

穿戴式视线追踪系统包含眼球运动、头部运动和它们的相互作用,因此头部、眼部的运动规律及其关联是研究的重点[5]。图1从层次消息总线的角度,使用逻辑视图来描述基于前庭功能的穿戴式视线追踪系统。

2.2穿戴式视线追踪系统的实现方案

穿戴式[6]视线追踪系统所要解决的技术问题在于提供一种能够同时采集人体的头动数据和对应的眼动数据,将头动数据与眼动数据结合[7]起来进行综合分析,能够更加准确地得到精确的视线信息。它的特点是对头动的适应性强,灵活性比较好。

图1　头部运动联合视线追踪系统逻辑视图

2.2.1头部运动检测方案

这里拟使用捷联惯性导航系统,通过陀螺仪和加速度计获得受试者的原始姿态及加速度。但由于捷联惯性导航系统的安装位置以及受试者测试处的姿态不确定,故必须经过定标获得受试者初始姿态后才能获得其准确的实时姿态。基于近红外视频的三维头部姿态位置估计方法相对于捷联惯性导航系统,受试者头部无需额外负荷,依靠选定的特征点即可获得准确的受试者位置及姿态信息,受试者在此基础上只需在头盔设备另添加特征标记点即可获得准确的受试者位置及姿态信息。

受试者头盔上一般安装四个定距标记点,标记点的材料在近红外下有特殊的光学特征以便于计算机系统识别。通过摄像机拍摄到的四个标记点的位置关系与其安装定距之间的差异,可以计算出头盔相对于摄像机的空间位置与姿态。

这里头部姿态状态估计的方法拟用的是基于Levenberg—Marquardt方法(简写为L-M)的迭代容积卡尔曼滤波算法(ICKFLM)[8]。该算法将容积卡尔曼滤波算法(CKF)的量测更新过程转换为求解非线性最小二乘解问题,以状态预测和方差预测为初始值,使用L-M方法求解最优的状态和方差估计。这里卡尔曼滤波是建立在线性代数和隐马尔可夫(Hidden Markov)模型上。其基本动态系统可以用一个马尔可夫链表示。在随机过程中各个状态St的概率分布,只与它的前一个St-1有关,符合这个假设的随机过程则称为马尔可夫链。隐马尔可夫模型是马尔可夫链的一个扩展:任一时刻t的状态St是不可见的。隐马尔可夫模型在每个时刻t会输出一个符号Ot,而且Ot仅跟St相关。对于隐马尔可夫模型,这里拟用一个训练算法(鲍姆-韦尔奇算法)和使用时的解码算法(维特比算法)来使用隐马尔可夫模型。

2.2.2眼部检测及视线特征提取方案

对于视线特征提取,这里拟使用亮瞳孔技术,瞳孔-角膜反射的原理[9],应用特制的红外线摄像头捕捉眼球的运动(注视点坐标,注视点数目,瞳孔频率和时间),分析眼球运动轨迹和注视时间。为了获得稳定的、高精度的视线参数,采用窄视野摄像机的视线追踪系统进行视线参数的检测。对得到的眼睛图像,经过二值图像处理,得到瞳孔区域和普尔钦斑;最后用最小二乘非迭代椭圆拟合算法得到瞳孔中心,求质心来定位普尔钦斑中心;最终,由瞳孔中心跟普尔钦斑中心得到视线特征矢量。在瞳孔的跟踪阶段,这里采用基于L-M的迭代容积卡尔曼滤波算法(ICKFLM)跟踪瞳孔[10];对分割的瞳孔参数采用卡尔曼滤波进行估计,以获得更加准确的鲁棒性好的瞳孔数据。

2.2.3头动数据结合视线数据同步控制方案

假设初始状态时,已知物体的方位、转动轴,就可用初始的参数来得到一组初始的正弦余弦值,然后由外界的直线加速度和转动加速度,根据上面的方程来得到直线运动的响应速度和转动的响应角速度,用初始的四元数和转动的角速度,可以得到一组随时间变化的正弦余弦值,然后将随时间变化的旋转角度的正余弦值,代入三维变换变换矩阵,最后就可以得到任意时刻的三坐标的值。经过模型的仿真与眼球运动的实测数据对比,发现头部转动与眼球运动存在一个大致的线性关系,因此可以用当前时刻的三坐标值来判断眼球的运动。

对于整体的数据处理,拟先读取加速度和初始参数,再将读取的加速度带入到头部转动模型和直线运动模型,得出具体的旋转角度和直线的三坐标运动量,将旋转角速度和三坐标位移值带入到旋转矩阵,进行旋转变化,最终得到当前时刻的三坐标值,然后读入下一加速度,利用当前时刻的三坐标值和下一时刻的加速度来计算下一时刻的旋转轴,从整体思想上面看,最重要的就是随时间变化的正弦余弦值。

关于旋转变化工具,对于旋转矩阵、欧拉角、四元数三个。对它们的优缺点拟做详细的分析,用到一个三维旋转变化矩阵;人在惯性参考系中作运动,同时头部对于人体做相对旋转运动,人体在惯性参考中做变速直线运动。对于直线变速运动,三个方向的位移,只需要把输入的加速度转变为三个方向分别的加速度。

这里要采用头部转动半规管模型的简化形式,是对单一时刻加速度的响应,而对于实际情况,加速度可能只有在开始时刻有一个,也有可能在一段时间内呈现不断变化的值。实际中,比如头部转动,只需要计算一个很短的时间段,而且人体的头部的转动不可能超过90°。而模型是没有考虑这点的,只要加速度存在,就可以不断的转动,所以在进行试验时只要选取一段时间就可以了。

所以计划在进行仿真时,为了简单明了起见,不计算直线运动的三个位移,将初始坐标设为x=1,y=0,z=1,坐标轴设为P(x,y,z)=(0,0,1)。

然后在得到旋转变化所需的正弦余弦值之后,再将它们带入旋转变化矩阵并利用式(1)对原坐标进行旋转变化。

(1)

最后拟得到表示当前时刻的三坐标值,通过这个三坐标值来判断当前的眼球运动。

3结语

本文通过头部运动数据补偿视线追踪数据,以此得到准确的视线定位,很好地克服了自然头动下视线落点精度计算问题。为了使头眼运动很好地协调工作,本文提出了一种穿戴式的视线追踪系统,系统首先是对头部运动检测,这里头部姿态状态估计的方法用的是基于L-M的迭代容积卡尔曼滤波算法。然后对眼部进行特征提取,这里使用亮瞳孔技术、瞳孔-角膜反射的原理,应用特制的红外线摄像头捕捉眼球的运动,分析眼球运动轨迹和注视时间。最后,通过头部运动参数结合视线追踪数据,得到准确的视线定位。这里将头动数据与眼动数据结合起来进行综合分析,能够更加准确地得到精确的视线信息,它的特点是对头动的适应性强,灵活性比较好。

参 考 文 献

[1] Andrew T. Duchowski. Eye Tracking Methodology: Theory and Practice[M]. Second Editon. London: Springer,2007:51-58.

[2] Tamara van Gog. Eye tracking as a tool to study and enhance multimedia learning[J]. Learning and Instruction,2010,20(2):95-99.

[3] Ohno T, Mukawa N, Yoshikawa A. FreeGaze: A gaze tracking system for everyday gaze interaction[J]. Proc of Eye Tracking Research and Applications Symposium,2002:125-132.

[4] 郭一超.基于眼动追踪技术的区域显著性评估方法研究[D].北京:北京交通大学,2014:15-16.

GUO Yichao. Research on Method of Significant Regional Assessments Based on Eye Tracking Technology[D]. Beijing: Beijing Jiaotong University,2014:15-16.

[5] 屠大维,赵其杰,尹海荣.自动适应用户头部位置变化的眼睛盯视输入系统[J].仪器仪表学报,2004,25(6):828-831.

TU Dawei, ZHAO Qijie, YIN Hairong. Automatically Adapt to the User’s Head Position Changes of Eye Gaze Input System[J]. Instrument Sinica,2004,25(6):828-831.

[6] 沈模卫,张光强.视网膜与阅读:眼动控制的理想观察者模型[J].华东师范大学学报(教育科学版),2000,18(4):59-65.

SHEN Mowei, ZHANG Guangqiang. Retina and Read: Ideal Observer Model of Eye Movement Control[J]. East China Normal University(Education Science Edition),2000,18(4):59-65.

[7] Wang Changyuan, Zhang Jing, Chen YuLong. Analyzing Head and Eye Movement System with CORBA[J]. TELKOMNIKA Indonesian Journal of Electrical Engineering,2013,11(11):6618-6623.

[8] 穆静,蔡远利,王长元.基于L-M方法的迭代容积卡尔曼滤波算法及其应用[J].西安工业大学学报,2013,33(1):35-36.

MU Jing, CAI Yuanli, WANG Changyuan. IterativeVolume Kalman Filter Algorithm Based on L-M Method and Its Application[J]. Xi’an Technological University,2013,33(1):35-36.

[9] 王长元,张景,李京京.瞳孔中心快速定位方法研究[J].计算机工程与应用,2011,47(24):196-198.

WANG Changyuan, ZHANG Jing, LI Jingjing. Research on Quick Locate Method of Pupil Center[J]. Computer Engineering and Applications,2011,47(24):196-198.

[10] 郝群,刘伟华,李博.基于图像处理的人眼注视方向检测研究[J].光电技术,2004,30(5):547-548.

HAO Qun, LIU Weihua, LI Bo. Research on Human Eye Gaze Direction Detection Based onThe Image Processing[J]. Optoelectronic Technology,2004,30(5):547-548.

Wearable Eye Tracking System

CAO Ye

(Qishan County Vocational and Technical Education Center, Qishan722400)

AbstractIn order to overcome the effects of head movement to track the impact of the line of sight, this paper proposes a wearable eye tracking system. The advantage of the wearable is the distance between the camera and the human eye remaining relatively unchanged. To achieve high accuracy, good real-time eye tracking system, the system detects head movement firstly, then extracts features of eyes. Bright pupil technology, pupil — corneal reflex principle are used, a special infrared camera is applied to capture eye movements, trajectory and fixation time are analyzed. Finally, by the head movement parameter joint eye tracking data, accurate position of sight is got.

Key Wordseye tracking, pattern recognition, the wearable, head movement parameters

收稿日期:2015年12月6日,修回日期:2016年1月22日

作者简介:曹晔,男,硕士研究生,研究方向:视线追踪。

中图分类号TP391

DOI:10.3969/j.issn.1672-9722.2016.06.021