人机交互系统的实时人眼跟踪技术研究

马卫华

摘  要： 为了解决面向移动设备的眼动跟踪技术存在的计算效率低、跟踪误差大等问题，采用改进眼动跟踪技术的方法，开展人机交互系统的研究。主要内容包含系统总体架构、系统用户登录、系统功能实现等内容设计，并对系统功能实现展开分析。研究结果表明，系统各功能及界面实现均满足用户要求，可用于指导新手用户对重要信息的浏览，提升用户理解效率。

关键词： 人机交互; 人眼跟踪技术; 图像处理; 移动设备; 眼动数据; 标定

中图分类号： TN911.73?34; TP314.8                  文献标识码： A                 文章编号： 1004?373X（2019）13?0065?04

Research on real?time human eye tracking technology for

human?computer interaction system

MA Weihua

（College of Computer Science and Engineering， Cangzhou Normal University， Cangzhou 061001， China）

Abstract： Since the eye movement tracking technology oriented to mobile devices has the problems of low computational efficiency and large tracking error， the improved eye movement tracking technology is proposed to carry out the research of human?computer interaction system. The main contents include the design of system overall architecture， system user login and system function realization， in which the system function realization is analyzed. The research results show that all functions and interface realization of the system meet the user requirements， and the system can be used to guide the novice users to browse the important information and improve the user understanding efficiency.

Keywords： human?computer interaction; human eye tracking technology; image processing; mobile device; eye movement data; calibration

0  引  言

随着科学技术的迅速发展，各类智能设备逐渐融入广大民众生活的各个方面，它们的出现和应用能大幅度提高人们的工作及其学习效率。虽然智能移动设备为居民日常生活带来诸多便利，但也会出现一系列的问题。因此，如何高效率、安全应用智能移动设备成为重要的问题。

依托眼动跟踪技术设计的人机交互系统与传统交互方法相比较，展现出更直接、高效等优势，从而顺利实现所见即所得这一人机交互思想。在此基础上，借助移动设备运用眼动跟踪技术，采用视线注视点替代手工操作，全方面分析用户的视觉注意力，从而更便捷地完成人机交互。但智能移动设备下的眼动跟踪技术受到硬件配置的限制，例如：摄像头分辨率、内存等，还难以顺利实现精确的眼动跟踪，一般只是借助外部硬件设备支持，但这种情况又会加大成本。

因此，本文提出依托移动设备的眼动跟踪方法，并研发与之对应的人机交互系统，以期实现高效的眼动跟踪。

1  系统整体架构设计

本次研究中选取服务器?客户端建立应用原始系统，其网络拓扑结构如图1所示。该系统中主要包含两类设备：一类为服务器，其主要功能用于对用户账号、上传及下载数据进行保存;另一类则是客户端，用于计算、存储用户眼动数据并展现眼动数据可视化结果[1?2]。

所用智能移动设备大多都配置相应的前置摄像头，均采用本文所用方法实现眼动跟踪。采用客户端?服务器结构能顺利完成用户之间的眼动数据分享。在用户采用移动设备时，详细记录用户的眼动数据，随之完成眼动数据可视化结果分享，从而提升用户浏览、理解视觉信息的水平[3?4]。

系统的总体架构设计如图2所示。共划分为4个层次，其中，数据获取层依托智能移动设备的前置摄像头获得用户使用场景的具体步骤;核心计算层则是该系统视线眼动跟踪计算过程，包含人眼检测、特征值计算等;网络传输层旨在完成客户端和服务器之间的通信，客户端依托网络传输层完成登录、上传数据等操作;交互应用层则是详细记录、分析可视化用户浏览相关信息的眼动数据，最终通过眼动数据用于指导用户获得重要信息，提升交互信息传递水平[5?7]。

图1  移动设备眼动跟踪人际交互系统拓扑结构

图2  系统总体架构设计

2  系统功能及界面实现

本文的应用系统功能包含用户登录、眼动跟踪数据实现等部分。面向人际交互设计的眼动跟踪系统依托Java语言完成开發，开放工具主要为MyEclipse，Eclipse。其中，MyEclipse主要功能在于完成服务器开发工作;Eclipse旨在用来完成移动设备客户端开发工作;服务器依托tomcat 7.0实现搭建，并完成数据存储。

2.1  用户登录功能

为促使系统操作起来更方便、快捷，所设计的系统包含登录界面布局和验证服务器端设计两个方面的内容。设计登录页面时，要依据登录具体流程实施布局，主要由用户名、密码等控件组成，使用者输入自己的账号及密码后，进一步打开该类型用户的操作和权限功能[8]。登录模块操作流程如图3所示。

为确保所设计系统操作更方便，设计的系统登录界面对不同角色保留一些相似之处，只存在部分视觉方面的差异。用户输入自己的账号及密码后，系统会自动判定用户的身份类型，快速打开该类型用户的操作权限[9]。普通用户顺利进入系统后，其具有的功能包括查阅相关信息;管理者登录系统后，具有管理登录用户、公布相关信息等功能[10]。

图3  用户执行登录实现流程

2.2  系统功能实现

本次研究中利用标定实现移动设备的眼动跟踪，随之，挑选详细的功能，完成浏览后，用户方能有选择的将眼动数据传送至服务器，实现流程如图4所示。

图4  系统实现流程示意图

借助该系统获取的眼动数据均是大量抽象的坐标数据，如果直接把眼动数据展示给用户，一般情况下用户很难对其实施快速、直观的理解和分析。因此，必须针对眼动数据展开分析，并直观表示眼动数据特征，便于用户理解。

本次研究把专家用户的眼动数据可视化结果展示给用户，用来指导新手用户对重要信息完成浏览，提升用户的理解效率。

具体步骤如下：

1） 对数据实施过滤处理。在求解眼动注视点过程中，因用户头部姿势改变或环境突然发生变化、眼动跟踪系统自身有一定的误差，导致注视点计算结果也会发生误差。这种情况下，比对那些明显的错误数据实施过滤，本研究中对坐标位置超越用户浏览边界的数据进行删除。

2） 绘制热区图。热区图代表用户视线注意力累积分布状况，也是最直接的表达方法。本研究中依托求解单个像素的透明度改变情况，并将邻近像素间的影响考虑在内，顺利完成相应的热区图绘制操作，单个像素透明度求解公式如下：

假设包含[n]个有待绘制的注视点，热区图中单个像素完成[i]个注视点绘制后的透明度为[Ti（i=1，2，…，n）]，[D]表示这个像素点至注视点之间的距离，[S]表示灵敏度，本研究中设置[S]为50。用户注视比较多的区域更亮，而用户注视少的区域比较暗，其效果如图5所示。

图5  热区图和AOI标记结果

3） 在热区图对感兴趣的区域进行标记，代表该区域重复查看次数。这一步骤中，图片内的感兴趣区域已实现好划分，每一张图片内可以有多个感兴趣区域，包含多种内容区域。因用户有时需要对整个图片实施扫视，但这种行为并非用户观察某个细节的区域，因此，必须将那些短暂的视线停留数据排除在外。本次研究中连续设置4个以上的注视点落到同一个感兴趣区域内，认为用户正在查看这一区域。在用户进行视线切换时，视线会暂时离开感兴趣区域的起始位置，并进行转移，当用户每一次切换视线，会对终点感兴趣区域回看次数加1。完成所有感兴趣区域回看次数统计工作，根据回看次数自高至低依次为红、黄、绿三种标签。

4） 最终，对感兴趣区域间的视线转换图进行绘制，展现出不同感兴趣区域之间的转换关系。求解感兴趣区域回看次数时，本次研究中详细记录各种感兴趣区域间的转换次数，并绘制相应的视线转换图，展示各种感兴趣区域的关系，如图6所示。

图6  感兴趣区域间的视线转换关系效果

2.3  系统界面实现

本次研究所设计的面向人机交互的眼动跟踪系统，在云端创建相应的服务器，用来存储用户信息及相关的眼动数据。

系统客户端开启界面就是用户的登录界面，在这个界面中，如果用户并未注册账号，可通过鼠标点击注册按钮，顺利进入用户的注册界面，输入相应的用户名、密码，并根据自身身份完成注册。如果用户已有账号，可利用准确的账号和密码完成登录，顺利进入系统主界面，如图7所示。

图7  系统主界面示意图

在主界面内，依托“+”“-”按钮恰当调节人眼区域二值化阈值，点击“二值图”在屏幕右侧展现人眼区域二值图，如图8所示。

在合理调节阈值后，通过点击“标定”按钮，对前置摄像头所捕捉的图像实施最小化处理，并对其完成标定处理。标定顺利完成后，点击屏幕中的任意一个位置就能返回至系统主界面，通过点击浏览按钮对图片进行浏览操作。

图8  二值图显示效果

3  结  语

眼动跟踪技术主要用来分析、记录用户注视点坐标，并在心理学、人机交互等方面得到广泛的使用。本次研究中面向人机交互设计眼动跟踪系统，在概述系统设计架构的基础上，对其用户登录、系统功能实现等展开设计，为类似研究提供一定的参考。

参考文献

[1] 程时伟，孙志强，陆煜华，等.面向多设备交互的眼动跟踪方法[J].计算机辅助设计与图形学学报，2016，28（7）：1094?1104.

CHENG Shiwei， SUN Zhiqiang， LU Yuhua， et al. Eye tracking method for multi?device interaction [J]. Journal of computer?aided design and graphics， 2016， 28（7）： 1094?1104.

[2] 程时伟，蔡红刚，曹斌，等.基于群智感知服务的眼动数据众包计算[J].计算机集成制造系统，2017，23（5）：1103?1112.

CHENG Shiwei， CAI Honggang， CAO Bin， et al. Crowdsour?cing of eye movement data based on group intelligence perception service [J]. Computer integrated manufacturing systems， 2017， 23（5）： 1103?1112.

[3] 杨庆华，张达磊，荀一，等.面向人机交互的眼动跟踪方法研究[J].机电工程，2016，33（7）：904?908.

YANG Qinghua， ZHANG Dalei， XUN Yi， et al. Research on eye tracking method for human?computer interaction [J]. Journal of mechanical & electrical engineering， 2016， 33（7）： 904?908.

[4] 程时伟，孙煜杰.面向阅读教学的眼动数据可视化批注方法[J].浙江工業大学学报，2017，45（6）：610?614.

CHENG Shiwei， SUN Yujie. Visual annotation method of eye movement data for reading teaching [J]. Journal of Zhejiang University of Technology， 2017， 45（6）： 610?614.

[5] 王佳雯，管业鹏.基于人眼注视非穿戴自然人机交互[J].电子器件，2016，39（2）：253?257.

WANG Jiawen， GUAN Yepeng. Based on human eye gaze non?wearable natural human?computer interaction [J]. Electronic devices， 2016， 39（2）： 253?257.

[6] 潘世豪，赵新灿，王雅萍，等.人体自由运动状态下的视线追踪算法研究[J].计算机应用研究，2017，34（3）：911?914.

PAN Shihao， ZHAO Xincan， WANG Yaping， et al. Research on eye tracking algorithm under human free movement [J]. Application research of computers， 2017， 34（3）： 911?914.

[7] 张远辉，李颜，李孝禄，等.基于双眼同步运动特征约束的Kalman瞳孔跟踪算法[J].传感技术学报，2018，31（1）：78?83.

ZHANG Yuanhui， LI Yan， LI Xiaolu， et al. Kalman pupil tracking algorithm based on binocular synchronous motion constraint [J]. Chinese journal of sensors and actuators， 2018， 31（1）： 78?83.

[8] 郭政业，胡雯蔷，朱李瑾，等.基于眼球重建异面直线模型的双目视线跟踪算法[J].计算机应用研究，2016，33（4）：1249?1252.

GUO Zhengye， HU Wenqiang， ZHU Lijin， et al. Binocular line?of?sight tracking algorithm based on eyeball reconstruction heteroplanar linear model [J]. Application research of computers， 2016， 33（4）： 1249?1252.

[9] 张琴.基于瞳孔定位技术的视觉跟踪系统的研究[J].微型机与应用，2016，35（4）：54?56.

ZHANG Qin. Research on visual tracking system based on pupil location technology [J]. Microcomputer and its applications， 2016， 35（4）： 54?56.

[10] 邹云海，关蒲骏，杨波，等.基于FPGA与投影算法的快速眼动跟踪系统实现[J].四川大学学报（工程科学版），2016，48（3）：100?106.

ZOU Yunhai， GUAN Pujun， YANG Bo， et al. Implementation of fast eye movement tracking system based on FPGA and projection algorithm [J]. Journal of Sichuan University （Engineering science edition）， 2016， 48（3）： 100?106.