基于眼电信号的人机交互系统研究进展

徐晓英，随力，赵彦富，李月如

上海理工大学医疗器械与食品学院，上海200093

前言

人机交互（Human-Computer Interaction,HCI）是借助电子计算机技术而发展起来的一门技术科学，同时也是人类与计算机之间相互交流与通信的一种方法。HCI的基本功能是依据可输入、输出的外部设备及配套设备和相应的软件来实现人类与计算机之间的交流、对话、交换信息。HCI的基本思想是通过HCI传来相关的命令和要求来完成有关设备的执行工作［1］。

自从HCI的概念被提出至今，HCI的理论和应用都得到了迅速而广泛的发展。HCI从最初的工程科学技术领域发展到生物医学、康复工程领域等多个领域。其中，基于生物电信号的HCI技术作为常规HCI技术的一种补充，应用于某些特殊的场景，在残疾群体与外界环境的交互、临床病人的检测与监护、特殊环境下的交流与通信、驾驶员的疲劳检测等方面都得到了有效的应用［2］。

眼睛是人体重要的器官，同时也是人与动物能够获取外界事物信息的最主要途径，而眼球的运动是眼睛在进行信息处理时必不可少的一个环节［3］。眼电信号（Electrooculogram,EOG）是一种通过电极记录下来、由眼球视网膜与角膜之间电势差形成的生物电信号。EOG 由眼球的运动引发，与大脑的思维活动密切相关，具有采集方便、容易识别、时域特征明显的优点。随着现代生活质量的提高、交通运输业的发展，由脑卒中、交通事故以及其他原因引起的肢体运动控制障碍患者越来越多，严重威胁人类的身体健康。为了使肢体运动控制障碍患者能够依靠自己的意念，独立地与外界进行信息交流，研究人员设计出一种不需依靠肢体就可以与外界进行信息交流的无障碍HCI系统，通过如头部姿势、眼球转动、脑电以及肌电等生物电信号来进行信息交流的HCI系统。相比于其他HCI系统，EOG 控制的HCI系统具有识别正确率高、模式相对简单、操作方便、基本不需要进行专门的信号采集训练的优点［4］。更重要的是在使用过程中，用户不需要对肢体进行活动，该系统依然适用于严重运动障碍患者，帮助他们重建交流和环境控制能力。因此，由EOG 控制的无障碍HCI系统能更好地服务于肢体运动控制障碍患者。本研究对EOG 控制的HCI系统的建立、发展和应用进行综述，并对未来的发展趋势进行展望。

1 基于EOG的HCI系统的建立与发展

基于EOG 的HCI系统的建立最早追溯到20 世纪60年代，Kris［5］最先提出利用眼电技术来跟踪人眼球运动状态的想法，但是在20 世纪90年代以后，关于眼电技术领域才得以广泛研究。1993年，美国波士顿大学计算机学院的Gips 等［6］研发出一款由EOG和头部姿势控制的HCI产品EagleEyes。为实现HCI，EagleEyes系统首先利用布置在人体头部的4个电极获取EOG，EOG 经过一系列的处理、放大，最终投放到显示器上，从而实现与用户之间的互动交流。在此基础上，Gips 等［7］于1996年开发出一系列的外围操作软件，使得有需求的用户能够独立地通过Internet来完成信息、邮件的收发等活动。2000年，西班牙巴利阿里大学团队对EOG 的HCI进行了进一步的研究，研发出一套软件和硬件设施，目的是通过人眼球移动来控制计算机，该系统通过对EOG 进行相应的函数计算，将人眼运动投影成屏幕上的一个位置坐标，使屏幕上的光标移动，通过眼球运动的形式与计算机进行通讯，从而达到对计算机进行操控的目的［8］。2008年，西班牙巴利阿里大学在先前的研究基础上，研发出一套由EOG 控制的HCI系统，该系统是通过测量生物电压值，然后通过计算将受试者眼球的移动投影成计算机屏幕上的一个光标，进而达到利用人眼来控制计算机的目的［9］。2010年，日本学者团队从EOG 的水平和垂直两个方向来对计算机鼠标进行控制，实现了识别眼球上、下、左、右方向运动的功能［10］。2012年，印度贾达普大学团队设计出一套基于单通道检测EOG 的HCI系统，利用眼球的水平移动来实时控制电动小车的前进和转向，进而达到利用人眼运动来控制电动轮椅的目的［11］。2015年，Ma 等［12］提出了一种基于EOG 和EEG 的人机界面，EOG 模式识别眼球运动、EEG 模式检测事件相关电位，眼球运动和事件相关电位相关补充，进而达到利用这两种方式来帮助运动障碍患者执行日常任务的目的。

相对国际上知名实验室在基于EOG 的HCI方面的研究，中国国内的发展起步较晚。2006年，施宁等［13］提出利用支持向量机来提取二维人眼位置信息的方法，并建立相应的模型；支持向量机是一种基于统计学习理论的机器学习模型，通常用来进行模式的识别、分类以及回归分析，采用结构风险最小化理论，泛化能力较强以及对噪声具有较强的鲁棒性。2009年，浙江求是高等研究院提出一种利用眼球运动和眨眼情况来进行外界信息交流的新型无障碍HCI系统，首次提出一种基于数学形态学的滤波方法，利用该算法对原始信号进行滤波操作，信号中的噪声干扰能够较好地被消除，并能够增强信号的信噪 比［14］。2012年，内蒙古大学设计了一套基于LabVIEW 的眼电监护系统，该系统通过双通道检测的EOG 可以识别出6 种眼球动作：眼球上、下、左、右、有意识眨眼以及无意识眨眼，并设计了相应的使用界面，设计出一套服务呼叫系统，为瘫痪病人带来了福音［15］。2013年，清华大学设计了一套使注视对象在屏幕上从中心往不同方向跳动的HCI系统，利用数学形态学和主成分分析相结合的方法来提取眼动方向，该方法能够较好地消除眨眼和肌电等噪声干扰［16］。2015年，南京航空航天大学提出一种水平方向EOG 的眨眼识别算法，该算法在抵抗前庭眼动反射噪声方面表现出了较好的优势［17］。

早期由于技术的限制，EOG的采集只能采用直接观察法。目前，对眼球运动进行探测主要有以下几种方法：搜索线圈法［18］、红外线眼动图法［19］、Purkinje影像追踪法［20］、基于计算机图形学的方法［21］以及EOG［22］。表1对近年来探测眼球运动的方法进行了相关的总结归纳。由于EOG技术对人体无创，而且不会影响人眼部正常的生理活动，测量到的EOG相对准确，相比于其他检测方法，EOG技术的优势明显。EOG技术是一种使用最普遍的眼球运动记录技术［23］。由于人眼转动的灵活性，当人眼转动的方向或是角度不同时，产生的EOG也会具有不同的特征。目前，在基于EOG的HCI系统中，眼球运动一般分为两类，即眼球扫视和眨眼，扫视运动指的是快速的或随意的眼球运动，当眼球从一个视标快速地移向另一个视标时，扫视运动就能把新的观察视标重新定位到视网膜中心凹上［24］。即使在同一方向上扫视的角度不同，相应的EOG幅值也会不同。眨眼运动是人眼球不自觉的运动，可将不同的眨眼次数作为不用的控制命令，例如二次眨眼、三次眨眼等。

表1 几种眼球运动探测方法的工作原理、特点、优缺点Tab.1 The principles,characteristics,advantages and disadvantages of the methods for detecting eye movements

2 基于EOG的HCI系统的应用

有关EOG 控制的HCI系统开始于对无障碍HCI的研究，用于与外界进行交流，尤其是残障人士无需依靠肢体就能与外界进行信息交流。有效地提取EOG 中蕴含的信息，进而开发出由EOG 控制的康复辅助装置，服务于肢体运动控制障碍患者，已成为生物医学、人机接口、康复工程等领域的热点研究方向。基于EOG 的HCI系统主要应用于以下几个方面：通过操控眼球的运动来设计鼠标控制系统［25-26］或控制虚拟键盘进行字符输入［27-28］；通过EOG 来控制电动轮椅的运动状态；控制机械手的操作［29］；控制家用电器的运行状态；在一些危险环境下代替人类进行操作作业以及在医疗上对重症病人的监护［30］。

1998年，Tecce 等［18］将眼电技术应用到认知领域。2001年，Di Mattia 等［31］经过对EagleEyes 系统进行持续的研究与完善，该系统在服务肢体运动障碍人士领域得到应用，并帮助残疾儿童完成了相关课程的学习。2002年，西班牙阿尔卡拉大学Barea等［32］研发出一款由EOG 来控制的电动轮椅，成功地利用了眼球运动的4个方向来控制电动轮椅的运动，该电动轮椅具有操作方便、无需专门的训练、灵敏度较高且提供多种控制量的优点。2004年，美国凯斯西储大学的Chen 等［33］提出基于EOG 的视控机器人系统的设计与实现，该机器人控制系统能够实现对用户EOG 的采集以及模式识别，从EOG 中提取出有效的特征信息，并将提取的特征信息转化成能够控制机械手的执行命令，进而实现对机械手的控制。但整个系统仅仅停留在对机械手的简单控制上，不能满足对机械手的手部姿势进行精准操作的要求，这项技术还有待于研究。2007年，意大利比萨大学医学部研发出了一种可靠性强、操作简单、低功耗的由眼电控制的HCI系统，以便于肢体运动控制障碍患者将其作为辅助通讯工具用于控制计算机［34］。该系统自动识别受试者眼球转动的上、下、左、右这4 个方向，使其控制光标在计算机屏幕上的移动，且在300 ms 以内眨眼两次表示确定键，为肢体运动控制障碍患者带来福音。基于EOG 的虚拟键盘打字系统，该系统是在屏幕上显示出一个虚拟键盘的界面，在该界面下，可以通过检测不同眼球运动轨迹的EOG 来判断眼球的运动方向，对应编码，从而选择虚拟键盘上的字母实现字符输入的功能，波士顿学院的Tecce团队设计了一套虚拟英文键盘打字系统、浙江大学求是高等研究员开发了基于EOG 的虚拟键盘打字系统以及我国台北的国立中央大学蔡章仁团队研发了一套智能输入系统，该系统以不同眼球运动轨迹的EOG 为辨析信号，转化成计算机能识别的指令，进而实现与外界的交流［35］。使用EOG 进行字符输入的系统的不足之处在于：用户输入一个英文单词或者是一个汉字时，需要多次控制眼球的运动，从而进行字符的选择。2009年，浙江求是高等研究院研发基于EOG 的重症病人监护系统［13］。我国台北国立中央大学余长宪等［36］进行了深入的研究，成功地将EOG 与机械手结合起来，实现EOG 控制机械手的功能。2011年，马来西亚学者Al-Haddad 等［37］把EOG 应用于控制轮椅的行进，该研究大大提高了眼球运动识别的精确度，EOG 水平角度的识别分辨率达到10°。2013年东北大学呼延洪［38］利用EOG 进行HCI系统的研究，分别在时域、频域进行信号的特征提取，并将提取的特征信息转化成能够控制机器人的执行命令，进而实现对服务型机器人的控制。同一年，上海交通大学蔡浩宇［39］使用独立成分分析的方法从前额EOG 中分离出独立的眼电分量，利用基于眼电的警觉度分析方法，设计估计警觉度的系统，目的是检测驾驶员在驾驶过程中的状况。2014年，杭州电子科技大学周婷婷［40］研发了一套基于有意眼动的电动轮椅控制系统。2015年，电子科技大学郜东瑞等［41］开发了一套基于EOG 的智能输入系统，使用者仅通过眨眼来控制虚拟键盘，进而实现对字符输入的功能。中国国内的七鑫易维公司曾推出一款眼控仪—aSee，该眼控仪的基本原理是：通过光学传感器捕获、提取眼球的特征信息，实时测量眼球位置的移动来控制设备，进而实现与外界进行交流的功能。2018年，电子科技大学汪润桂［42］设计了一套基于EOG 的智能蓝牙鼠标系统，主要是利用向上看、向下看、向左看、向右看以及连续两次眨眼等不同的眼部动作来控制蓝牙鼠标的操作，该系统给运动障碍患者带来了巨大的福音。2019年，Zhang等［43］提出了一种基于异步EOG 的智能家居环境控制人机界面，人机界面允许用户通过眨眼与智能家居环境进行交互，目的是为严重脊髓损伤患者提供日常辅助。

近年来，EOG 不断地应用于HCI领域，在人机界面下，可以通过检测不同眼球运动轨迹的EOG 来判断眼球的运动方向，并将EOG 中有用的特征信息转化成能够操作外部设备的控制指令，从而实现对外部设备进行控制的功能。EOG 可应用在不同的场景中，如利用EOG 控制的智能家居环境控制机器人、虚拟现实HCI系统以及残障人医疗辅助系统。基于EOG的研究和应用有了较大的进展。

3 基于EOG的HCI系统的局限性及发展趋势

3.1 局限性

在过去的几十年中，基于EOG 的HCI系统已取得了重要的进展，不仅可以有效改善肢体运动控制障碍患者的生活状况，而且对于构建和谐社会具有极为重要的意义。但该系统仍有一定的局限性：在实际操作方面，EOG 的测量需要较为昂贵的设备；影响EOG 采集的外界干扰较多，采集到的EOG 包含较多的伪差，EOG 的采集以及分析过程较为复杂；现有的EOG 技术大多研究水平方向上眼球的运动状态，垂直方向上的眼球运动状态极易受眼睑运动伪差的影响，所以研究较少［44］；从采集到的EOG中提取特征信息的精确问题还有待解决。因此，尽管关于EOG的研究已取得了较大的发展，但仍需进一步的探索和研究。

3.2 发展趋势

就目前的发展状况来看，基于EOG的HCI系统未来的发展趋势应侧重于以下几个方面。（1）提高基于EOG的HCI系统的集成化及智能化水平。具体包括提高EOG的抗干扰能力、优化EOG处理方法，使EOG的信号采集和数据分析更便捷和高效；最终目标是实现信号采集、特征提取以及识别智能化。（2）增加眼部动作模式。例如在扫视角度以及速度等方面对扫视模式进行更精准地分类；有效区分有意眨眼和无意眨眼，避免对HCI系统产生误控制的问题；相关眨眼动作模式可以使分类更加精细化，以便能转化更多相应的命令增加控制模式。（3）改善控制软件部分的编程方法，研发交互性能更加优越的系统，把基于生物电的HCI系统应用到娱乐、医学、教育、军事等领域。（4）在过去，眼电技术大多数在为残障人士服务。在追踪技术提高的情况下，将更多以普通人为目标用户。在保证HCI系统通用性的前提下，针对特定的用户和使用情境，系统应该满足用户个性化的需求。

总之，基于EOG 的HCI系统将朝着定量、精细、定位准确的方向发展，其应用的领域会更多，应用前景更广阔。