基于眼电的智能输入系统研究

郜东瑞 甘玉龙 李鹏霄 谢佳欣 尧德中 刘铁军

(电子科技大学生命科学与技术学院，成都 610054)



基于眼电的智能输入系统研究

郜东瑞 甘玉龙 李鹏霄 谢佳欣 尧德中 刘铁军#*

(电子科技大学生命科学与技术学院，成都 610054)

为了帮助肢体运动功能障碍患者与外界交流，设计一套基于眨眼眼电的便携式智能输入系统，使用者仅通过眨眼便能控制人机交互界面上的虚拟键盘进行字符输入。该系统中的信号采集模块先对眼电信号经行预处理，然后将其转换为数字信号传输至微处理。微处理首先通过数字形态学方法滤除信号中的尖峰噪声，然后通过动态阈值和归一化、微分算法识别主动眨眼信号，并完成对虚拟键盘的控制，实现中文、英文或数字的输入。选择12名受试者分别在常规实验室、电磁干扰较大的磁共振设备室和户外的运动场进行测试。结果表明，该系统在上述3个不同的环境中能够准确识别眨眼信号并实现中文、英文及数字的输入，而且输入字符的平均准确率不低于98%，中文、英文字符和数字的平均输入速度分别为(2.8±0.3)、(6.6±0.35)、(9.7±0.38)个/min。因此，该系统的抗干扰能力较强，能够帮助肢体运动功能障碍患者实现与外界交流。

眼电图；人机交互；嵌入式系统；图形化用户界面

引言

一些肢体运动功能障碍患者与外界交流的能力基本丧失，他们不能正常使用传统的人机交互(human-computer interaction, HCI)设备(如键盘、鼠标等)与外界交流。目前，国内外已有大量关于无障碍人机交互技术的研究，也提出了一系列的无障碍人机交互的解决方案[1-2]。比较有应用前景的方案有：基于肌电的控制系统、基于脑电的脑机接口(brain-computer interface, BCI)控制系统和基于眼动的控制系统等。但对于肢体障碍患者(如“渐冻症”病人)来讲，眼动控制设备最容易被接受，因为随着此类病人的病情加重，他们的多数运动功能都将失去控制，只有眼部运动功能是最后丧失的。人们对基于眼动的交互系统的研究始于100多年前[3]，这种交互技术的关键是对眼动的记录，并将其解析成具体的指令，以达到交互的目的。目前眼球运动的探测方法主要有：磁搜索线圈技术[4]、眼电图技术、红外眼动图法[5]、视频记录法[6]。

磁搜索线圈法具有高的空间和时间分辨率的特点，一度被奉为记录眼动的黄金标准，但其具有一定的侵入性，需要将微型线圈放置到眼中，使用者会感觉不舒服[7]。

红外眼动图法使用了红外光源，是当前比较流行的一种测量技术。该方法通过摄像头拍摄使用者眼部正面图像，然后通过计算机图形学方法对图像进行处理，并得到瞳孔注视点[8]。红外眼动图法的优点是非接触式，无需佩戴任何仪器就能获取眼动信号，其缺点是易受可见光影响，需要复杂的图形处理技术，处理时间长，并且价格昂贵。

视频记录法不具有任何侵入性，前期准备时间大大减少，对正常的眼动实验来说没有任何障碍，因此也成为了磁搜索技术的替代方法，并得到广泛的应用。但它的空间和时间分辨率偏低，并且很难在晚上对眼动进行准确记录。

在眼动控制的几种方法中，眼电图技术具有成本低、便于操作等优势，因此受到人们的广泛关注，该技术在国内也已经取得了一些成就[1,6,9]。但这些方法大多是通过光学成像记录眼球运动轨迹的方法实现对外部设备的控制，此类方法所开发的相关设备也存在一些问题：一是它们容易受到外界环境的干扰(如可见光过强或过弱都会影响设备的信号识别率)；二是此类设备需要使用者注意力高度集中才能准确识别眼球运动信号，它很容易使使用者产生疲劳；三是该类设备的成本相对较高(一般高达上万、甚至几十万元)，中国大部分患者家庭很难负担的起此类费用；四是此类设备开发相对复杂，多数功能需要在PC机上实现，不便于携带。本文作者通过调查发现，人类眼部眨眼信号特征比较明显，因此设计了一款低成本(小于2 000元)、基于眨眼眼电信号的便携式智能输入设备。该设备仅通过两根电极即可提取患者(如“渐冻症”病人)眨眼眼电信号，信号经过模拟电路的滤波处理之后，在微处理器中通过动态阈值方法识别眨眼信号，并将其作为控制命令实现与外界的交互。对12名不同受试者在不同的场合分别输入中英文和数字进行测试，结果表明系统能正确识别用户眨眼并进行字符输入，满足用户依靠眨眼实现人机交互的需求。

1 方法

1.1 系统总体方案

整个系统包括模拟和数字两大部分，原理框图如图1所示。模拟部分进行眼电信号的采集；数字部分以主控ARM芯片S3C6410为核心，包括人机交互界面、存储芯片以及必要的通信接口等。电极获取到眼电信号之后，将其传输至信号采集电路，实现对模拟信号去噪、放大以及模数转换，然后通过SPI总线将数字信号发送给主控芯片，该芯片应用相关算法对数据进行数字滤波、眨眼判断，并将眨眼信号解析为命令来控制人机交互界面进行字符输入和显示，同时实时显示使用者的眼电波形。

图1 系统原理框图Fig.1 System functional block diagram

1.2 系统硬件设计

1.2.1 眨眼眼电信号的采集

通过3个Ag/AgCl电极采集人体眼电，其中额头中间位置的电极为右腿驱动电极，两眼的上下两个电极用于测量垂直眼电信号(见图1)，垂直眼电幅度=眼上电极记录信号幅度-眼下电极记录信号幅度。

1.2.2 信号采集电路

为了实现设备的便携，根据眨眼眼电信号幅度高、波形明显的特点(幅度50 μV～3 mV，持续时间200～300 ms)，信号采集电路在保证性能的基础上尽量简化，并且电路采用可拆卸的模块化设计方案。信号采集电路仅包含德州仪器(TI)公司的集成模拟前端ADS1299、2.048 MHz有源晶振以及必要的电阻电容。ADS1299属于专用于生物电势测量的低功耗、低噪声、8通道、24位集成模拟前端芯片，内置最高24倍的可编程增益放大电路和右腿驱动电路。图2为ADS1299单通道原理。

图2 ADS1299单通道原理Fig.2 Single channel functional diagram of ADS1299

1.2.3 主控外围电路

S3C6410以ARM11为核心，具有丰富的外围接口和对应的控制器，大部分外设可直接与其相连，如UART、SPI、USB、NAND FLASH、SDRAM等。本系统中，S3C6410外扩了256MB的SDRAM以及1GB的NAND FLASH进行信息的存储；串口，mini USB以及SD卡用于前期系统的调试和装载；SPI接口用来与信号采集电路进行数据通信；10.1英寸LCD屏显示人机交互界面。

1.3 系统软件设计

软件设计主要包括SPI驱动和应用程序两个部分。修改原始版本引导加载程序U-BOOT，对Linux2.6.38.2内核进行裁剪和修改，制作yaffs2文件系统，将Qt4.7.0版本的库文件存放在文件系统的对应位置下，然后分别编译并依次下载至NAND FLASH。

1.3.1 SPI驱动设计

设备驱动程序是一类用来驱动硬件正常工作的程序，驱动程序一般针对特定的设备进行设计，硬件只有加载了设备驱动才能正常工作，同时与该设备相关的顶层应用程序才能正常运行。在Linux系统中，设备驱动一般分为字符设备、块设备、网络设备以及混杂设备四类。

本系统所需大部分驱动在Linux内核中都已包含，不需要再进行设计，只需编写S3C6410与ADS1299进行数据通信的SPI总线的驱动。SPI总线是一类同步串行外设接口，它可以作为MCU与外围设备之间的一条数据通信链路。SPI总线为全双工通信，属于主从通信模式。通常MCU作为主机，外围设备作为从机，通信时钟由主机产生，一次传输8个数据位。本系统将SPI驱动归类为混杂类设备驱动，在驱动程序中对SPI总线进行了初始化，并实现对数据的读写，为顶层应用程序提供了数据读写的接口。图3为SPI接口连接。

图3 SPI接口连接Fig.3 SPI interface connection diagram

1.3.2 应用程序设计

系统应用程序主要包括眼电数据的滤波处理和阈值判断，以及采用Qt编写的人机交互界面设计。Qt是一款跨平台的C++图形用户界面应用程序开发软件，对常用的图形界面程序进行了类的封装，并对其进行扩展和修改，大大提高了程序开发的灵活性。研究中对比3种不同滤波算法滤除噪声的效果，选择滤波效果最明显的算法，将其运用到本系统中，然后通过动态阈值算法和归一化算法实时检测眨眼，并将眨眼解析为命令，控制人机交互界面进行字符输入。

1.3.2.1 滤波算法选择

由于眨眼信号特征比较明显，只有测量过程中电极移动带来的“尖峰”噪声对其影响比较严重，因为该噪声容易被误判为眨眼信号。因此本文先对比常见的3种滤波算法对眼电信号中“尖峰”噪声的滤波效果，即有限冲激响应(FIR)滤波器、无限冲激响应(IIR)滤波器以及数字形态学的滤波器，然后将滤波效果明显的算法应用到本系统。

1)有限冲激响应(FIR)滤波器。这种滤波器是一线性系统，若输入信号为x(0),x(1),…,x(n)，经过该系统后的输出信号，y(n)可表示为

(1)

该滤波器的频率响应为

(2)

由于FIR滤波器可以设计成在整个频率范围内均可提供精确的线性相位，而且总可以与滤波系数保持BIBO温度无关，该滤波器在很多应用中都可以使用。

2)无限冲激响应(IIR)滤波器。由于IIR滤波器中存在反馈回路，因此对于脉冲输入信号的响应是无限延续的，其传递函数可以表示为

(3)

利用选频滤波器的特性可以提取有用信号的频率分量，这类滤波器适用输入信号中有用信号频带与干扰信号频带不同的情况。

3)数学形态学的滤波算法。数学形态学(mathematical morphology)是一种数字图像处理方法，由一组形态学算子组成，包括膨胀、腐蚀、开操作和闭操作。

选取合适的结构元素，通过腐蚀可消除二值图像中不相关的部分，比如尖峰干扰；通过膨胀可将裂缝桥接起来，比如孔洞和小凹陷。利用数学形态学可对信号进行平滑处理，去掉肌电干扰、系统干扰等高频尖峰噪声。

假设对向量A进行处理，结构元素B为k维向量，B对A腐蚀定义为

(4)

B对A膨胀定义为

(5)

从式(4)或式(5)可以看出，在对点A[m]进行腐蚀或膨胀时，需要用到待处理的A[m]，A[m+1]，…，A[m+k-1]共k个点的值，因此会有k个点的延迟。

开操作是对图像先腐蚀后膨胀，反之，闭操作是对图像先膨胀后腐蚀，其定义分别为

(6)

(7)

按式(5)对眼电信号进行基于数学形态学的滤波，即对A先开操作，后闭操作，有

(8)

结构元素B[m]中的长度m是根据波形的时域特点来进行选择的。通过统计分析发现突变噪声点连续出现的个数最大为4。数学形态学算法要求，结构元素的长度只有大于信号中最大的连续噪声点数，才能有效去除噪声。本系统将结构元素B[m]的长度设为5，这样不仅能够实现对噪声的抑制，而且可以获得最优的时间复杂度。又由于信号中突变噪声点的幅值相同，所以B[m]中元素初始值取0，即B[5]=(0，0，0，0，0)。

1.3.2.2 眨眼检测

在实验进行中，眼电信号的基线可能会因电极与皮肤接触阻抗变大等原因发生变化，从而影响眨眼识别的正确性，因此采用固定阈值是不可行的。通过动态阈值算法可有效避免上述情况，即在每次检测到一次眨眼动作后重取阈值。此外为了避免多次重复判断眨眼信号的情况，也运用归一化、微分算法去除重复判断的信号。

1)动态阈值算法。人眨眼时会产生幅度特征明显的信号(见图4)，因此可通过设定阈值判断眨眼，当信号幅度大于阈值时则判定为眨眼信号。

系统采样率为250Hz。如图4所示，首先在不眨眼的情况下取500个点的平均值，得到初始基线值B，进而得到眨眼信号判定阈值A=B+S，其中S为眨眼信号初始值，该值是被试训练阶段所测眨眼信号幅度峰值的1/6。

由于在实际的测量过程中，电极与皮肤接触阻抗的变化、电极发生轻微移动或电极线摆动等因素都会引起信号基线B发生漂移。如果信号阈值A不随基线B发生改变，则当基线B的波动幅度大于阈值A时，将导致对眨眼信号的错检、漏检的现象发生。因此，需要阈值A随基线B线性变化才能准确地检测眨眼信号，即动态阈值法。具体判断方法为：

当连续判断30个点大于A时，则判定为一次眨眼，即图4中D1～D2区间。接着重新计算阈值，也就是重新计算基线值。由图4可知，D2～D3为信号波形下降区间，并不是基线处数据点，因此需要放弃这段区间的数据。通过统计，需要丢弃此区间不稳定70个数据点，当波形回归到基线水平时重新获取40个点求平均值，由此得到新的基线B，该值和S相加后获得新的阈值A，然后进行下一次的眨眼判断。

图4 眼电波形Fig.4 Electro-oculogram wave form diagram

2)归一化、微分算法。在一个单独的眨眼眼电波形中，大于阈值的数据点往往是超过60个的，当最开始大于阈值的30个点被检测到之后，系统便会判断一次眨眼，并继续检测同一个眼信号波形中接下来的30个点，若大于阈值，仍会判断为一次眨眼，这就导致了一次眨眼被重复判断。归一化、微分算法能避免这种现象。

眨眼信号的判别含4个步骤。

步骤1：建立数组x[n]存储眼电信号，依次取数组中的数据与阈值作对比；

步骤2：当出现首个x[i]i≤n大于阈值时，设置标示量k1=0，并继续判断数组中的值与阈值的关系;

步骤3：当出现首个x[i+m](i+m)≤n小于阈值时，设置表示量k2=m，并判断k2-k1值；

步骤4：若(k2-k1)≥30，标记flag=1，则判定为一次眨眼信号，并进入步骤1，开始下一次判断；若(k2-k1)<30，标记flag=0，则认为无眨眼信号，直接进入步骤1，开始新的判断。

这样就能有效防止眨眼被重复的判断。

1.4 系统验证方法

1.4.1 硬件性能测试

由于本系统属于便携式的医疗设备，因此参照中华人民共和国国家计量检定规程(JJG 954—2000)的相关测量方法，测试本系统的共模抑制比、噪声等参数，以便验证该系统是否满足JJG 954—2000中相关的参数要求。

测试时，ADS1299采样率为250 Hz，内部增益12倍，参考电压VREF=4.5 V，系统供电电压6.5 V。

1.4.2 字符输入准确率测试

为了验证系统的稳定性，随机挑选课题组内的12名受试者(8名男生、4名女生)在不同场合分别进行6次打字实验，实现内容包含中文、英文和数字的输入。首先在环境安静、电磁辐射较小的常规实验室内进行测试，目的是检测系统的最优工作状态。然后在电磁噪声很强的磁共振设备室进行测试，目的是测试系统的抗干扰能力。最后在户外运动场进行测试，因为户外的可见光较强、环境比较噪杂，而且可以随意的移动，以此来测试使用者受到外界干扰时，是否能够稳定的进行字符输入。为了保证测试结果的一致性，使用者在进行打字输入试验时，电极的佩戴如图1所示，其中活动电极佩戴至右眼眼上侧，活动电极佩戴至右眼下侧，右腿驱动电极放置在额头。在进行输入字符准确率计算之前，所有使用者都进行10 min的打字训练，并统一设定光标在虚拟键盘的循环间隔为1.2 s。字符准确率的计算方法为

(8)

式中，M为系统识别到的眨眼次数，N为总的眨眼次数。

2 结果

2.1 3种滤波算法对比

分别采集3名被试的原始眨眼信号，然后应用3种滤波方法进行滤波对比。在3种滤波器滤波时间相同的条件下，设定FIR滤波器阶数为100阶，IIR滤波器阶数为10阶，结果如图5所示。由图可见，基于数学形态学的滤波算法能够很好滤除眨眼信号中的“尖峰”噪声(见图5(d))，而FIR滤波器和IIR滤波器不能消除这些噪声(见图5(b)和图4(c))，因此本系统选择数字形态学的算法滤除眼电信号中的噪声。

图5 3种滤波算法滤除尖峰噪声的效果对比。(a)原始眨眼眼电时域波形；(b)FIR(100阶)滤波的信号波形；(c)IIR(10阶)滤波的信号波形；(d)形态学滤波的信号波形Fig.5 Comparison of three kinds of filtering algorithms to eliminate noise. (a)Time-domain waveform of the blink electro-oculogram signal; (b) The signal after being filtered by FIR (100 order); (c) The signal after being filtered by IIR (10 order); (d) The signal after being filtered by mathematical morphology

2.2 人机交互界面

通过前面的算法提取到眨眼信号之后，就可以通过主控芯片将眨眼信号所表达的信息在人机交互界面上显示出来，如图6所示。图6(a)所示界面用于设置阈值和时间，其中阈值代表了眨眼信号初始值S，时间代表了虚拟键盘中选择光标(简称“光标”)循环的时间间隔(表示为t)，使用者根据自身

的反应速度和使用设备的熟练程度自行设定t值，t值的范围一般为1～1.5 s。图6(b)所示界面为打字和眨眼信号显示界面，其中图6(b)的上方为信号显示界面，每一个信号尖峰代表一次眨眼；图6(b)的左下方为九宫格形式的虚拟键盘，支持中文、英文和数字等3种输入法的一键切换；图6(b)的右下方为字符显示板。

系统开机后进入图6(a)的界面，当光标移动到使用者需要的数值时，主动眨眼一次即可选择目标数字。若选择错误，等待光标移动到“退格”时，主动眨眼一次，即可删除数字。当设置完阈值和时间之后，系统自动切换到人机交互界面图6(b)。光标首先在图6(b)左下角九宫格中行循环，当绿色选择光标移动到目标按键所在的行时主动眨眼一次，进入所在行的列循环。再通过主动眨眼，选择绿色选择光标对应的目标按键，即可选择该按键。最终根据光标的移动和眨眼的不断选择，即可实现类似于手机拼音打字的信息输入。

2.3 硬件性能

对系统的几个关键参数分别进行10次测量，并取平均值，测试结果如表1所示。从表可知，所设计系统的共模抑制比和输入噪声都满足JJG 954—2000(国标要求：共模抑制比大于80 dB，噪声不大于5 μV)的要求，系统带宽满足眼电信号的频率范围。

2.4 字符输入准确率测试

字符输入准确率的具体测试结果如表2～4所示，使用者的字符输入速度如表5所示。

表2 在常规实验室内进行字符输入的测试准确率(%)

Tab.2 Experimental accuracy (%) of input character for different subjects in the room

使用者使用者输入字符内容德州仪器电子科技大学生物医学工程你好hello0123456789男110010098100100100男21009595100100100男393989610099100男4男5男6男7男8959810010099100999810010096100100991001009810099981001001001001001009910098100女110098100100100100女2女3女49810010098100100971001001001009910099100100100100

表3 在磁共振设备室内进行字符输入的测试准确率(%)

Tab.3 Experimental accuracy (%) of input character for different subjects in the equipment room of MRI

被试使用者输入字符内容德州仪器电子科技大学生物医学工程你好hello0123456789男1100100100100100100男210097100100100100男3981009899100100男4男5男6男7男898981001001001001009810010099100100100100100981009998100100100100100100100100100100女110099100100100100女2女3女41009910010010010098100991001001009910010010099100

表4 在户外运动场进行字符输入的测试准确率(%)

Tab.4 Experimental accuracy (%) of input character for different subjects in the outdoor

使用者使用者输入字符内容德州仪器电子科技大学生物医学工程你好hello0123456789男1100100100100100100男210010098100100100男3100100100100100100男4男5男6男7男89998100991001001001001001001001009910010010098100999810010099100100100100100100100女110098100100100100女2女3女410010010010010099100999910010010010010010010099100

表2～4的结果显示，在3种不同的环境下，使用者输入字符的平均准确率不低于98%，因此说明该系统的稳定性比较强，使用者能够使用该设备实现与外界的交互。表5的结果显示，中文的平均输入速率为2.8±0.3，英文平均输入速率为6.6±0.35，数字平均输入速率为9.7±0.38。从结果中可知英文和数字的输入速度要高于中文的输入速度。

表5 使用者输入字符最小速率(个/min)

Tab.5 The minimum rate (character/min) of input character for different subjects

使用者中文输入速率英文输入速率数字输入速率男1246292男2326698男32870100男4306494男5男6男7男824322830706464681021009896女1326090女2266892女3女426286270100100平均值28±0366±03597±038

3 讨论

基于眼电图技术所开发的一些辅助设备为肢体运动障碍患者(如“渐冻症”病人)提供了很大的帮助。人们开发这些设备所采用的方法多是根据眼球运动方向实现相关的控制，但采用该方法开发的设备成本较高，抗干扰能力较差。因此需要一种新的方法帮助肢体运动障碍患者与外界更方便的交互。本文通过研究发现，眨眼眼电信号的特征比较明显且抗干扰能力较强，因此采用相关的方法提取使用者眨眼眼电信号，并以此为基础实现人机交互的方法是可行的。

图5的结果显示，与FIR和IIR滤波器相比较，基于数学形态学的滤波算法能够很好滤除眼电信号中的“尖峰”噪声，因此本系统采用数字形态学的滤波方法能够提高系统的稳定性。为了进一步增加系统识别眼电信号的准确率，本系统根据不同使用者眼电幅度设定初始值(见图5)，然后通过动态阈值的方法来识别眼电信号，这样就能够避免因不同使用者眼电幅度不同或测试过程中基线发生变动时，而可能出现错判或误判的现象。

表1为硬件系统测试结果，其测试过程是参考JJG 954—2000《中华人民共和国计量检定规程》来进行的。从表1可知，除了系统功耗较大之外，系统的其他参数都满足JJG 954—2000中的技术指标。本文为了突出演示效果，因此选用了功耗、体积较大的LCD屏(4W)，该显示屏消耗了整个系统80%的能量，在接下来的工作中可以采用低功耗的LCD屏，以便将系统功耗降低至1W以内。

目前常见的用于肢体运动功能障碍患者的辅助设备对环境适应能力较差，一般只能在常规室内或安静的环境中使用。为了测试系统的性能，选择了较为安静的室内、电磁干扰较大的磁共振设备室以及周边环境较为噪杂的户外运动场等3个不同场合进行字符输入测试。表2～4的结果表明，6名受试者在不同的环境下均能完成指定的打字要求，而且输入汉字的平均准确率大于98%，输入英文和数字的准确率接近100%。因此，该系统抗干扰能力比较强，能够满足使用者的日常需求。

表5的结果表明，使用者输入汉字的速度(2.8±0.3)要低于英文字符(6.6±0.35)和数字(9.7±0.38)的速度，主要的原因为中文输入法是通过拼音拼写的方法实现的，它需要多次选择不同字符才能选出目标字，因此速度相对较慢。此外，从表5的结果中也可以看出，与手机打字的速度相比，字符输入的整体速度并不是很快。但该系统主要的应用对象是肢体运动功能障碍患者(如“渐冻症”病人)，该类病人的四肢无法运动，只有眼部肌肉的运动功能是最后丧失的，因此，帮助此类病人通过眼部运动实现与外部的交流是目前最佳的方法，而基于眨眼眼电信号开发辅助设备易于实现，且使用方便。眨眼具有一定的速度限制，而且眨眼过于频繁容易造成疲惫，信号判断的准确率降低，因此平均1～1.5 s的眨眼频率是比较合适的[1,9]，不过随着熟练程度的增加，字符的输入速度会进一步提高。但从测试结果中可以看出，系统在3个场合的表现都很稳定，使用者都可以较为准确的实现字符的输入，而且随着熟练程度的增加，打字的准确率会进一步的提高，此外，在测试过程中发现，系统对眨眼信号反应比较灵敏，未出现眨眼后由于系统反应延迟而影响选择结果的现象，并且波形显示窗口能够实时显示信号。

4 结论

本系统采用的形态学滤波算法，能够有效去除信号中的尖峰噪声。动态阈值和归一化、微分算法能够避免对眨眼眼电信号的重复判断，提高了对眨眼信号判断的准确率。通过实验验证，该系统能够以高的准确率实现中文、英文和数字的输入显示，而且具有很高的稳定性，能够帮助四肢残障人士与外界进行交流。

[1] 郑敏敏, 高小榕. 基于眼电的字符输入系统[J].中国生物医学工程学报,2012,31(6): 801-806.

[2] 吴湛微.从EOG扫视信号中提取人眼位置信息的研究[D].上海:华东理工大学,2004.

[3] Jacob RJK, Kam KS. Eye tracking in human-computer interaction and usability research: Ready to deliver the promise [J]. Mind, 2003, 2: 573-605.

[4] Stahl JS, Van Alphen AM, Zeeuw CD. Acomparison of video and magnetic search coil recording of mouse eye movements [J]. Journal of Neuroscience Methods, 2000, 99(1):101-110.

[5] Kai-Uwe S, Markus HM. Comparing eye movements recorded by search coil and infrared eye tracking [J]. Journal of Clinical Monitoring and Computing, 2007, 21(1):49-53.

[6] 李卫娜，侯文生，郑小林.基于Electrooculogram的眼动信息识别[J].仪器仪表学报，2007,28(8):1428-1433.

[7] 李昕.基于眼电的无障碍人机交互技术研究[D]. 杭州：浙江大学，2010.

[8] 马翔, 赵乐军，张晴. 基于红外位移传感器的眼动测量系统[J]. 华东理工大学学报，2009,35(6):897-901.

[9] 陈卫东，李昕，刘俊，等. 基于数学形态学的眼电信号识别及其应用[J]. 浙江大学学报, 2011, 45(4): 644-649.

Research of Intelligent Speller System Based on EOG

Gao Dongrui GanYulong Li Pengxiao Xie Jiaxin Yao Dezhong Liu Tiejun#*

(SchoolofLifeScienceandTechnology,UniversityofElectronicScienceandTechnologyofChina,Chengdu610054,China)

A portable intelligent speller system based on blink electro-oculogram (EOG) was designed to help patients of limb movement function disorders to communicate with other people. The user can control virtual keyboard to spell characters by blinking on human-computer interaction (HCI) interface. The signal would be pre-processed by acquisition module of the system. Then the signal was converted to digital signal, and the digital signal was transmitted to microprocessor. Pike noise of the digital signal was firstly filtered by mathematical morphology. Then dynamical threshold algorithm and normalization, differential algorithm were used to detect the blink. According to the information of EOG, virtual keyboard was controlled to spell characters by microprocessor. In this paper, 12 subjects were tested the system in three occasions (routine laboratory, magnetic resonance imaging equipment room with the large electromagnetic interference, and outdoor playground). Results showed that the system could accurately identify blink signal and spell characters including Chinese, English and numbers. Besides, the mean average precision of input character was above 98%. The average input speeds of Chinese character, English character and number were 2.8±0.3, 6.6±0.35 and 9.7±0.38 (per/min), respectively. Hence the system which has higher interference rejection is appropriate for patient of limb movement function disorders.

electro-oculogram(EOG); human-computer interaction; embedded system; graphical user interface

10.3969/j.issn.0258-8021. 2015. 06.004

2015-05-14， 录用日期:2015-08-19

国家重大科学仪器开发专项(2012YQ120046)；国家高技术研究发展计划(863计划)(2015AA020510)

R318

A

0258-8021(2015) 06-0662-08

# 中国生物医学工程学会会员(Member, Chinese Society of Biomedical Engineering)

*通信作者(Corresponding author)， E-mail: liutiejun@uestc.edu.cn