基于稳态视觉诱发电位脑机接口的卒中后语言障碍辅助交流系统的研发与验证
2021-12-13王琳琳李晓阳杨晨沈晓梅马菲菲刘心雨陈小刚赵性泉王拥军高小榕冀瑞俊第一作者
王琳琳,李晓阳,杨晨,沈晓梅,马菲菲,刘心雨,陈小刚,赵性泉,王拥军,高小榕,冀瑞俊(*第一作者)
卒中是我国居民最主要的致残性疾病之一[1]。卒中急性期失语症发生率为21%~38%[2],构音障碍发生率为20%~30%[3]。语言功能丧失为患者及其家庭带来严重影响,传统语言康复训练周期长、康复性滞后,无法满足患者表达和沟通的现实需求。稳态视觉诱发电位(steady-state visual evoked potential,SSVEP)脑机接口(brain-computer interface,BCI)技术的快速发展为探索卒中后语言障碍的解决方法带来新的曙光[4]。本研究根据卒中后患者语言交流障碍的临床特点和实际应用需求,设计了一套基于稳态视觉诱发电位脑机接口技术的卒中后语言障碍辅助交流系统(steady-state visual evoked potential based brain computer interface communication system,SSVEP-BCI-CS),即卒中语言之星系统。通过18名健康受试者操控卒中语言之星系统的识别准确率、信息传输速率及负荷等指标以评估系统的可行性,同时为该系统后续在卒中后语言障碍患者中的应用奠定基础。
1 研究方法
1.1 系统的研发 卒中后语言障碍患者常合并肢体瘫痪,本研究拟设计无需肢体辅助,同时有语音播报及屏幕反馈的交流系统。SSVEP响应具有注意的空间选择性,当使用者希望向计算机发送指令时,只需将注意力集中到某一指令目标,脑电信号中则会出现该目标所对应的SSVEP成分。因此,通过识别刺激目标所诱发的SSVEP成分,就可以解析出用户意图,故选用SSVEP-BCI技术进一步研发交流系统。
1.2 系统的验证
1.2.1 总体目标 对卒中语言之星系统在正常人群中的使用效率、负荷和安全性等方面进行验证分析。
1.2.2 验证人群 健康受试者来源于首都医科大学附属北京天坛医院对BCI技术感兴趣的学生及职工,共纳入18名。所有受试者视力或矫正视力在0.8以上,无神经功能缺损症状,既往无偏头痛及癫痫发作病史。18名受试者中除1名受试者外(第11名受试者),均第一次接触BCI技术。
1.2.3 任务设计 受试者需完成4种类型任务:指令-单任务、指令-连续性任务、打字-单任务及古诗任务。指令-单任务内容为根据提示随机输入46项指令目标;指令-连续性任务内容为在无提示情况下表达“指令-医疗相关需求-胸部不适-返回”“指令-情感表达需求-我爱你-返回”“指令-基本生活需求-想喝水-返回”“指令-高阶生活需求-想晒太阳-返回”四组信息;打字-单任务内容为根据提示随机输入声母、韵母、英文各40个目标;古诗任务内容为在无提示情况下完成一句古诗输入(10个汉字)。受试者仅需注视屏幕中的目标选项即可完成输入。完成任务标准:指令-单任务根据提示完成46次输入,打字-单任务根据提示完成声母、韵母、英文各40次输入,两种任务不论输出是否正确,只要完成输入后均可跳转到下一次提示;指令-连续性任务及古诗任务需完成任务内容的正确输出。
1.2.4 评价指标 系统性能评价指标包括传输速率、准确率和识别时长。每次目标开始闪烁至结果反馈为单次试验,平均试验时长=总试验时长/试验次数。指令任务传输速率=60/平均试验时长,古诗任务传输速率=60/平均字符识别时长,打字-单任务信息传输速率(information transfer rate,ITR)计算公式为:
其中,T表示平均试验时长,Q表示目标数量,P表示识别正确率。准确率=(正确目标数/总输入目标数)×100%。指令-单任务、打字-单任务及指令-连续性任务识别时长为单次试验时间;古诗任务识别时长定义为进入打字界面后完整输出一句话的总时间。
系统使用负荷评价采用美国国家航空航天局任务负荷指数量表(National Aeronautics and Space Administration-task load index,NASA-TLX),内容包括脑力需求、体力需求、时间需求、努力程度、业绩水平及受挫程度六项维度,每项分值为0~100分,其中脑力需求、体力需求、时间需求、努力程度、受挫程度评分越低,业绩水平评分则越高,任务负荷亦越低[5]。
系统安全性评价指标:受试者是否出现头晕、头痛、癫痫发作等与试验相关的不适症状。此外,并对男性与女性受试者的性能评价指标及使用负荷评价指标进行比较。
1.2.5 统计学方法 采用SPSS 23.0软件进行统计学分析。符合正态分布的计量资料以表示,组间比较采用t检验;不符合正态分布的计量资料以M(P25~P75)表示,组间比较采用秩和检验。以P<0.05为差异有统计学意义。
2 结果
2.1 系统介绍 卒中语言之星系统架构如图1所示。使用者注视屏幕中选项进行选择,不同选项诱发的脑电信号通过无线放大器采集并传输至系统处理端进行分类,最终分类结果通过语音播报和屏幕反馈形式反馈。系统软件编写基于matlab2018b软件,显示呈现部分采用心理学试验设计中的常用工具箱Psychtoolbox编写。硬件包含一台计算机、一个60 Hz刷新率的屏幕和NeuSen W8通道无线数字脑电采集系统。
图1 系统结构示意图
系统显示端包含9个不同的菜单页面(图2),包含3种适用于不同场景的表达模式。①紧急呼叫模式:可一键呼叫医师、护工及家属,以便患者快速得到帮助,适用于紧急情况。②指令模式:收录患者实际生活中常用的指令需求,帮助患者快速表达意图,包括医疗相关需求、情感表达需求、基本生活需求及高阶生活需求等46项需求。③打字模式:包含中英文双语输入法,帮助患者充分表达意图,中文输入法采用双拼策略,以汉语音节为基础,利用汉语声母和韵母的特定组合减少拼写过程中的选择次数,以实现高效的中文输入;英文部分为26个大写英文字母。使用者可选择进入上述三种不同的表达模式,也可通过“撤销”键取消操作。所有选项均使用联合频率相位方法编码,刺激频率为8~15.8 Hz,相位间隔0.5π[6]。
图2 系统显示页面设计
本系统脑电数据采集应用博睿康NeuSen W8通道无线数字脑电采集系统。由于SSVEP响应主要位于顶枕区,8个通道布置为PO5、PO3、POz、PO4、PO6、O1、Oz和O2,参考电极位于头顶部。数据采集后通过无线脑电放大器传输至系统处理端进行实时处理。其中脑电数据初始采样频率为1000 Hz,处理过程中采样频率为250 Hz;使用5~100 Hz带通滤波器及50 Hz带阻滤波器对采集数据进行预处理。信号处理端采用空时均衡动态窗算法,该算法通过对脑电数据的特征进行学习,自动寻找适当的空时均衡器,以减少脑电信号中有色背景噪声的不利影响[7]。此外,通过空时均衡动态窗算法可确定合适的时间窗长度,从而获取准确的分类结果,当信号处理端在连续8个时间窗内判决相同时系统则输出判决结果。这就允许使用者在工作状态与休息状态之间进行自如切换,当使用者需要进行内容表达时注视对应的闪烁目标即可选中,而未注视目标时系统则不会输出结果,更能够贴近实际使用场景。
2.2 系统验证结果
2.2.1 系统验证人群特征 18名健康受试者中,年龄26(25~28)岁,受教育年限19(19~22)年,男性和女性各9名。每名受试者具体试验结果见表1。
表1 18名健康受试者各项任务结果
2.2.2 系统性能评估 打字-单任务的120次输入中,受试者的平均ITR为79.92±43.55 bits/min,准确率为94.00%(92.00%~97.00%),平均识别时长为4.33(2.46~6.44)s。古诗任务中,输出速率为1.79(1.49~3.05)字/分钟,识别时长为5.11±2.78 s。指令-单任务输出速率为32.44(11.73~38.64)指令/分钟,识别时长为1.85(1.55~5.12)s,正确率为95.65%(90.76%~98.37%)。指令-连续性任务中平均输出速率为23.66±9.50指令/分钟,平均识别时长为3.08±1.62 s(表2)。
2.2.3 系统使用负荷和安全性评估 NASATLX量表中各维度评分:脑力需求27(20~43)分、体力需求27(20~47)分、时间需求30(18~60)分、努力程度43(22~80)分、业绩水平84(78~100)分、受挫程度14(3~21)分(表2)。使用过程中,所有受试者均无头晕、头痛等不适症状。
表2 男性与女性受试者试验结果比较
2.2.4 系统使用及负荷的性别差异 除打字-单任务中的声母和韵母正确率、古诗任务中的输出速率外,女性受试者完成打字-单任务、古诗任务、指令-连续性任务和指令-单任务中的其他指标均优于男性受试者,差异有统计学意义;另外,女性受试者NASA-TLX量表中时间需求评分低于男性受试者,业绩水平评分高于男性受试者,差异均有统计学意义(表2)。
3 讨论
本研究根据卒中后语言障碍患者的临床特点和应用需求,研发了卒中语言之星系统样机,并在18名健康受试者中针对系统性能、使用负荷及安全性进行全面评价,结果表明该系统能够满足日常生活交流、紧急情况呼叫、充分表达想法的需求,且使用负荷较低,安全性较高,可发挥卒中急性期替代语言表达的作用。
语言障碍是卒中后常见的症状,传统康复治疗存在滞后性,难以满足患者的表达需求。多数患者合并肢体运动障碍,传统的交流方式无法为其服务,因此如何帮助患者在发病急性期与家属及其他人员进行有效交流,是现代医学需要解决的重点问题。
BCI技术的快速发展为卒中后语言障碍患者有效交流带来新的希望,目前国内外研发的BCI拼写器大部分基于P300和SSVEP范式实现,内容输入主要集中于英文与数字的拼写,关于中文输入的研究较少。中文输入的研究主要集中于单一拼音输入、笔划输入,如有研究提出的P300中文笔划输入及SSVEP与P300混合BCI联合机械臂笔划输入等[8-9]。本研究与既往研究相比,存在如下优势:第一,基于SSVEP实现,较P300电位相比,极大地缩短了训练及学习成本;第二,将中英文打字融合于同一系统,使用者可根据语言习惯自由切换输入法;第三,创新性提出“汉语意群”指令输入法,每条指令由1~5个汉字组成,与传统单字输入法比较,明显提高了沟通效率。
本系统的有效性及安全性在健康人群中获得了初步验证,本研究发现,女性受试者打字-单任务中平均ITR、正确率,指令-单任务中输出速率和正确率,指令-连续性任务中输出速率均高于男性受试者。目前尚无SSVEP与性别差异的相关性研究,故本研究中性别差异结果的发生机制尚未明确,或许可以从视觉诱发电位(visual evoked potential,VEP)与性别差异分析中得到提示。研究显示,性别是影响VEP的重要变量,女性VEP相关响应波的潜伏期较男性短,峰值幅度较男性高。分析可能原因如下:第一,男性与女性头围差异。Dion等[10]发现女性N75潜伏期较短,其中不同头围大小VEP结果差异有统计学意义。但Sharma等[11]研究表明头围与VEP结果无关。第二,激素水平的差异。Marsh等[12]选取妊娠与非妊娠女性进行VEP检查,结果显示妊娠较非妊娠女性VEP相关响应波潜伏期更短、波幅高。但Buchsbaum等[13]选取性腺缺乏的男性与健康男性完成VEP检查,结果显示两组间VEP结果差异无统计学意义。此外,Wolpaw等[14]基于BCI研究的经验,提出性别与BCI使用效果间未存在差异,还需进一步扩大样本量完善分析。
卒中语言之星系统性能可满足受试者的基本需求,但使用时仍存在不便:第一,脑电采集设备基于湿电极系统,用户在使用前及使用后需要各洗一次头发,增加了系统使用的复杂性。干电极可有效避免使用导电膏的诸多不便,但目前的信号质量无法满足SSVEP-BCI系统的需求。第二,中文字库中纳入了2000个左右常用字,基本能满足受试者的日常使用,但输入法尚缺乏智能功能,如拼音纠错、记忆功能、词语联想等功能,还需进一步升级完善系统性能,从而更大程度提高沟通效率。
【点睛】本研究根据卒中后语言障碍患者的临床特点和应用需求,研发卒中语言之星系统样机,对18名健康受试者检测结果进行评价,结果表明该系统能够满足日常生活交流、紧急情况呼叫、充分表达想法的需求,且使用负荷较低,安全性较高,可发挥卒中急性期替代语言表达的作用。