人机交互技术在神经系统疾病辅助诊断中的应用：现状与前景

2021-10-12汪柳萍范向民

协和医学杂志 2021年5期

李洋，汪柳萍，黄进,2，范向民,2，田丰,2

中国科学院软件研究所 1人机交互北京市重点实验室 2计算机科学国家重点实验室, 北京 100190

人机交互是研究用户与系统之间交互关系的学科，主要目的是增强用户与计算机系统之间的交互体验，使用户更容易完成交互任务[1]。目前人机交互技术在医学领域的应用主要是通过笔式、语音、步态等评估患者感官功能的变化情况，协助医生对患者进行辅助诊断。人机交互技术无侵入性，医生只需通过患者与计算机的自然感官交互结果，分析疾病在交互模态下的表征，即可客观地判定患者当前的健康状态。一方面节省了患者的检查时间和费用，提高了患者的检查舒适感，另一方面也减轻了医生的工作强度，因此如何利用人机交互方法对疾病进行早期预警[2]和辅助诊断[3- 5]受到了国内外学者的广泛关注。神经系统疾病表现为运动能力失调、语言能力受损、生理信号异常等多种问题，体现为触觉、听觉等多个感官功能受损，是人机交互技术的最佳应用领域。本文介绍笔交互、语音交互、步态交互、生理计算等人机交互技术在常见神经系统疾病辅助诊断中的应用现状，并对该领域未来前景进行展望。

1 基于人机交互的神经系统疾病辅助诊断技术

1.1 笔交互

笔交互通过电子笔对触控屏幕进行输入，记录用户书写时的移动轨迹，利用符号或标识得到可反映用户运笔状态和认知能力的交互数据。神经系统疾病患者在运笔时可能存在缓慢、震颤、认知障碍等多种情况，因此通过分析其运笔时的运动功能状态(如速度、加速度)或图形绘制结果，可评估患者是否存在运动功能受损以及认知功能异常等问题，为医生提供诊断依据[6]。常见的笔迹交互任务包括阿基米德螺旋线、重复的字母书写等[7]，绘图任务包括TMT(Trail Making Test )[8]和CDT ( Clock Drawing Test )[9]等(图1)。其中绘图任务不但可有效反映患者的手部运动状态，还可较好地反映患者当前的认知状态[11- 12]。除运笔特征外，患者在书写时对接触表面的压力也是重要的判断指标。Drotár等[10]采用笔交互技术对75名用户(包括37例帕金森病患者和38名健康用户)进行研究，每人完成阿基米德螺旋线、重复的字母书写等8项任务，结合用户书写过程中产生的运笔特征和压力特征，选择支持向量机进行疾病分类，准确度为81.3%，灵敏度为87.4%，特异度为80.9%。基于笔交互的神经系统疾病评估方法受环境影响较小，无论是在嘈杂的诊室，还是居家环境中，都可获得较高的精确度；缺点是需要使用具有特定功能的笔交互设备对数据进行采集。

图1 常见的笔交互任务

1.2 语音交互

语音交互是通过用户发音表达交互意图，获取系统响应的过程。神经系统疾病可导致患者声道部分受损，发音改变。与肢体运动障碍和脑损伤等病理特征相比，语言表达和发音障碍常出现在疾病的早期阶段，产生如音调变化、失声、构音障碍等问题[13- 15]。目前基于语音交互的神经系统疾病辅助诊断方法主要通过患者的言语或发音状态对疾病进行分析，为医生提供诊断依据，包括两种模式：(1)连续性语句发音，即患者说一句或一段话，由此判断是否存在构音障碍、言语发音、共振、韵律等问题[16- 18]；(2)持续性元音发音，即患者尽可能长时间地保持发音频率和振幅的稳定，由此判断是否存在频率、震颤、噪音等问题[19- 21]。如Weiner等[18]从ILSE德语音频数据集中选取98个数据集合，包括健康人群80人、轻度认知障碍13人、阿尔茨海默病5人，通过语音识别，提取平均静音时间、平均说话时间等10种音频特征，选择线性判别分析分类模型对3类人群进行分类，准确度为85.7%，其中阿尔茨海默病组的F值可达0.8。与其他交互方式相比，语音交互只需采用普通的麦克风进行数据采集，具有成本低、交互任务简单的特点；缺点是某些神经系统疾病对发音状态影响较小，发音过程中对环境要求较高，需在安静的诊室或居家环境中执行交互任务。

1.3 步态交互

步态作为人们日常生活中一种普遍的交互行为，是人体的运动器官在神经系统控制下相互协作产生的结果。当用户患有神经系统疾病时可能导致运动功能受损，其在行走过程中，下肢出现受力状态和运动形态的变化[22]。现阶段步态交互主要分为基于传感器信号[23- 24]和基于视觉[25]的步态分析系统两大类(图2)。基于传感器的自动步态分析系统常利用用户佩戴的传感器设备获取身体不同部位的移动信息，计算用户完成任务过程中的速度、加速度等行为特征，进而判定用户当前的步态行为，对神经系统疾病进行辅助检测[26]。基于视觉的步态分析系统主要是利用相机录制用户完成任务的视频数据，通过视频检测用户指令动作或行走状态，计算用户的速度、幅度、时间等时空步态参数信息，从而进行分析评估[27- 28]。步态的自动诊断系统对治疗干预的定量评估至关重要，因此建立低成本的步态分析系统具有十分重要的意义。Chakraborty等[29]招募了40名用户(20例脑瘫患者和20名健康用户)，利用Kinect录制用户的行走过程，通过提取步长、步幅、步幅时间等特征，极限学习机分类准确度可高达98.59%，灵敏度为100%，特异度为96.87%。通过计算机对步态进行量化分析，可有效反映患者的协调性、运动功能等身体状态，设备无需精确校准，降低了临床评估成本；缺点是基于传感器的采集方式需穿戴特殊的传感器设备进行数据采集，而基于视觉的采集方式容易受背景环境因素的限制，同时多人存在于画面中时会对数据采集造成影响，不适合在人员流动的嘈杂诊室环境中进行。

图2 步态交互分析系统A.基于传感器的步态分析系统[23];B.基于视觉的步态分析系统[25]

1.4 生理计算

生理计算作为人类与计算机交互的接口，将人类解析的生理信号转换成计算机的实时输入，可丰富和改善用户的交互体验。神经系统疾病引起的运动功能失调可导致用户生理电信号产生特定改变，根据传感器放置位置不同，获取不同特性的生理信号。典型的生理信号包括脑电图(electroencephalogram，EEG)[30- 32]和肌电图(electromyography，EMG)[33](图3)。EMG是对肌肉收缩电信号的测量，不仅可区分用户身体是否健康，还与疾病的严重程度相关[34]。细微的EEG信号变化可描绘某种特定类型的大脑异常，因此临床常利用EEG对癫痫发病情况进行监测。Das等[35]通过收集10例顽固性癫痫患儿癫痫发作和未发作期间的EEG数据，计算信号的均值和均方根等关键特征，利用Ensemble Bagged Tree分类器对癫痫发作活动情况预测，其准确度高达91.09%，灵敏度为87.83%，特异度为94.35%。生理计算可直接检测用户的生理信号，不受疾病表征和发病时间的限制，可解释性强；缺点是用户需要佩戴适当数量的电极设备，易受外界因素干扰，信号噪音较大。

图3 典型的生理信号数据采集示意图

2 基于多模态人机交互的神经系统疾病辅助诊断技术

患者在发病过程中，常同时伴随多种症状，不同的交互模态可反映用户不同的交互行为信息，因此利用不同交互模态信息互补的特点，采用多模态融合的方法对提取特征进行融合，能够提供更精确的神经系统疾病辅助诊断结果。但多模态交互方法存在数据采集困难、模态数据融合方法对结果影响较大的特点，因此应选择合适的模态及其组合方式进行神经系统疾病的辅助诊断。中国科学院软件研究所通过笔式、语音、步态等多个通道搭建的智能辅助诊断系统可实时对神经系统疾病进行辅助诊断。此系统利用数字笔和平板、麦克风、Kinect等多个设备采集书写、发音、走路等多种交互行为数据，得到可反映患者病理特性的交互特征，然后利用机器学习模型预测得到自动化的诊断结果。多模态数据获取与融合方式较为困难与复杂，本研究团队分别对176名用户[88例临床诊断的神经系统疾病患者(14例帕金森病、62例脑小血管病变、12例神经系统异常引起的运动障碍)和88名健康用户]采集语音模态元音/ah:/以及笔模态“连线测试”的交互任务数据，提取其中的语音特征与笔交互特征，拼接融合得到1437维多模态融合特征向量，为避免维度过高引起分类模型的过拟合问题，用Correlation-based Feature Selection进行特征选择得到55维特征，进而利用DCEM(Ex) (dual channel ensemble model with extra information)对数据进行分类训练，分类准确度为89.22%，高于仅使用笔模态数据的分类准确度(82.54%)和仅使用语音模态的分类准确度(77.8%)[36]。