基于多模态生理信号的驾驶人脑力负荷评估

张奇良，杨坤华，曲行达，陶达

深圳大学人因工程研究所，广东深圳 518060

车辆驾驶系统是由驾驶人、车辆及交通环境构成的高度耦合的人机交互系统［1］，其中，驾驶人需对复杂路况及车辆状态信息进行连续不断的认知处理.因此，驾驶人需付出大量的脑力活动以维持良好的驾驶表现.随着时间增加，驾驶人的脑力负荷（mental workload）不断增大，易导致操作失误，进而引发交通事故.事实上，驾驶人脑力负荷过载导致的驾驶安全问题一直是社会发展中面临的一个严峻安全问题.美国国家安全委员会报告表明，因驾驶人脑力负荷过载所导致的交通事故率占比超过21%［2］.因此，对驾驶人脑力负荷进行准确评估对于解决脑力负荷过载问题，以及降低交通事故发生率至关重要.

脑力负荷不同于体力劳动负荷和任务负荷，其强调由任务需求引起的压力［3］.常见的脑力负荷测量指标包括：主观问卷指标、生理指标、绩效指标以及这些指标的组合［4］.与主观测量和绩效测量相比，生理指标具有敏感性、非侵入性和客观性等优势.

目前，可用来反映脑力负荷的生理指标包括脑电指标、心电指标、皮电指标、眼动指标及呼吸指标等［5-7］.脑电指标中，KOSTI等［8］在软件工程师的代码错误检查任务实验中，发现θ功率与脑力负荷具有较强的相关性，而大脑额叶区信号中的θ波与脑力负荷高度相关［9］.心电指标中，心率（heart rate，HR）对不同脑力负荷水平的任务较为敏感，DE等［10］在飞行任务实验中发现，HR 随着任务难度增加而显著增加，TAO等［11］认为，心动间隔（interbeat interval，IBI）均值是报告最多的时域指标，其次是相邻R 峰值间隔差值平方的均方根（the square root of the mean of the sum of the squares of difference between successive R intervals differences，RMSSD）、心动间隔的标准差（standard deviation of heart beat interval，SDNN）及低频（low frequency，LF）功率等；在频域指标中，低频功率与高频功率的比率（the ratio of high frequency to low frequency，LF/HF）的应用最广泛［11］，HWANG等［12］在模拟核电厂停堆程序实验中发现，LF/HF随脑力负荷的增大而增加.皮电指标中，FOY 等［13］在模拟驾驶实验中发现，Tonic 渐变信号均值随着任务难度的增加而增大，DING 等［14］研究发现，皮肤电导（skin conductance，SC）均值在随着任务难度的增加而变大.

然而，以上指标并不是在任何情境下都能有效反映脑力负荷.TAO等［11］认为，几乎所有生理指标在评估脑力负荷的敏感性和有效性时，都会随情境的变化（如任务、人员和环境的不同）而有所不同.一些指标在某些特定情境下能有效评估脑力负荷，但在另外一些情境下则变得无效，表明单一指标可能存在可靠性不足、不确定性高以及难以全面反映个体差异的局限［15］.因此，如何充分利用不同来源的生理指标，开发更加稳健的评估方法来有效评估脑力负荷仍是一项难题.

有应用机器学习等算法融合多维指标进行脑力负荷的评估与预测的研究［16-18］.与传统使用单一指标进行评估不同，机器学习算法可以构建智能分类器来融合多维、多模态指标数据，并能从这些多维指标数据所反映的内在模式中进行自动学习，从而给出更准确的评估与预测信息［19］.决策树、k最近邻、随机森林和人工神经网络等是目前在脑力负荷评估中常用的机器学习算法，虽已取得较好的评估预测效果［1，14，20］，但仍存在一定局限性.首先，已有研究大多仅采用脑电、心电或皮电等单一模态的多维生理指标进行模型构建与评估，不能全面反映脑力负荷所引起的人体多方面生理指标变化，容易导致脑力负荷分类模型的分类准确率不高.如KOEING 等［20］基于心电信号，利用人工神经网络模型判别驾驶人的二分类脑力负荷，其准确率仅为68%.其次，尽管已有研究采用多模态组合的机器学习模型来评估脑力负荷，但对于各种模态及其组合在脑力负荷评估中的有效性比较研究仍较为缺乏，如YIN 等［21］基于脑电和心电双模态指标数据，利用支持向量机构建脑力负荷评估模型；YAN等［22］通过融合眼动和心电信号双模态指标数据，建立一种驾驶人脑力负荷预测模型，以提高驾驶安全；郑玲等［1］基于心电和皮电指标数据，并结合车辆信息特征，利用随机森林算法，构建具有较好分类性能的驾驶人脑力负荷分类模型.然而，这些研究仍难以说明各个模态的生理指标及其组合，在各种机器学习算法评估和预测脑力负荷时的效果优劣如何.最后，目前驾驶人脑力负荷评估研究中大都以构建二分类模型（如仅区分脑力负荷的高低）这类最简单的评估模型为主，而脑力负荷的变化实际是一个较为连续的过程，因此，多分类模型对脑力负荷的准确评估和预测更有意义.

因此，本研究基于典型驾驶任务场景开展实证研究，采用多模态生理指标数据，应用随机森林、k最近邻及决策树算法，构建不同模态生理指标及其组合的驾驶人脑力负荷三分类评估模型，系统评估各模态生理指标在脑力负荷评估中的有效性.

1 研究方法

1.1 受试者

本实验数据来自18 名视力正常且无认知障碍的在校学生（平均年龄23.2 岁，标准方差为1.6）.受试者的选取标准为：短发男性（短发受试者能降低脑电信号采集时的头皮表面阻抗）；具有1 a以上的有效中国驾照，且有实际上路驾驶经验；无3维眩晕反应；无脑疾病史或心脏病史.本实验的每个参与者都知悉、填写了知情同意书，并会获得相应的实验参与报酬.

1.2 实验方案

采用组内实验设计方式，组内因子为任务难度，分为低难度、中难度和高难度.实验以主任务和次任务的形式展开，主任务为驾驶任务，受试者需在模拟驾驶环境中以大约80 km/h 的速度驾驶车辆保持在中间车道行驶（图1），实验场景中设计了12辆/（km·车道）的稳定交通流，场景中周围环境车辆的速度为70～85 km/h，并不均匀分布了20 个障碍物，驾驶人若遇到障碍物可以变道超车，完成超车后需回到中间车道.次任务为N-back 记忆任务，用来调节实验任务难度，即低难度（仅驾驶任务，无次任务）、中难度（驾驶任务和1-back 次任务）和高难度（驾驶任务和2-back次任务）.

图1 实验及数据采集照片Fig.1 (Color online)Picture of experiment and data collection

N-back任务通过让受试者在驾驶过程中对语音播报的随机数字做出相应反应（按下方向盘上的机械按键）实现，N-back 任务与驾驶实验同步进行.其中，1-back 任务中，受试者听到2 个相同的相邻数字时，需按下按键；2-back任务中，受试者听到的某数字若与该数字之前间隔1 个的数字相同时，需要按下按键.图2为N-back任务示意图（听到图2中带下划线的数字时需要按下按钮）.

图2 N-back任务示意图Fig.2 Schematic diagram of N-back task

生理数据潜在提供了客观、连续和非侵入性的脑力负荷测量［23］，在实验过程中分别采集了驾驶人的脑电、心电及皮电3种模态的生理指标数据及美国航空航天局任务负荷指数（National Aeronautics and Space Administration task load index，NASA_TLX）量表主观脑力负荷数据，其中，大脑额叶区信号中的θ波被认为与脑力负荷高度相关［9］.心电（electrocardiogram，ECG）信号中的心率变异性（heart rate variability，HRV）反映了心跳周期差异的变化情况，常见的HRV时域指标包括Mean IBI、Mean HR、RMSSD及SDNN，频域指标包括LF、HF及LF/HF［24］.皮电（electrodermal activity，EDA）信号中的SC、Tonic、Phasic（突变信号）常被用来评估脑力负荷［25］.本研究采集的各生理信号指标如表1.

表1 所选取的各模态生理信号指标Table 1 The selected physiological signal indicators for each of the modalities

1.3 实验设备及流程

本实验采用基于FORUM8 开发的驾驶模拟平台，该平台由视觉仿真单元、音频仿真单元及运动单元组成，并配备罗技力反馈方向盘踏板套装.脑电信号通过BitBrain 32导脑电仪收集，采样频率为256 Hz；心电和皮电信号通过北京津发生理采集系统收集，采样频率分别为256 Hz和64 Hz.

考虑到驾驶疲劳对实验的影响，本研究将安排受试者在连续3 d 的相同时间段分别完成1 种难度的驾驶任务，实验任务难度顺序随机选择.实验开始前，受试者需要进行设备仪器佩戴.脑电仪根据10～20系统布置于受试者头皮表层，耳垂电极作为脑电帽的参考电极，实验前要求受试者清洗头皮并保持干燥以降低头皮表层阻抗.心电图原始数据通过将3个电极分别放置在左（负）、右（接地）锁骨及左肋软骨（正）下方进行记录.皮电原始数据采集自左手食指和中指，实验前通过酒精棉签擦洗皮肤表面以降低皮肤阻抗.受试者在佩戴好生理数据采集设备后，进入驾驶模拟平台进行实验练习任务，以熟悉驾驶模拟器操作和N-back 任务.正式实验开始后，受试者在选定的任务难度下进行连续1 h 的驾驶实验，实验结束后填写NASA_TLX量表.实验流程如图3.

图3 实验流程Fig.3 Schematic diagram of the experimental process

1.4 生理数据提取与数据分析方法

在对脑电数据进行50 Hz 的带阻滤波降低工频干扰后，使用0.1 Hz的高通滤波和30.0 Hz的低通滤波滤除不需要的频段脑电数据，并使用Welch法进行功率谱分析提取θ频段的功率值.心电信号采用中等强度的小波降噪来消除白噪声，并以1～30 Hz的频率对数据进行带通滤波，其中，R峰值提取的最大心率为120 次/min.皮电信号采用1～500 Hz的带通滤波处理原始数据后，使用窗口大小为78 ms的高斯滤波降噪.皮肤电导反应（skin conductance response，SCR）提取选择的是中等大小的峰值检测灵敏度，限定最大上升时间为4 s，最大衰减时间为4 s，最小的SCR振幅被限定为0.03 μs.

单因素方差用来分析不同任务难度对驾驶人主观脑力负荷的影响，独立样本t检验用来辨别次任务难度对驾驶人任务绩效的影响.Pearson 相关性分析用来剔除存在强相关性的生理数据特征以避免数据冗余.脑力负荷评估模型分别应用随机森林、决策树和k最近邻算法模型，通过准确率、宏平均召回率和宏平均精确率等指标评估模型性能，其中，宏平均召回率和宏平均精确率分别是指在对每一类别的召回率和精确率进行统计后，计算所有类别的算术平均值.

2 结果及分析

2.1 主观脑力负荷评价与次任务绩效分析

NASA_TLX主观评分与次任务错误次数均值见表2.单因素方差分析表明，次任务难度对主观评分结果具有显著影响，随着任务难度的增加，得分显著增加（F（2，69）= 9.692，P＜ 0.001），NASA_TLX评分说明驾驶人主观认知负荷随着次任务难度的增加而增加，且次任务难度设置较为合理，驾驶人能明显感受到次任务的难度变化.事后检验结果显示任何2 个不同难度任务之间存在显著差异（P＜0.05）.次任务绩效数据结果表明，随着任务难度的增加，1-back和2-back的错误次数和反应时间显著增加.独立样本t检验分析结果表明，次任务难度对次任务错误次数和次任务反应时间具有显著影响，其中，1-back和2-back任务间的绩效数据差异显著（错误次数为t=-3.202，P= 0.002；反应时间为t=-5.949，P= 0.000）.

表2 三种次任务下NASA_TLX评分与次任务错误次数（平均值±标准差）Table 2 NASA_TLX scores and the number of sub-task errors under three sub-tasks（mean±standard deviation）

2.2 生理信号数据分析结果

各指标方差分析结果显示，大脑额叶区θ波各脑电导在无任务状态和简单次任务状态下的特征值具有明显递增趋势，但简单次任务和复杂次任务间的特征值趋势相同.单因素方差分析显示，额叶区的电极导Fp1、Fp2、F3、F4、F7、F8及Fpz的θ波能量值在3种任务难度下差异显著（P＜0.005），而Fz在不同任务难度间没有显著差异（F（2，69）=2.607，P= 0.081）.心电特征中的IBI在不同任务难度下呈递 减 趋 势 ， 且 差 异 显 著（F（2，69）= 10.638，P＜0.001），其他时域特征HR、SDNN、RMSSD 与任务难度间成正比，在3种不同任务难度间均差异显著（P＜0.005），而心电信号中的频域特征LF 随着任务难度递增下变化明显，HF 尽管在均值中随着任务难度增加呈现递增趋势，但方差分析显示差异不显著（P= 0.058），而 LF/HF 差异显著（P=0.002）.皮电信号中的SC、Tonic 及Phasic 在不同任务难度下递增趋势显著（P＜0.050），可作为评价驾驶人脑力负荷的有效指标.方差分析结果请扫描论文末页右下角二维码查看表S1.

3 脑力负荷分类模型

3.1 建模数据预处理

为避免不同特征之间数据量级相差过大导致的量纲问题，本研究对所有数据进行归一化处理.通过对数据进行切片以增加样本量，片段选定时间长度为10 min.

3.2 特征提取

通过数据处理提取了7 种EEG 特征、6 种ECG特征及3种EDA特征.为减小强相关性特征造成的数据冗余，提高分类器精度，采用Pearson 相关分析去除强相关特征，以降低数据维度.若相关性系数绝对值大于0.6（代表特征之间高度线性相关），则保留其中1个特征［1］.生理特征Pearson相关性分析系数结果显示，脑电信号的Fp1 与Fpz、Fp2 与F7、F3 与F8 电极导的θ 波能量值存在强相关性；心电信号特征中的IBI与HR、SDNN与LF、RMSSD与LF/HF存在强相关性；皮电信号特征中的各指标无强相关性.因此，降维后的EEG 四种特征为Fp1、Fp2、F3 及 F4 电极导的 θ 波能量值，3 种HRV 特征为 LF/HF、IBI 及 SDNN，3 种 EDA 特征为SC、Tonic 及Phasic.Pearson 相关性分析系数结果详情请扫描论文末页右下角二维码查看表S2.

3.3 脑力负荷评估模型

本研究系统比较不同模态生理信号特征及其组合在随机森林、k-最近邻和决策树算法中的分类识别效果.各模态及其组合分别为：①单模态：脑电信号、心电信号及皮电信号；②双模态：脑电+心电信号、脑电+皮电信号、皮电+心电信号；③三模态：脑电+心电+皮电信号.各模型中每一个特征指标的输入共有324个数据（18名参与者×3种任务难度×6 个时间节点）.将不同任务难度作为分类器的输出标签.本研究随机选择80%的数据样本作为模型训练集，剩余20%的数据作为测试集，基于10 折交叉验证以观测模型的泛化能力.模型构建过程如图4（以三模态为例）.

图4 分类模型框图Fig.4 Block diagram of classification model

表3列出以不同模态的生理数据作为模型输入时的分类器及其性能指标.可见，①以单模态生理数据作为模型输入时，基于皮电、心电和脑电信号的模型分类准确率依次增加，其中，以脑电信号作为输入的模型准确率显著高于以心电或皮电作为输入的模型，随机森林在单模态生理数据中表现普遍最佳，基于脑电信号的模型准确率达到65.43%，3个脑力负荷等级的宏平均召回率和宏平均精确率分别为67.00%和67.33%.②以双模态生理数据作为模型输入时，发现脑电和心电的组合特征在k最近邻(k= 3) 模型中表现优异，准确率可达79.01%，宏平均召回率和宏平均精确率分别达到80.00%和79.00%.而皮电和心电的组合特征在3种模型中的准确率均较低，在表现最好的随机森林模型中的准确率也仅为66.26%.③当使用脑电、心电及皮电三模态生理信号组合的形式作为分类模型输入时，发现随机森林的分类准确率可达81.54%，宏平均召回率和宏平均精确率分别达到81.07%和82.17%，相比之下，k最近邻的分类准确率也可达76.54%，相应的宏平均召回率和宏平均精确率分别达到77.67%和76.76%.因此，在单一模态生理信号的分类模型中，基于脑电信号的随机森林模型表现最佳.在双模态生理信号的分类模型中，基于脑电和心电信号的k最近邻分类模型的准确率最高.在多模态生理信号的分类模型中，基于脑电、心电及皮电三模态生理信号的随机森林分类模型具有最高的分类准确率.

表3 以不同模态生理数据作为模型输入的分类结果汇总Table 3 Summary of classification results with different modal physiological data as model inputs %

为了提供三模态生理数据组合作为模型输入的更多分类结果细节，本研究绘制了混淆矩阵可视化随机森林在3种脑力负荷等级下的测试集性能，如图5.图5中每一列为真实类中该类别的样本数量，每一行为预测类中该类别的样本数量，对角线上的元素表示不同类别中正确预测的实例数量，对角线之外的元素表示错误预测实例的类别和数量.最右边的列和最下面的行分别表示相应类别的精确率和召回率，右下角元素表示整体的分类准确率.由图5可见，最大的分类错误率出现在低负荷和中负荷之间，随机森林模型将低脑力负荷错误地预测为中脑力负荷，占所有实例的7.69%.有4.62%的实例错误地将中脑力负荷预测为高脑力负荷.总体来说，随机森林模型较好预测了不同等级的脑力负荷，总体准确率达到81.54%.

图5 基于随机森林的三级脑力负荷分类的混淆矩阵Fig.5 (Color online)Confusion matrix of three-level brain workload classification based on random forest

4 讨 论

本研究使用单模态生理数据作为模型输入时发现，基于脑电信号随机森林模型的分类准确率高于心电与皮电信号.尽管随机森林模型本身无偏估计导致的模型泛化能力强的优点［26］可能是原因之一，但在其他两种机器学习模型中采用脑电信号作为模型输入的分类准确率亦高于心电和皮电信号，表明相比于心电与皮电信号，脑电信号能更好反映真实的脑力负荷水平，这可能是一些研究仅采用脑电信号作为脑力负荷评估指标的原因之一［5，27］.本研究也发现基于皮电信号的3种机器学习模型的准确率低于脑电与心电信号，在分类准确率最高的随机森林模型中仅为49.38%.类似地，郑玲等［1］比较了基于单模态信号在人工神经网络模型中的准确率，发现基于皮电的脑力负荷评估模型准确率仅为40.9%，低于心电信号.但不同的是，DING 等［14］在基于单模态生理信号评估脑力负荷时发现，皮电信号作为反向传播网络模型输入时的准确率为47.4%，高于心电或呼吸信号作为该模型输入，表明皮电信号表征脑力负荷可能受到模型类型与具体任务场景的影响.

由基于双模态生理数据的脑力负荷评估模型结果发现，基于脑电和心电指标组合的分类模型准确率最高，其在k最近邻模型中获得了79.01%的准确率，而脑电和皮电组合（70.37%）、心电和皮电组合（54.32%）在k最近邻分类模型中的准确率稍低.基于脑电和皮电的生理指标组合在随机森林模型中的分类准确率高于脑电和心电指标组合，表明在比较双模态生理指标组合类型时要考虑算法模型本身的特性，如k最近邻模型适合判别存在异常点的数据［28］，FAN等［29］基于脑电和心电信号的双模态数据，在支持向量机模型中得到80%以上的准确率.本研究还发现，在相同脑力负荷分类模型中，基于双模态生理信号的模型分类准确率高于基于单模态生理数据的分类准确率.类似地，郑玲等［1］比较了基于心电、皮电信号的单、双模态生理信号在人工神经网络（artificial neural network，ANN）模型中的识别准确率，发现基于心电和皮电的双模态生理信号组合在ANN 模型中的准确率达到65.9%，高于基于心电（63.8%）、皮电（40.9%）的单模态生理信号的准确率.DING 等［14］在基于心电、皮电和呼吸信号两两组合的双模态作为模型输入时，发现基于心电和皮电的双模态生理信号在反向传播神经网络（back propagation neural network，BPNN）模型中得到58.50%的准确率，高于基于心电（46.00%）、皮电（47.40%）及呼吸（43.90%）等单模态生理数据的模型准确率.因此，可以认为基于双模态生理数据组合的脑力负荷分类模型准确率高于单模态生理信号模型.

基于脑电、心电和皮电的三模态生理信号组合作为模型输入时发现，在随机森林模型中获得了81.54%的准确率，高于基于单、双模态生理信号时的模型准确率，表明三模态生理信号可以显著提高脑力负荷评估模型的准确率.类似地，DING等［14］基于心电、皮电和呼吸信号，对比不同模态生理信号组合作为BPNN 模型的输入，尽管这3 种生理信号在BPNN 模型中的准确率仅为78.30%，三模态生理信号组合的准确率仍然高于单、双模态生理信号组合，充分说明三模态生理信号在评估脑力负荷中的有效性要高于单、双模态.FENG 等［25］基于眼动、心电和皮电信号构建logistic 回归模型，得到84.85%的分类准确率，表明基于三模态生理信号的脑力负荷评估模型准确率较高.

本研究得到的结论对于准确评估驾驶人脑力负荷状态，并降低因驾驶人脑力负荷过载导致的交通事故发生具有重要意义.本研究亦存在一些局限.首先，考虑到实验数据收集的便利性，本研究数据均采集自男性，未来研究可纳入女性对象以评估研究结果在性别因素上的稳健性；其次，由于本研究聚焦于生理指标模态，而前人研究表明驾驶行为数据与脑力负荷也存在相关性［30］，因此，未来研究可进一步融合驾驶行为数据来提高脑力负荷评估模型的有效性.

结 语

本研究通过模拟驾驶场景下的驾驶任务，利用N-back作为次任务调控驾驶人脑力负荷，以采集不同脑力负荷状态下驾驶人的生理信号（脑电、心电、皮电信号），比较了不同生理指标模态及其组合在随机森林、决策树及k最近邻等模型中评估多等级脑力负荷的有效性.研究结果可为后续的驾驶人脑力负荷实时检测系统开发提供指导性建议.①研究发现在单模态生理信号的分类模型中，基于皮电、心电和脑电信号的分类模型准确率依次增加.该结论可适用于仅采集单一生理信号以检测驾驶人脑力负荷的便携式系统的开发.尽管本研究是多分类的脑力负荷评估模型，但基于单模态生理信号的分类结果仍不够理想.②本研究比较了双模态生理信号多种分类模型的准确率，发现基于双模态（脑电、心电信号组合）生理信号的k最近邻分类模型的准确率显著高于其他双模态生理信号组合.该结论提示驾驶人脑力负荷检测系统的信号采集应紧紧围绕于脑电、心电信号开展.③本研究发现基于脑电、心电及皮电三模态生理信号的随机森林分类模型具有最高的分类准确率，可为准确率要求较高的大型驾驶人脑力负荷评估系统提供明确的指导意见，即在优先考虑识别准确性的前提下，脑力负荷评估系统应该基于脑电、心电及皮电三模态生理信号构建.本研究结论为脑力负荷实时检测系统的识别准确率提供有力理论支撑，检测系统准确率的提高可显著提高现实世界中驾驶人的健康和交通安全水平.