基于脑电指标的指控系统人机界面评价研究

王大颜,瞿 珏，2

(1.空军工程大学, 西安 710051； 2.西北工业大学 航空学院， 西安 710072)

1 引言

指控系统作为武器装备操作控制和信息处理中心[1]，指控界面是指控系统的直观显示形式，是作战人员进行信息认知加工、态势识别、分析决策、命令输入、任务执行等人机交互任务的主要场所[2-3]，其设计好坏直接影响着操作人员的反应时间，以及完成任务的绩效[4]。在作战环境中，任务种类多、强度大，对时效性和精确性要求较高[5]，留给操纵员的有效时间短[6]。如若指控界面的信息显示及操控设计不合理，会使得操作人员的生理及心理状态超出承受范围，从而增加信息辨识、判断及操作控制的难度[7]，导致人因操作失误，威胁人员及装备安全[4]。

以防空导弹为例，一般飞机、巡航导弹、弹道导弹等目标在其允射范围内的决策时间只有几秒钟，当面对饱和攻击时，战勤人员需要阅读的信息量非常大，一直处于高度警戒的状态，认知负荷高，时间压力大[7]，指控系统人机界面如果不能适应人的认知特性，满足快速决策的人机交互需求[8]，显然难以保证操作人员每次都能做出及时准确的决策，可能会错过最佳作战时机导致拦截失败，甚至造成伊朗防空导弹误击乌克兰客机这种灾难性后果。在多目标、多任务、多信息的情况下，需要战勤人员监视、阅读大量信息并瞬间决策。优化武器装备指控系统人机界面设计水平，有利于提高指控系统人机交互效率和可靠性，保证人员快速有效地获取所需要的信息，并在有效的时间窗口内做出正确的决策提高装备作战效率。如何对武器装备的人机界面进行科学评价，是当前武器系统人机界面设计与评价亟待解决的问题。

人机界面的评价方法分为主观评价和客观评价。主观评价虽然能够降低评价过程的繁琐程度，能够直观的表现出被试人员使用界面的确切感受[9-11]，但不能给出评价规律，无法指导界面设计。客观评价能够给出相应的评价数据，建立客观的评价方法，拓展性强，有助于对不同种类的界面进行优化。

为了减少评价过程中的不确定性，研究人员将主客观因素按照设计的方式进行组合进行界面的评价。李惠等[12]提出了一种基于QFD—PUGH的人机界面评价方法，该种方法运用层次分析法和QFD模型将主客观因素融合，实现了对人机界面的综合评价。饶东等[13]提出里一种基于多层次模糊理论的评价方法，在一定程度上降低了评价人员的主观态度。孙林辉等[14]采用主观量表和客观眼动数据结合的方法评价英语学习类手机APP界面。郑瑞凌等[15]利用脑电的多时空特征实现了对数字图形界面认知负荷的评价，但是研究的重点是对不同数字界面下的认知负荷进行分类，并没有明确指出具体脑电指标的变化。

通过脑机接口[16-18]可以测得操作人员的脑电数据，将操作人员的脑电信号和界面的操作行为进行匹配，进而分析比较两者之间的关系，实现对操作人员操作行为和操作状态的评价。因此，本文将在人机界面评价的过程中着重研究具体的脑电信号的变化，为指控系统人界面的设计提供更加细致的依据。

本文以地空导弹指控系统人机交互过程作为应用背景，对操作人员在不同的任务量、任务单元种类和时间压力条件下的操作绩效以及生理指标进行实验研究。实验以雷达界面作为实验界面，图标数量、关键图标颜色和累积任务单元组成整体实验后限定完成时间作为变量，进行指控系统人机界面的评价指标的研究。通过对实验所得的脑电数据和行为数据进行处理和分析，确定在任务量、任务单元种类以及限定时间变化的情况下，操作绩效的变化情况以及操作人员的脑电指标的变化特征，确定和环境变化紧密相关的脑电指标，丰富了人机界面的客观评价指标体系，为人机界面的设计以及评价提供理论依据。

2 预实验1：目标形状的辨认

通过向被试展示不同形状组合的实验靶材，测试被试在这些靶材刺激下的正确反应时间，分析不同形状对作业绩效影响的差异性，确定显示界面中图标形状的最佳显示。

在SPSS中采用LSD多重检验比较法对5种不同形状两两之间进行反应时间矩差分析，结果见表1。

表1 LSD多重检验

3 预实验2：目标颜色的辨认

通过向被试展示不同颜色匹配的实验靶材，测试被试在不同靶材刺激下的正确反应时间，分析颜色匹配对作业绩效影响的差异性，确定显示界面的最佳颜色匹配。

按照显著性值对色彩组合进行差异性分组，即同组中的色彩匹配可以被认为反应时间无显著差异，分组结果如表2所示。

表2 颜色匹配分组结果

分析表2可知：42种色彩搭配按照反应时间差异分为5组，其中组1的平均反应时间最短，即黑/黄、黑/绿2种色彩搭配的可识别性最好；组4和组5的平均反应时间最长，即灰/白、灰/黄2种色彩搭配的可识别性较差，黄/白、白/黄2种色彩搭配的可识别性最差；其余36种色彩搭配分布在组2和组3中，其反应时间分别为493 ms和568 ms。图1为不同背景色反应时间的平均值的直方图，由图1可知，白色背景的平均反应时间最长，而黑色背景的平均反应时间最短。可见，以黑色为背景的颜色匹配的识别效率最优。

图1 不同背景色的平均反应时间直方图

总之，显示界面背景/前景颜色匹配对反应时间的影响存在显著的差异。通过对实验数据的LSD多重检验，比较两两颜色匹配对反应时间的影响情况，分析后得出：同一背景色在不同前景色的搭配下对反应时间的影响显著，其中黑/黄、黑/绿2种色彩搭配的辨识绩效最优，黄/白、白/黄2种辨识绩效最差。进一步对不同背景色的平均反应时间分析得出，黑色和蓝色背景的反应时间明显小于白色、黄色和灰色的反应时间。显示界面色彩设计应优先选择亮度水平较低的黑色作为背景色，黄色和绿色则作为目标色，必要情况下，红色、灰色、白色和蓝色也可作为目标色，而灰/白、灰/黄和黄/白、白/黄4种色彩匹配则应避免使用。因此，本实验选取黄色、绿色、红色和白色作为调整任务复杂度的颜色。

4 实验方案

4.1 方案设计

实验以雷达图为背景，以矩形、三角形、圆形和五边形图标为搜索目标，通过改变搜索图标数量体现任务单元任务量，通过改变搜索关键图标颜色体现任务复杂度，累积任务单元组成整体实验后限定完成时间来体现任务时间压力，利用E-prime软件进行实验交互界面的设计并采集任务反应时间、任务出错率或遗漏率，利用脑立方脑电设备采集脑电波输出变化，并利用Matlab和Excel软件进行数据分析。

任务量检测：矩形、三角形、圆形和五边形图标总数分别为20、40、60三个量级，单个图标个数区间分别为[3，7]，[8，12]，[13，17]，要求数出提示图标个数，并做出选择，每个量级做8个随机任务单元，连续做2遍16次，图标颜色为单色；

任务多单元检测：矩形、三角形、圆形和五边形图标总数为60，单个图标个数区间为[13，17]，图标颜色为单色，双色，四色三组，要求数出提示图标个数，并作出选择，各组做8个随机任务单元，2遍16次；

任务时间压力检测：矩形、三角形、圆形和五边形图标总数60，单个图标个数区间为 [13，17]，时间分为100 s、80 s、60 s三档，要求尽最快速度数出提示图标个数，并作出选择，要求尽量各组做到8个随机任务单元，2遍16次，图标颜色为单色。

实验过程中被试和数据采集过程如图2所示。

图2 被试和数据采集过程示意图

4.2 实验数据采集

实验选取8名在校本科生与硕士研究生，被试年龄在20～24岁，且均具有良好的计算机使用经验。被试均为右利手，视力正常，无色弱、色盲以及操作认知障碍。

实验地点为指控舱人机实验室，无外界环境干扰。实验开始前，被试佩戴好实验设备坐在人机实验室中，实验室中光线柔和且保持恒定，隔绝外界环境影响。被试按照如下步骤开始实验：

1) 了解实验目的，熟悉实验流程；

2) 调整座椅和屏幕，找到舒适的操作位置，使被试眼睛与屏幕距离保持在0.5 m左右，视线与屏幕垂直且落在屏幕中央区域附近；

3) 根据试验方案的设计，分别改变搜索图标的数量、关键图标的颜色以及限定完成任务的时间，进行3组不同的实验，分别采集被试人员的脑电数据。

被试人员处于安静脑立方脑电设备实验过程中。该设备采集部分信号及其各参数对应变化趋势如图3、图4所示。

图3 单个脑电实验数据采集样本界面

图4 单个脑电实验数据采集样本波形

5 实验数据分析与处理

脑电数据处理方法主要包括：利用峰度、标准差、均值等时域特征方法，小波系数、频谱等频域特征方法以及信息熵理论方法。时域特征与频域特征方法虽然能够提取有效的脑电数据特征，但是这些数据特征无法直观反应脑电信号的变化规律和复杂性[19]。近似熵在处理如脑电等非平稳信号方面具有独特的优势，能够反应出数据中的隐含信息[20]，因此本文选择近似熵算法进行数据处理。给定一个由N个数据组成的时间序列{x(n)}={x(1),x(2),x(3),…,x(N)}：

1) 时间序列上每连续t个数据都可组成一个t维矢量，即

{Xt(j)}=[x(j),(j+1),…,x(j+t-1)]

1≤j≤N-t+1

2) 设序列{Xt(j)}与序列{Xt(k)}的距离记为d[Xt(j),Xt(k)]，其含义为两时间序列的矢量的每一对应位置元素的差值的绝对值的最大者，即

4) 计算所有时间序列与原时间序列相似性的平均值φt(w),即

5) 将维度增加至t+1维，重新进行步骤1至步骤4，类似可计算出φt+1(w)为

6) 近似熵定义如下：

5.1 任务量分析

本实验任务单元任务量的安排，其显示对应画面如图5，通过E-Prime软件采集任务反应时间和任务执行错误数目数据导入Matlab软件统计分析，得到结果如图6所示。

图5 不同任务量下的实验展示画面

图6 不同任务量下的操作员反应时间、出错率分析直方图

由图6可知：尽管被试人员出现不同的个体差异，但随着任务单元任务量的增加，任务单元的总体的反应时间和出错率会随之增加，其中，随着任务单元任务量级的增加，其平均反应时间同比相对增长74.1%和37.4%，平均出错率同比相对增长110%和66.7%，说明任务单设置过程中，任务量(包括信息量和处理量)的增加会导致任务单元完成时效性和可靠性的降低，降低趋势呈缓和趋势。根据绩效采集数据分析结果可知，随着任务单元任务量的增加，任务单元的反应时间(主要执行时间)和出错概率随之提高，同时，根据被试人员实验过程中的主观感受，随着任务单元任务量的提高，被试人员感觉越来越吃力，随着时间的延续，有时甚至出现“眼花”而导致重新计数的情况。

利用Matlab和Excel软件对脑电数据进行数据分析，对比脑电实验数据结果和被试人员主观感受，以及绩效测量得到的任务单元反应时间和出错率对比可以推测出它们之间的相互关系(图7)。随着任务单元任务量的增加，人体投入的心理努力增加，个体认知系统的心理活动总量增加，认知负荷增加，被试人员的任务反应时间增加，出错率增加，表明任务单元执行的可靠性会随着任务单元任务量的增加而出现降低；脑电信号测量得到的低频的δ和θ波近似熵一致呈现降低趋势，中高频的β1、β2波近似熵一致呈现上升趋势，同时，表征人体专注程度的超高频的γ1和γ2波会出现降低趋势。

图7 任务量与脑电指标对应关系框图

5.2 任务单元种类分析

实验任务量的安排，其显示对应画面如图8，通过E-Prime软件采集任务反应时间和任务执行错误数目数据导入Matlab软件统计分析，得到结果如图9所示。

图8 不同任务单元种类下实验展示画面

图9 不同任务单元种类下的操作员反应时间、出错率分析直方图

由图9可知：随着任务单元种类的增加，被试人员的反应时间和出错率呈现U形的趋势，只针对任务界面元素区分颜色这一单个因素来讲，任务界面元素特征单一很不利于信息特征提取，当然，并不是界面元素特征颜色越多越好，由实验数据呈现趋势可知，当任务界面元素区分颜色增多时反而会影响主任务信息特征的提取，由实验数据呈现趋势还可以得出：任务界面在呈现过程中在提高信息区分度的同时，应该保证信息区分过程中要主次分明，避免不必要的干扰。

利用Matlab和Excel软件对脑电数据进行数据分析，对比脑电实验数据结果和被试人员主观感受，以及绩效测量得到的任务单元反应时间和出错率对比可以推测出它们之间的相互关系(图10)。随着任务单元种类的增加，人体投入的心理努力先呈增加趋势，进而随着种类的增加心理努力降低，个体认知系统的心理活动总量和认知负荷也呈现相同的变化。与此同时被试人员的任务反应时间和出错率增加先增加后减少，表明任务单元执行的可靠性会随着任务单元种类的增加不是呈正相关的关系，而是先呈正相关，后呈负相关。脑电信号测量得到的低频的δ和θ波及α1、α2波近似熵一致呈现先降低后升高的趋势，中高频的β1、β2波近似熵一致呈现先上升后下降的趋势，同时，表征人体专注程度的超高频的γ1和γ2波会出现先降低后上升的趋势，呈现“U”形。可能的解释是单元种类的增多，目标之间的区分更加明显，被试人员的专注度降低，但是随着单元种类的增多，越来难以辨识目标，被试人员的专注度进一步提升。

图10 任务单元种类与脑电指标对应关系框图

5.3 任务单元时间压力分析

根据实验任务单元时间压力的安排，其显示对应画面如图11，采集任务反应时间和任务执行错误数目数据导入Matlab软件统计分析，得到结果如图12所示。

图11 时间压力下任务单元界面

图12 时间压力下操作员完成率、出错率分析直方图

由图12可知：由于任务单元执行时间的减少，除个别情况外，被试人员对任务单元的完成率不同程度地降低，其平均降幅同比相对下降25.2%，16.9%，由于实验过程中预先提示时间缩短造成的心理压力，导致任务单元执行过程的出错率在时间大幅降低的情况下出错情况变得不稳定，总体呈上升趋势。仔细对比任务单元的完成率和出错率还会发现，部分被试人员在时间压力的影响下存在以牺牲任务完成的正确性为代价来提高总的任务完成率的情况。实验结果表明，在时间压力影响下，任务单元的完成率与错误率具有不稳定倾向，其整体的完成率呈下降趋势，错误率呈上升趋势，压缩完成时间带来的时间压力会降低任务完成的可靠性。任务单元时间压力绩效测量数据表明任务单元在时间压力影响下，任务单元的完成率与错误率具有不稳定倾向，其整体的完成率呈上升趋势，错误率呈下降趋势，压缩完成时间带来的时间压力会降低任务完成的可靠性。

利用Matlab和Excel软件对脑电数据进行数据分析，对比脑电实验数据结果和被试人员主观感受，以及绩效测量得到的任务单元反应时间和出错率对比可以推测出它们之间的相互关系(图13)。对应得到的脑电信号变化趋势显示脑电信号测量得到的中低频的δ、θ以及α1、α2波近似熵大体呈现降低趋势，中高频的β1、β2波近似熵呈现上升趋势，同时，表征人体专注程度的超高频的γ1和γ2波会出现“倒U”。对于表征人体专注的γ波在时间压力影响下出现先高后低现象，可能的解释是适度的时间压力有助于人体专注能力的提高，而过高的时间压力则会导致专注程度的降低。

图13 时间压力与脑电指标对应关系

6 结论

1) 在进行显示界面设计时，图标形状设计应优先考虑矩形，圆形和五边形，其次是三角形，菱形应尽量避免使用。

2) 显示界面色彩设计应优先选择亮度水平较低的黑色为背景色，黄色和绿色为目标色，必要情况下，红色、灰色、白色和蓝色也可作为目标色，而灰/白、灰/黄和黄/白、白/黄4种色彩匹配应避免使用。

3) 操作人员在任务量和时间压力变大的情况下脑电特征的变化相似，低频的δ和θ波近似熵呈降低趋势，中高频的β1、β2波近似熵一致呈上升趋势，但是随着任务量的增加表征人体专注程度的超高频的γ1和γ2波会出现降低趋势，而随着时间压力的增大，表征人体专注程度的超高频的γ1和γ2波会出现“倒U”形状。操作人员在任务多单元情况下的脑电变化于前两者有很大的不同。低频的δ和θ波及α1、α2波近似熵一致呈先降低后升高的趋势，中高频的β1、β2波近似熵一致呈先上升后下降的趋势，同时，表征人体专注程度的超高频的γ1和γ2波会出现先降低后上升的趋势，呈现“U”形。

4) 脑电指标的变化可以反映操作人员对于使用人机界面时感受的好坏,因此可作为操作人员操作界面认知状态的评估依据，进而用脑电指标作为人机界面客观的评价指标。面对易于操作的界面，操作人员的认知负荷较小，β1、β2波近似熵较低，低频的δ和θ波及α1、α2波近似熵一致较高。反之，β1、β2波近似熵较高，低频的δ和θ波及α1、α2波近似熵一致较低。所以，可以通过研究脑电参数的变化对界面易用性以及给操作人员带来的认知负荷大小进行评价。