面向神经工效学的触控显示系统人机交互评价方法

董渊哲，李晓玲，姚磊，姜颖

（西安交通大学机械工程学院，710049，西安）

神经科学的快速发展使认知心理学研究转向对大脑认知功能的探索，由此产生了神经工效学（neu－roergonomics）［1－3］。2012年，神经工效学技术认知研讨会对神经工效学的范围进行了界定，包括：自适应学习系统，团队绩效中的神经－行为同步性，遗传和个体差异对决策制定的影响，警觉和注意力不足，中断和多任务，仿真研究［4］。传统工效学依赖于行为因素的心理学解释，评价标准不统一，且难以避免主观因素的影响。神经工效学则依赖人为因素的生物学解释，在研究方法上继承了神经科学，主要有神经成像方法（脑电、事件相关电位和脑磁等）和生理心理学（皮电、肌电、呼吸等）方法［5－6］，较传统工效学更倾向于生理指标及神经系统的测量，并且更为客观有效。目前，以EEG、ERP和FMRI技术测量认知过程的脑活动变化成为神经工效学领域的热点和发展趋势［7－8］，而 EEG 测量技术因其准确率高、实时表现性好、技术成熟的优点，被广泛研究应用。

随着显控界面交互方式的日新月异，对界面的工效评价也日趋复杂多样。传统的机械式、电子式、模拟式显控系统界面大多采用视听觉感知、外设控制的方式进行人机交互，造成界面布局庞杂、信息注意分散和认知效率偏低，而触控技术的出现，使得人机界面更加直观、智能、人性化，提供了一种全新的人机交互体验模式［9］。目前，很多科研组织都在此领域进行了广泛研究，如美国的贝尔实验室［10］，卡内基梅隆大学的交互系统实验室［11］，斯坦福大学的人工智能研究中心［12］等。从电阻式触屏到红外式触屏、从手持触屏到大型人机交互触屏、从传统的单点触屏到现在的多点触屏，其技术在行业需求下成为显控系统的主流，但如何对这种新型显控方式进行科学的人机工效评价目前还没有统一标准。针对传统机电式、模拟式显控方式的人机评价标准，因其自身易受主观因素影响等缺陷，不能客观评估触控交互系统的人机工效。有研究表明，双手直接触控比鼠标输入方式的作业绩效（包括时间、错误率）有显著优势［13］。

本文结合最新的神经工效学成果，针对触控式显示系统的人机交互工效问题，提出了一种面向认知负荷和交互效率的多元评价方法，在认知负荷上，以θ波功率、近似熵作为评定指标；在交互效率上，以误判率、间隔时间作为评定指标。以座舱仪表为例，设计了一套仪表显控系统下两种操控方式的对比实验，记录分析操作者的行为表现及脑电信号，从认知负荷和交互效率上对触控显示方式进行多元评价。

1 基于EEG的人机工效对比实验

1.1 对比实验设计和步骤

本实验设计了一组模拟飞机座舱显控系统的仪表界面，并对任务难度进行了渐进式划分，同时搭建了2种操控方式（触控、操控）实验台，由此记录2组对比实验下的操作表现及脑电信号。

图1a、1b分别为触控式和模拟式实验台。设计上采用50百分位人体模型，在Jack软件中进行视域和双手可及域校核（见图2），使双目视角为135°，双手可及域达屏幕75%，并采用GL Studio（3.01版）编制仪表任务界面（见图3）。

图1 操控实验台

图2 人因校核结果图

图3 仪表显示界面

实验选取10名（20±2）岁本科生作为被试者，被试者需熟悉任务要求，佩戴电极帽（见图4），分别在两个实验台上完成任务。同时，考虑到被试单、双手操作的不同习惯，增设一组单、双手触控对比任务。

该流程共含6个任务（见图5），各阶段持续3min，间隔休息2min。在任务0，被试者闭目休息，采集平静期脑电信号；在任务1～5，当指针进入危险区域时，被试者需触控或操控仪表，使指针触发后弹回初始位置并再次转动。根据实际工程需求，任务共涵盖3个仪表数量等级（3块、6块和12块），3个指针转速等级（慢速0.25rad/s，中速1rad/s，快速4rad/s），同一任务中，各指针转速等级相同，初始位置不同，按一定顺序依次转动。实验中采用屏幕录像全程记录被试者表现，并使用NeuroScan4.5设备实时采集EEG信号。

图4 脑电信号采集

图5 任务流程图

1.2 评价指标的确定

在人机工效上，将神经工效学和传统方法相结合，从认知负荷和交互效率两方面来综合评定：在认知负荷上，采用EEG技术测量与知觉认知和体力任务相联系的脑活动的水平；在交互效率方面，则记录被试者的操作表现作为评定依据，以误判率和间隔时间作为指标。

在神经工效学中，EEG技术采集的信号由α波（0.5～13Hz）、β波（14～30Hz）、θ波（4～7Hz）及δ波（0.5～4Hz）组成［14］。其中，θ波能量在人体困倦时增多，是中枢神经系统抑制的表现，一般来讲，任务难度越大，θ波能量越高。近似熵（ApEn）主要分析非线性脑电信号的复杂程度，理论上讲任务难度越大，信号越复杂，近似熵值也越大［15－17］。因此，以θ波功率和近似熵（ApEn）作为指标来定量表征认知负荷程度。

在交互效率方面，记录仪表操作中的总点击数、误点数、错过数、总时间，并以误判率（MR）和反应间隔时间（tR）作为评价指标，算法如下

式中：N为单个任务的总点击数；N1为误点数，即某指针未进入危险区或已从末端返回时，误点该表盘的次数；N2为错过数，即指针进入危险区并到达末端过程中未点击的次数；T为单个任务的时间，为3min。

2 触控仪表人机工效评价方法

2.1 认知负荷评价

信号采集后进行放大、去伪迹、A/D转换和独立成分分解［15］等处理，消除通道间的影响，并进行θ波功率及近似熵的计算。

2.1.1 θ波功率判定 对θ波（4～7Hz）进行频谱分析和积分运算后，各阶段功率值Pθ如图6所示，各任务中触控式的功率值均比模拟式的要低，平均降幅达24.7%。

在图7中，同指针转速等级（1rad/s）时，随着仪表数目等级增大，触控式和模拟式的功率值均逐渐增大；同仪表数量等级（6块）时，随着转速等级增加，功率值逐渐增加至稳定。

图7 单一变量下θ波功率对比

2.1.2 近似熵判定 对于有限长为n的一维时域脑电信号序列｛x（n）｝＝x（1），x（2），x（3），…，x（n），近似熵值可定义为［16］

根据实践取m＝2，原始数据x（i）的标准差为0.1～0.2，如图8，各任务阶段触控式实验近似熵值均比模拟式要低，平均降幅达15.7%。

在图9中，同转速等级（1rad/s）时，随着仪表数目增多，触控式和模拟式近似熵值均先增再减，在6块仪表时达到最大；同仪表数量等级（6块）时，随着转速增加，模拟式近似熵逐渐增加，而触控式近似熵先增加后趋于稳定。

图8 近似熵对比

图9 单一变量下近似熵对比

2.2 交互效率评价

2.2.1 误判率分析 如图10a所示，触控式比模拟式仪表整体误判率显著降低。具体降幅如图10b所示：在任务1、2、3阶段，仪表数目少、任务难度低，平均降幅达92.2%；随着难度增大，在任务4、5阶段分别降低23.2%和49.9%，降幅下降；整个实验中误判率平均降低69.9%。

图11为同仪表数量或转速的误判率对比。图11a中，同转速等级（1rad/s）时，仪表从3块、6块到12块，模拟式的误判率从36.9%开始逐渐增加，12块仪表时达到最大，为73.7%；触控式的误判率在仪表数目少时较低，为2%左右，12块仪表时则大幅增加，达36.9%。图11b中，同仪表数量等级（6块）时，转速从0.25、1到4rad/s，模拟式的误判率从8.9%开始递增，在4rad/s达到最大，为84.8%；触控式的误判率在较低转速下保持2%左右，到4rad/s时大幅增长到65.1%。

图12a为同转速（1rad/s）等级下单、双手操作对比，表明双手比单手整体误判率较为降低。具体如图12b，3块、6块仪表时误判率降幅较大，平均达21.2%；12块仪表时降幅较小，为5.2%；整体误判率平均降低15.3%。

图10 误判率结果对比

图11 单一变量时的误判率对比

图12 单双手操作误判率对比

2.2.2 反应间隔时间分析 如图13a所示，触控式仪表的反应间隔时间明显缩短。具体缩短比率如图13b所示：任务1中仪表数目少、难度低，反应间隔时间缩短比率为39.1%；任务2为5.2%，为最低值；任务3、4、5阶段，模拟式间的反应隔时间持续递增，最高达3.4s，触控式的间隔时间则趋于稳定，在1.4s左右；整个实验中触控式的反应间隔时间平均缩短37.2%。

图14为同仪表数量或转速条件下的反应间隔时间对比。图14a中，同转速（1rad/s）等级时，仪表从3块、6块到12块，模拟式和触控式的间隔时间均先减后增，在6块仪表时最短，分别为2.3s和1.4s。图14b中，同仪表数量等级（6块）时，转速从0.25、1到4rad/s，模拟式和触控式的间隔时间也先减后增，在1rad/s时最短，分别为2.3s和1.4s。

图15a为同转速（1rad/s）等级下单、双手操作条件下的反应间隔时间对比，表明在间隔时间上双手触控反应更快。具体如图15b所示，随着任务难度等级增大，缩短比率先减再增，双手比单手操作整体缩短比率平均达6.3%。

图13 反应间隔时间对比结果

图14 单一变量的反应间隔时间对比

图15 单双手操作间隔时间对比

2.3 相关分析

在理论上，当任务难度增大时被试者的负荷程度将增大，误判率也将增大，因此，为进一步验证EEG方法评价负荷程度的可行性，采用Pearson指数r为相关系数，分别计算了负荷程度指标近似熵、θ波功率与误判率的相关性，可得模拟式实验中近似熵和误判率的相关系数r1＝0.820，θ波功率和误判率的相关系数r2＝0.716；触控式实验中近似熵和误判率的相关系数r3＝0.579，θ波功率和误判率的相关系数r4＝0.609。

3 评价结果

（1）从仪表数量和转速可以看出，在一定等级内，随着任务难度增大，被试者的误判率逐渐升高，θ波功率值和近似熵值逐渐增加；超过一定等级后，任务难度继续增大，误判率继续升高，θ波功率值增加至稳定，近似熵值则先增再略减。相关分析表明，模拟式实验中r1＝0.820，r2＝0.716，触控式实验中r3＝0.579，r4＝0.609，均验证了EEG方法的可行性。同时反映了人自身具有一定的认知学习能力［18］，经过前期任务的适应，会相对改进效率，降低因任务难度增加带来的认知负荷程度。

（2）对比整体实验结果可以看出，引入触控方式后，被试者操作误判率平均降低69.9%、反应间隔时间平均缩短37.2%，这种交互效率的大幅提高得益于被试者认知负荷程度的下降，其中θ波功率和近似熵指标降幅达24.7%和15.7%，这体现了触控式系统的高准确度和高灵敏度，也反映了触控系统降低认知负荷的高效性。

（3）此外，双手触控比单手更具优势，误判率和间隔时间更低，但随着任务难度增加，双手操作的优势会逐渐降低，反映了人在高难度任务下处理紧急任务的极限状况。

4 结 论

本文通过触控系统和模拟式系统下两组对比实验，引入神经工效学研究方法，分别从认知负荷和交互效率2个大方面、4个小指标（θ波功率、近似熵、误判率、反应间隔时间）对触控显示系统的人机交互功效问题进行了研究，得到以下结论：无论在同等仪表数量还是同转速等级任务下，触控式仪表操控下的整体θ波功率值和近似熵值均明显低于模拟式仪表系统，表明触控式仪表显示系统在降低认知负荷方面有很大优势；触控式仪表操控下的误判率和反应间隔时间均明显低于模拟式仪表系统，表明触控式系统交互效率更高；在实验中，θ波能量和近似熵越高，表明人体困倦程度及中枢神经系统抑制现象增强、脑电信号更加复杂，被试人机交互效率越低，说明神经工效学指标θ波功率和近似熵代表的认知负荷程度，是造成人交互效率（误判率、反应间隔时间）变化的深层次原因，其作为神经工效学指标有着较强前瞻性和延展性。

［1］PROCTOR R，VU K.The cognitive revolution at age 50：has the promise of the human information－processing approach been fulfilled？［J］.International Journal of Human－Computer Interaction，2006，21（3）：253－284.

［2］PARASURAMAN R，RIZZO M.Neuroergonomics：the brain at work［M］.New York，USA：Oxford University Press，2007：3－12.

［3］SCHNELL T，POSTNIKOV A，HAMEL N.Neuroergonomic assessment of simulator fidelity in an aviation centric live virtual constructive（LVC）application［M］∥Lecture Notes in Computer Science：Vol 6780.Berlin，Germany：Springer，2011：221－230.

［4］PARASURAMAN R，BALDWINA C，KNOTT B，et al.Symposium：Neuroergonomics，technology，and cognition［J］.Work：A Journal of Prevention，Assessment and Rehabilitation，2012，41（S1）：5167－5171

［5］任衍具.神经工效学：工效学研究的新取向 ［J］.人类工效学，2011，17（3）：80－83.REN Yanju.Neuroergonomics：a new orientation of ergonomics research［J］.Chinese Journal of Ergonomics，2011，17（3）：80－83.

［6］HETTINGER L，BRANCO P，ENCARNACAO L，et al.Neuroadaptive technologies：applying neuroergonomics to the design of advanced interfaces［J］.Theoretical Issues in Ergonomics Science，2003，4（7）：220－237.

［7］STASI L，ANTOLI A，GEA M，et al.A neuroergonomic approach to evaluating mental workload in hypermedia interactions［J］.International Journal of Industrial Ergonomics，2011，41（3）：298－304.

［8］CAUSSE M，DEHAIS F，PERAN P，et al.The Effects of emotion on pilot decision－making：a neuroergonomic approach to aviation safety ［J］.Transportation Research：Part C，2013，33：272－281.

［9］ABRAHAM J.触控的力量 ［J］.中国电子商情，2011，17（9）：59－60.ABRAHAM J.The power of touch［J］.China Electronic Market，2011，17（9）：59－60.

［10］JIN S，TIEFEL T，WOLFE R，et al.Optically transparent，electrically conductive composite medium ［J］.Science，1992，255（5043）：446－448.

［11］HARGRAVES I.Technology and touch［J］.Knowledge Technology ＆Policy，2007，20（4）：221－229.

［12］HANRAHAN P.A graphical sense of touch［J］.Communications of the ACM，2009，52（12）：89－89.

［13］FORLINES C，WIGDOR D，SHEN C，et al.Directtouch vs.mouse input for tabletop displays［C］∥Proceedings of the SIGCHI Conference on Human Factors in Computing Systems.San Jose，CA，USA：ACM，2007：647－656.

［14］C ZHANG.Analysis of mental fatigue basing on power spectrum features of EEG ［J］.Space Medicine ＆Medical Engineering，2007，21（1）：35－39.

［15］FUNASE A，MOURI M，CICHOCKI A，et al.Suitable ICA algorithm for extracting saccade－related EEG signals ［J］.Neural Information Processing，2009（5863）：409－416.

［16］PINCUS S M.Approximate entropy（ApEn）as a complexity measure［J］.Chaos，1995，5（1）：110－117.

［17］PINCUS S M.Assessing serial irregularity and its implications for health ［J］.Ann N Y Acad Sci，2001，954（1）：245－267.

［18］MAJID B.Influence of simulation and real implementation skills on the cognitive learning aspects［C］∥3rd IEEE International Conference on Cognitive Infocommunications.Piscataway，NJ，USA：IEEE，2012：719－724.

［本刊相关文献链接］

杨德伟，冯祖仁，张翔.新型三臂巡线机器人机构设计及运动分析.2012，46（9）：43－48.［doi：10.7652/xjtuxb201209009］曹志华，陆小龙，赵世平，等.电力铁塔攀爬机器人的步态分析.2011，45（8）：67－72.［doi：10.7652/xjtuxb201108012］

张鄂，洪军，李彦山，等.汽车人机界面人体上肢位姿建模与优化研究.2008，42（5）：546－550.［doi：10.7652/xjtuxb200805 008］

张鄂，洪军，梁建，等.汽车人机接触界面体压分布的实验与评价研究.2007，41（5）：538－542.［doi：10.7652/xjtuxb2007 05008］

吴华新，赵修斌.应用多劈模型的仪表着陆系统地形评估方法.2011，45（07）：82－88.［doi：10.7652/xjtuxb201107016］