基于非任务相关ERP技术的飞行员脑力负荷评价方法

完颜笑如 庄达民* 刘 伟

1(北京航空航天大学航空科学与工程学院，北京 100191)

2(北京邮电大学自动化学院，北京 100876)

基于非任务相关ERP技术的飞行员脑力负荷评价方法

完颜笑如1庄达民1*刘 伟2

1(北京航空航天大学航空科学与工程学院，北京 100191)

2(北京邮电大学自动化学院，北京 100876)

为研究不同飞行脑力负荷水平对被试脑功能的影响，在飞行模拟任务中，要求被试对平视显示器(HUD)仿真模型上所呈现的目标信息状态进行监视，发现异常信息后按指定键进行消除。实验通过设定所需监视的目标信息数量及刷新频率，以控制被试的脑力负荷水平。在进行飞行模拟任务的同时，对被试双耳输入oddball模式下的听觉刺激，要求被试忽略该声音刺激。记录和分析不同脑力负荷下的听觉失匹配负波(MMN)。结果表明，在额中央区，与低脑力负荷相比，高脑力负荷下的MMN平均波幅增强，且与被试对异常信息的正确探测率成正相关。研究表明，听觉MMN对飞行脑力负荷具有较好敏感性，可为复杂飞行任务的脑力负荷评价提供一定的客观依据。

脑力负荷;事件相关电位;失匹配负波;警觉度;人机工效

引言

脑力负荷，指作业人员为达到业绩标准而付出的注意力大小，其涉及到完成某项任务时的工作要求、时间压力、作业人员的能力和努力程度，以及任务不顺利时的挫折感等［1］。飞机驾驶舱属于信息高度密集的特殊作业环境，近年来，随着飞行智能化、信息化程度的提高，飞行员在执行任务时往往需要同时关注多个信息。当遇到紧急情况时，由于作业负荷过高而导致脑力负荷超载的情况时有发生，严重影响到飞行安全，因此对由飞行员作业负荷变化而引发的脑力负荷进行测量评价具有重要意义［2］。目前国内外普遍应用的飞行员脑力负荷测量方法包括:主观评价法、主任务测量法、辅助任务测量法以及生理测量法。这些测量方法各有优点及应用的局限性，虽然通过使用这些方法已取得一系列研究成果，但仍远不能满足系统设计对于脑力负荷测量的要求，因此有必要不断改进现有的脑力负荷测量方法并开创新的方法［3］。

事件相关电位(event－related potentials，ERPs)测量是反映大脑信息加工活动的敏感而有意义的技术手段，由于脑力负荷与大脑的信息加工能力密切相关，因此将ERPs作为脑力负荷状况的评价指标是合适的［4］。随着脑电技术设备的发展，更多的脑电位可被采集记录到，从而促使ERPs成为目前在脑力负荷、疲劳评价领域很有发展前景的指标之一。近年来，在简单抽象任务、复杂模拟任务以及各种作业环境中探讨ERPs在脑力负荷评价方面的可用性，成为国际认知脑科学界及人机工效学界的研究热点［5－6］。

听觉失匹配负波(mismatch negativity，MMN)成分由Naatanen等于1978年所发现，其产生机制及认知学意义主要通过记忆痕迹假说获得解释，不断重复的规律性标准刺激的物理特征被编码贮存于大脑后，成为记忆痕迹，每一个输入的听觉刺激都自动与之相比较，如果有偏差刺激在标准刺激记忆痕迹存续期内出现，便会产生神经失匹配过程，诱发出MMN［7］。由于 MMN的产生是大脑基于非注意条件下对偏差刺激的自动反应，因此反映了大脑对外界信息的自动加工过程［8］。目前，在作业负荷评价领域，基于MMN成分所开展的相关研究主要为在单一作业任务或双作业任务下，探讨任务难度变化对于被试听觉MMN的影响［9－11］。由于这些研究所取得的结论并不一致，且多数研究是基于抽象的心理学实验所展开的，与飞行员在实际飞行时从显示器获取信息并做出反应判断的作业过程还存在较大差异，考虑到飞行任务的复杂性与特殊性，故这类研究结论能否直接应用于飞行任务的评价尚有待进一步的验证。

本研究基于前期对信息获取与脑力负荷之间的关系［12－13］，设定高、低两种作业负荷来控制被试的脑力负荷水平，通过研究高、低脑力负荷水平对被试听觉MMN的影响，检验MMN成分的敏感性，以期提出一种用于飞行任务脑力负荷评价的新的客观评价指标。

1 方法

1.1 被试

被试为北京航空航天大学13名在飞行模拟器上受过培训的模拟飞行员(男9例，女4例，22～28岁，平均年龄25.4岁)，右利手，能够熟练完成多种飞行模拟任务，视力或矫正视力正常，无精神疾患，听力正常，实验前对实验内容均知情同意。

1.2 飞行模拟任务

被试需要在“飞机座舱人机工效评定实验台”［14］上完成以巡航任务为主，包括起飞及降落在内的完整的飞行过程。在飞行中，被试需要对平视显示器仿真模型中目标信息的状态进行监视，当发现状态异常时，通过按指定键消除异常。不同的目标信息对应不同的按键。平视显示器仿真模型可显示空速、气压高度、雷达高度、航向角、俯仰角、滚转角、方向舵状态、起落架状态、发动机状态等多种飞行信息。实验通过设定需要被试保持监视的目标信息的数量及刷新频率来改变被试的作业负荷，从而控制被试的脑力负荷水平［12］。实验设定在高脑力负荷下，目标信息数量为9个，信息异常状态的平均呈现时间与间隔时间(inter－stimulus interval，ISI)分别为1 s与0.5 s;在低脑力负荷下，目标信息数量为3个，信息异常状态的平均呈现时间与间隔时间均为2 s。

1.3 Oddball任务

一个完整的听觉刺激序列包含1 200个标准刺激(1 000 Hz，65 dB SPL，出现概率 80%)，以及 300个偏差刺激(1 100 Hz，65 dB SPL，出现概率20%)，刺激呈现时间为 50 ms，刺激间隔(stimulus onset asynchrony，SOA)为500 ms。每个偏差刺激前，至少出现两个标准刺激。要求被试关注飞行模拟任务，忽略听觉刺激。

1.4 实验程序

13名被试均参与高、低两种脑力负荷下的2次飞行模拟任务，一次飞行模拟任务约需要13 min，每个被试的两次飞行模拟任务之间间隔3 d，同一被试的两次实验均在上午或下午进行，高、低脑力负荷的实验顺序在被试中交叉平衡。在整个飞行模拟过程中，通过耳机对被试双耳输入一个完整的听觉刺激序列。图1为“飞机座舱人机工效评定实验台”中刚完成实验的某被试者。

图1 飞机座舱人机工效评定实验台中的被试者Fig.1 A subject in the flight simulator

1.5 数据记录

计算机自动记录被试对异常信息的正确探测率和反应时间，作为后期作业绩效的评价指标。脑电信号采用 Neuroscan系统(40导，Compumedics NeuroScan公司，美国)，记录 FZ、FCZ、CZ位置的EEG。以鼻尖为参考电极，同时记录水平眼电和垂直眼电。电极与皮肤接触阻抗小于5 kΩ，记录带宽为0.1～100 Hz，采样率为 500 Hz/导。实验结束后，存储脑电数据备离线分析。

1.6 数据处理

采用Scan 4.3软件分析 EEG数据，利用 EOG信号相关法，去除垂直眼电和水平眼电对EEG信号的影响，排除有明显伪迹的数据。以听觉信号为触发，分别得出每个被试在每种条件下的平均 ERPs。分析时程(epoch)为450 ms，包含刺激前的50 ms为基线矫正，波幅大于±70 μV的视为伪迹予以剔除，所得ERPs经1～20 Hz的无相移带通数字滤波器滤波。用偏差刺激的ERPs减去标准刺激的 ERPs，得到MMN。对MMN平均波幅进行重复测量的两因素方差分析(repeated measures ANOVA):脑力负荷(2水平:高、低)×电极(3水平:FZ、FCZ、CZ)。通常，MMN的测量时间窗为刺激后150～250 ms，但对于复杂的听觉或认知加工，需要考虑更宽的时间窗［15］。根据总平均图，本实验设定 MMN的测量时间窗为刺激后的150～300 ms。对高、低脑力负荷下被试对异常信息的正确探测率及反应时间进行统计比较，并对MMN与作业绩效之间的相关性进行检验。

2 结果

2.1 作业绩效结果

被试在高、低脑力负荷下对异常信息的平均正确探测率和反应时间如表1所示。单因素重复测量的方差分析表明，在高脑力负荷下，被试对异常信息的正确探测率显著降低(F(1，12)=56.43;P＜0.001)，且反应时间出现延长的趋势(F(1，12)=4.05;P=0.067)，但未达到显著性水平。

表1 高、低脑力负荷下的正确探测率及反应时间Tab.1 Accuracy rate and reaction time under the high and low mental workloads

2.2 ERP结果

在高、低脑力负荷下，FZ、FCZ、CZ电极记录到的MMN总平均图如图2所示。在150～300 ms测量时间窗，两因素重复测量的方差分析表明，脑力负荷对MMN平均波幅的主效应显著(F(1，12)=5.35，P=0.039)，表现为高脑力负荷下的 MMN平均波幅((0.70 μV)显著高于低脑力负荷下的MMN平均波幅((0.23 μV)。电极主效应显著(F(2，24)=10.37;P=0.001)，表现为额区电极位置(FZ)的MMN平均波幅((0.62 μV)显著高于额中央区电极位置(FCZ)的 MMN平均波幅((0.50 μV)，额中央区电极位置的MMN平均波幅显著高于中央区电极位置(CZ)的 MMN平均波幅((0.34 μV)。

在150～300 ms测量时间窗，脑力负荷与电极的交互作用显著(F(2，24)=4.02;P=0.031)。多重比较检验结果表明，在低脑力负荷下，FZ电极的MMN平均波幅显著高于CZ电极的MMN平均波幅(P＜0.001)，FCZ电极的 MMN平均波幅显著高于CZ电极的MMN平均波幅(P＜0.001)，FZ电极的MMN平均波幅的均值高于FCZ电极的MMN平均波幅的均值，但两者间的差异未达到显著性水平(P=0.101);在CZ电极，高脑力负荷下的 MMN平均波幅显著高于低脑力负荷下的MMN平均波幅。被试在高、低脑力负荷下的 MMN平均波幅如表2所示。

2.3 相关分析

图2 高、低脑力负荷下MMN的总平均。(a)FZ电极;(b)FCZ电极;(c)CZ电极Fig.2 Grand-average difference waves under the high and low mental workloads.(a)FZ electrode;(b)FCZ electrode;(c)CZ electrode

表2 高、低脑力负荷下的MMN平均波幅Tab.2 Mean amplitudes of MMN under the high and low mental workloads

为验证作业绩效与MMN成分之间的相关程度，分别对 FZ、FCZ、CZ电极的MMN平均波幅与正确探测率和反应时间的相关性进行检验。结果表明:在FZ电极，MMN平均波幅与正确探测率呈正相关(r=0.46，P＜0.05)，在 FCZ电极，MMN平均波幅与正确探测率呈正相关(r=0.45，P＜0.05)，在CZ电极，MMN平均波幅与正确探测率呈显著正相关(r=0.52，P＜0.01)。但3个电极的 MMN平均波幅与反应时间的相关性均不显著，具体表现为在FZ电极，MMN平均波幅与反应时间的相关性为(r=－0.18，P＞0.05)，在 FZ电极，MMN平均波幅与反应时间的相关性为(r=－0.25，P＞0.05)，在FCZ电极，MMN平均波幅与反应时间的相关性为(r= －0.28，P＞0.05)。

3 讨论和结论

有关研究表明，作业人员在高脑力负荷下，因面临更高的任务要求及时间压力，很容易产生紧张、焦虑等情绪，而这些情绪因素均会增加生理唤起，提高作业人员的警觉度，并且可能调节注意的方向，使注意焦点以外的信息获得关注［16］。由此可见，在本研究中，高脑力负荷水平下的MMN成分诱发增强，可能与被试在面临困难任务时，因担心任务失败而使整体警戒水平提高，从而促使更多的脑力资源被唤醒，对任务非相关的听觉信息加工增强有关。相反，在持续性警戒作业中，当作业任务较为容易单调而又需要长时间保持注意时，作业人员的警觉水平容易发生下降，反映在本研究的实验结果中，就是当脑力负荷降低时，MMN的诱发削弱。

与本研究较为接近的工作是:Kramer等通过模拟实验，验证了MMN平均波幅在评价海军雷达作业人员脑力负荷时的敏感性［5］。但 Kramer的实验结果显示，随着脑力负荷的提高，作业人员对非任务相关信息的自动加工能力减弱，与本研究结果不一致。可能的原因在于本研究的单次实验时间较短，约为13 min;而在Kramer的研究中，单次实验时间为45 min。有研究表明，MMN诱发实验的时间不宜过长，当被试接受实验30 min左右时，会因疲劳而导致MMN诱发电位的幅度出现明显下降(超过40%)［17］，而该幅度的降低与脑力负荷水平无直接关系。张朋等人研究了在视觉追踪任务中，不同注意负荷对被试听觉MMN的影响，结果表明额中央区MMN的平均波幅随任务负荷的增加而增高［11］，与本研究结果一致。

本研究在较真实的飞行模拟环境下，讨论了不同脑力负荷对被试大脑的信息自动加工能力的影响。结果发现，与低脑力负荷相比，高脑力负荷下的MMN平均波幅增强，且MMN平均波幅与被试在飞行期间对异常信息的正确探测率成显著正相关。本研究清楚地表明，MMN成分对飞行任务的脑力负荷具有较好的敏感性，可为飞行员的脑力负荷评价提供一定的电生理依据，并将可能应用于航空航天领域的警觉度自动估计与监测［18］。

值得注意的是，本研究所采用的非注意条件下的MMN诱发实验方法，无需被试在实验过程中主动识别刺激，可避免考虑被试能否配合实验的因素，从而使对飞行模拟主任务的侵入性降到最低，为其应用的客观性提供了保障。

(致谢:感谢视觉艺术与脑认知研究中心对本研究的技术支持及建议)

［1］ Young MS， Stanton NA. Mental workload: theory，measurement，and application［A］.In:Karwowski W，eds.International Encyclopedia of Ergonomics and Human Factors［M］.London:Taylor＆ Francis.2001.507－509.

［2］ Noel JB，Bauer KW，Lanning JW.Improving pilot mental workload classification through feature exploitation and combination:a feasibility study［J］.Computers＆ Operations Research，2005，32(10):2713－2730.

［3］ 柳忠起，袁修干，刘涛，等.航空工效中的脑力负荷测量技术［J］.人类工效学，2003，9(2):19－22.

［4］ 宋健，苗丹民.脑力疲劳客观评定方法研究进展［J］.中华航空航天医学杂志，2006，17(1):74－76.

［5］ Kramer AF，Trejo LJ，Humphrey D.Assessment of mental workload with task－irrelevant auditory probes ［J］.Biological Psychology，1995，40(1－2):83－100.

［6］ 曹雪亮，苗丹民，刘练红.脑力疲劳评定方法现状［J］.第四军医大学学报，2006，27(4):382－384.

［7］ 马俊，胡斌，陈宪生，等.心境障碍患者的非匹配负波［J］.神经病学与神经康复学杂志，2008，5(4):220－222.

［8］ Naatanen R，Paavilainen P，Rinne T，et al.The mismatch negativity(MMN) in basic research ofcentralauditory processing:A review.Clinical Neurophysiology，2007，118(12):2544－2590.

［9］ Otten LJ，Alain C，Picton TW.Effects of visual attentional load on auditory processing［J］.NeuroReport，2000，11(4):875－880.

［10］ Yucel G，Petty C，McCarthy G，et al.Visual task complexity modulates the brain＇s response to unattended auditory novelty［J］.NeuroReport，2005，16(10):1031 － 1036.

［11］ Zhang Peng，Chen Xiangchuan，Yuan Peng，et al.The effect of visuospatial attentional load on the processing ofirrelevant acoustic distractors［J］.Neuroimage，2006，33(2):715 －724.

［12］ 张磊，庄达民，完颜笑如.基于不同脑力负荷和任务类型的信息颜色编码［J］.兵工学报，2009，30(11):1522－1526.

［13］ 曾庆新，庄达民，马银香.脑力负荷与目标辨认［J］.航空学报，2007，V28(4):S76－S80.

［14］ 张磊，庄达民，邓凡，等.飞机座舱人机工效评定实验台研制［J］.飞行力学，2009，27(1):81－84.

［15］ 赖永秀，田银，尧德中.音乐速度变化感知的失匹配负波［J］.中国生物医学工程学报，2010，29(2):277－282.

［16］ Wickens CD，Lee JD，Liu Yili，et al.Introduction to Human Factors Engineering［M］. (2nd Edition). New Jersey:Prentice Hall，2003.

［17］ 丁海艳，叶大田.MMN提取过程中关键问题的讨论［J］.北京生物医学工程，2006，25(1):79－84.

［18］ 傅佳伟，石立臣，吕宝粮.基于EEG的警觉度分析与估计研究综述［J］.中国生物医学工程学报，2009，28(4):589－595.

Evaluation Method of Pilot Mental Workload Based on Task-irrelevant ERP Technology

WANYAN Xiao－Ru1ZHUANG Da－Min1*LIU Wei2
1(School of Aeronautic Science and Engineering，Beihang University，Beijing 100191，China)
2(School of Automation，Beijing University of Posts and Telecommunications，Beijing 100876，China)

In order to demonstrate the effects of different mental workloads on the brain functions，a flight simulation task was carried out in the experiment and the subjects need to monitor the status of targeting information presented on the simulation model of head－up display(HUD).When abnormal information was detected，the subjects were required to make a response by pressing corresponding keys.By setting quantities and refresh frequencies of the targeting information，the high and low mental workload levels were manipulated.During the process of flight simulation，auditory stimuli were presented binaurally through headphones with an oddball paradigm and the subjects were instructed to ignore the auditory probes.Mismatch negativity(MMN)was recorded and analyzed.The results revealed that the MMN amplitudes were enhanced under the high mental workload than that under the low one and that the average amplitude of the fronto－central MMN was positively correlated with the accuracy rate of detecting abnormal information.The present study suggests that MMN is sensitive to flight mental workload and can provide effective electrophysiological evidence for flight mental workload assessment in complex tasks.

mental workload;event－related potentials;mismatch negativity;alertness;ergonomics

R338.8

A

0258－8021(2011)04－0528－05

10.3969/j.issn.0258－8021.2011.04.08

2010－10－20，录用日期:2011－04－22

国家重点基础研究发展(973)计划(2010CB734104);国家高技术研究发展(863)计划(2009AA012101)*

。 E－mail:zhuangdamin@yahoo.cn