高认知负荷下工作记忆VR训练对陆军军人HRV及眼动影响的研究*

杨珮艺,詹 雨,程晓彤,冯正直△

(1.陆军军医大学医学心理系,重庆 400038;2.中国人民解放军32298部队,山东潍坊 261000)

现代战争高危险、高恶劣、高复杂的战场环境,会使军人承受极大的认知负荷,丧失多重任务平行处理的能力,甚至出现认知损伤或认知障碍[1],从而影响军事作业绩效和战斗力。军人作战心理素质成为决定战争胜负的关键因素之一[2-3],其中认知能力是心理素质的重要组成部分,与军人军事任务完成能力息息相关。世界军事强国近年来都把军人认知能力的提升作为焦点和热点问题进行研究[4-6]。根据认知负荷理论,影响认知负荷大小的重要因素是工作记忆所能承受加工数量的多少[7],若当前任务施加的加工数量超过了个体的工作记忆总量,即出现高认知负荷,会导致任务完成效率降低。因此,工作记忆被认为是个体认知负荷能力的核心,是指个体在执行认知任务时,暂时存储和加工信息的容量有限的系统[8],可以通过训练提高[9]。但以往工作记忆评估和训练多采用纸笔或计算机形式,真实性欠缺且生态效度不高,训练结果对于军人在战场中表现的预测力也较低[10]。而当前迅速发展的虚拟现实(VR)技术可用于模拟战场环节,通过动态建模、三维动画等技术模拟现实环境,形成高级人机交互,模仿高危险、高恶劣、高复杂的战场环境[11],在军事心理训练中有不可比拟的优势。国外将VR技术应用于军人工作记忆的研究相对较多,在初步评估刷新、转换和抑制功能方面已获得了令人满意的效果。如PARSONS等[12]为美军构建了虚拟伊拉克战场,评估刺激复杂度、强度的增加对军人执行注意任务的影响。结合认知任务,形成虚拟现实认知能力测评系统(Virtual Reality Cognitive Performance Assessment Test,VRCPAT1.0)[13]对战争场景下的认知功能进行生理和心理评估。而国内对VR认知评估和训练的运用主要集中在飞行员、孤独症、脑损伤患者及老年痴呆患者[14-18],鲜有应用VR技术对军人工作记忆进行评估与训练的相关研究。因此,本研究拟利用程晓彤等[19]构建的陆军军人工作记忆 VR训练系统中VR虚拟驾车和哨卡场景任务来增加被试者认知负荷,采集能反映个体副交感和交感神经激活程度的心率变异性(HRV)频域信号,如高频成分(HF)、低频成分(LF)、标准化的高频功率(HFnorm)、标准化的低频功率(LFnorm)和HF与LF的比值(LF/HF)。这些都与个体的自主神经系统的调节、呼吸活动、应激状态及情绪有关,因此,在本研究中用于推测被试者的工作记忆和认知负荷水平[20]。同时,利用眼动追踪技术记录被试者的眼动轨迹和瞳孔变化等,以反映个体对信息的实时获取和加工过程[21],探讨高认知负荷下工作记忆VR训练对军人HRV及眼动信号的影响。

1 资料与方法

1.1 一般资料

从某陆军单位抽取60名军人分别进入驾车组和哨卡组,每组30名。期间有4名被试者因休假、外出学习等原因未能完成训练,最终回收有效数据56份,驾车组27名、哨卡组29名。所有被试者均为男性,年龄18～25岁,平均(20.86±1.80)岁。本研究获得陆军军医大学伦理委员会批准[IEC-C-(B013)-02-J.02],所有被试者对本研究知情同意。

1.2 方法

1.2.1试验设备

本研究的实验设备包括2套VR设备(包括头戴式设备、操控手柄和定位器),1个模拟驾驶器(罗技G29方向盘+Playseat驾驶器座椅),2个生物反馈仪和2台计算机。生理反馈仪采用加拿大Thought Technology公司生产的Procomp infiniti/BioGraph infiniti八通道多参数生物反馈仪,通过指端生物反馈仪的指端传感器记录被试者的HRV频域指标。眼动仪采用的是HTC VIVE Pro Eye专业版VR眼镜,其集成Tobbi眼动追踪功能,利用SteamVR2.0跟踪技术,采用双AMOLED显示器,注视数据输出频率(双眼)为120 Hz,追踪视角为110°,精度为0.5°～1.1°,刷新率为90 Hz,双眼分辨率为2 880 P×1 600 P,可输出数据有时间戳、凝视原点、凝视方向、瞳孔位置、瞳孔直径和睁眼状态。

1.2.2高认知负荷下工作记忆VR训练

采用程晓彤等[19]构建的陆军军人工作记忆VR训练系统,在VR场景中被试者需同时完成战斗任务(驾车任务1级/哨卡任务1级)和工作记忆任务(n-back任务、数字转换任务和色词Stroop任务),战斗任务与工作记忆任务相结合,通过改变认知干扰的复杂度和强度调控被试者的认知负荷水平。编号规则为:战斗任务中驾车任务编码A,哨卡任务编码B,工作记忆任务中n-back任务编码a,数字转换任务编码b,色词Stroop任务编码d。训练任务编码见表1。

表1 训练任务编码表

1.2.3驾车任务

驾车任务通过设置敌我交战区域中的安全区、埋伏区任务和障碍以造成认知干扰;被试者驾车在沙漠中行驶,道路掺杂干扰和障碍(安全区),或暴露在枪击、爆炸及战友受伤等战争场景(埋伏区)。类似于真实场景,被试者在驾车途中以方向盘和油门控制车辆方向和速度,或躲避障碍物。驾车过程中要同时完成工作记忆任务,从起点开始后,被试者单纯驾车30 s 后挡风玻璃上呈现注视点“+”500 ms,而后呈现工作记忆VR训练任务,包括n-back任务、数字转换任务、色词stroop任务,完成后到达终点。

1.2.4哨卡任务

哨卡任务通过设置白天和夜间两个场景调控被试者的认知觉醒水平;被试者在虚拟哨卡场景中执行任务,观察通过的车辆,车辆停下时耳机会向被试者报告通过车辆的分类,可能是中国军人、中国平民、中国警察或可疑叛乱分子,被试者要立即判别报告是否正确,按左右手柄作出反应,正确按“左手柄”,错误按“右手柄”,其中匹配刺激与非匹配刺激比例为2∶1,按键车走,车辆通过后会呈现工作记忆VR训练任务,包括n-back任务、数字转换任务和色词Stroop任务。

1.2.5工作记忆VR训练

工作记忆VR训练任务包含:(1) n-back 经典的字母匹配任务;(2)色词 Stroop 任务,经典的颜色命名任务,以固定和随机位置两级难度展现“红”“绿”词汇;(3)数字转换任务,固定位置指难度数字出现位置和注视位置一致,随机位置指难度数字出现位置不固定,以九宫格区间出现。

1.2.6实验流程

在正式实验之前被试者先休息5 min,在中指连接生物反馈仪。首先测试5 min的静息态,同时对VR眼镜进行眼动校准,然后戴上VR眼镜完成n-back、数字转换和色词Stroop 3个任务,任务过程中通过生物反馈仪的指端传感器记录被试者的HRV,连接生理反馈仪记录其心电信号,VR眼镜同时记录被试者的眼动信号。驾车组和哨卡组被试者共完成VR训练前和训练后6项任务,包括驾车组A1a1、A1b1、A1d1,哨卡组的B1a1、B1b1、B1d1。

1.3 生理指标收集

THAYER等[22]提出由于迷走神经与前额叶皮层联系紧密,所以交感神经活动与认知能力存在直接联系,且HRV生理信号不存在延迟问题,是对交感神经系统的首批反应之一,对于验证认知负荷的准确率较高[23]。因此,本研究采集被试者任务训练前和任务训练后的HRV频域指标(HFnorm LFnorm、LF/HF比值)作为被试者认知负荷水平变化的判断信息,此外,工作记忆中的视空间模版负责视觉信息的暂时储存。眼动数据是反映个体认知负荷水平的有效生理指标[24],可以通过个体的瞳孔直径和热力图判断认知负荷水平的高低[25]。因此,参考以往研究[26],本研究采集被试者任务训练前和任务训练后左眼的瞳孔直径(mm)和热力图(所有被试者的瞳孔位置)分别反映认知负荷水平的变化。

1.4 统计学处理

2 结 果

2.1 驾车组任务训练前、后的HRV及瞳孔直径比较

驾车组A1a1任务训练前的瞳孔直径明显大于任务训练后(P<0.01);训练前、后的LFnorm、HFnorm、LF/HF比值差异无统计学意义(P>0.05)。A1b1任务训练前的瞳孔直径明显大于任务训练后(P<0.01);任务训练前、后的LFnorm、HFnorm、LF/HF比值差异无统计学意义(P>0.05)。A1d1任务训练前的瞳孔直径、HFnorm明显大于任务训练后(P<0.01);任务训练前、后的LFnorm、LF/HF比值差异无统计学意义(P>0.05),见表2。

表2 驾车组任务训练前、后的HRV及瞳孔直径比较或M(Q1,Q3)]

2.2 哨卡组任务训练前、后的HRV及瞳孔直径比较

哨卡组B1a1任务训练前的瞳孔直径明显大于任务训练后(P<0.01);任务训练前、后的LFnorm、HFnorm、LF/HF比值差异无统计学意义(P>0.05);B1b1任务训练前的瞳孔直径明显大于任务训练后(P<0.01);任务训练前、后的LFnorm、HFnorm、LF/HF比值差异无统计学意义(P>0.05)。B1d1任务训练前的瞳孔直径明显大于训练后(P<0.01);任务训练前、后的LFnorm、HFnorm、LF/HF差异无统计学意义(P>0.05),见表3。

表3 哨卡组任务训练前、后的HRV及瞳孔直径比较或M(Q1,Q3)]

2.3 驾车组任务训练前、后的热点图比较

A1a1任务训练前被试者的瞳孔位置分布集中,最高次数达1 400次,热点较少且范围较小;任务训练后被试者的瞳孔位置分布较广,最高次数不到400次,热点较多且范围较广。A1b1任务训练前被试者的瞳孔位置分布较广,最高次数达800次,热点较少,范围较大;任务训练后被试者的瞳孔位置分布较广,最高次数不到250次,热点较多且范围较广。A1d1任务训练前被试者的瞳孔位置分布较广,最高次数达400次,热点较多,范围较小;任务训练后被试者的瞳孔位置分布较广,最高次数不到300次,热点较少且范围较小,见图1。

热点图的横坐标代表瞳孔位置左右变化,纵坐标代表瞳孔位置上下变化,曈孔中心点位置坐标为(0.5,0.5)。

2.4 哨卡组任务训练前、后的热点图比较

B1a1任务训练前被试者的瞳孔位置分布集中,最高次数不到400次,热点较多且范围较广;任务训练后被试者的瞳孔位置分布较广,最高次数不到350次,热点较多且范围较广。B1b1任务训练前被试者的瞳孔位置分布较广,最高次数达600次,热点较少且范围较小;任务训练后被试者的瞳孔位置分布较广,最高次数不到350次,热点较多且范围较广。B1d1任务训练前被试者的瞳孔位置分布集中,最高次数达4 000次以上,热点较少且范围较小;任务训练后被试者的瞳孔位置分布较广,最高次数不到350次,热点较多且范围较广,见图2。

热点图的横坐标代表瞳孔位置左右变化,纵坐标代表瞳孔位置上下变化,曈孔中心点位置坐标为(0.5,0.5)。

3 讨 论

根据以往研究可知,随着认知负荷的增加,LFnorm和LF/HF比值也明显增加[27-28],与工作记忆任务成绩呈正相关[29]。但在本研究结果中,除A1d1任务训练前的HFnorm值明显大于任务训练后,其余任务训练前、后的LFnorm,HFnorm和LF/HF比值差异均无统计学意义(P>0.05),表明在经过高认知负荷工作记忆训练后,被试者的认知负荷和工作记忆水平没有变化。这与一些研究结果不一致,如CORRIGAN等[30]发现新兵在基础训练前期HRV升高,提示认知负荷升高,在训练后期HRV的降低表明认知负荷减少。以及COLEMAN等[31]发现经过VR训练,儿童在现实学习场景中的工作记忆明显提高,注意力集中时间增加。这不一致的现象可能和被试者采集生理信号时的身体动态相关,HRV频域信号和认知负荷之间的关系通常是被试者坐在电脑屏幕前时测量的,而VR训练过程中需要高度的身体运动,可能会影响测量到的HRV频域信号,如HE等[32]发现HR相关生理数据在测量认知负荷水平上的准确率比眼动数据低1%～15%,可能HRV并不适用在运动状态VR训练时测量被试者的认知负荷。在本研究中,被试者佩戴生物反馈仪的同时伴随身体运动来完成VR训练任务,可能导致的HRV信号记录误差或错误,这可能是本研究架车组和哨卡组任务训练前、后的LFnorm,HFnorm和LF/HF比值无差异的原因,有待关于生理信号指标的进一步研究。

从以往研究的眼动数据中发现完成简单任务时的注视时间、注视次数、瞳孔直径均明显小于复杂任务[33],或是一些高工作记忆容量被试者在句子阅读任务中的总注视时间和首次注视时间均明显低于低工作记忆容量被试者[34]。本研究中两组军人任务训练前的瞳孔直径均明显大于训练后,说明经过高认知负荷下工作记忆VR训练,在完成相同工作记忆任务时的认知负荷水平降低。其次,热力图用于判断被试者注视次数和注视分布情况,个体的注视点分布会随着认知负荷的增加变得更为集中[25],且在相同任务中高工作记忆容量个体的注视次数均明显小于低工作记忆容量个体[34]。本研究对任务训练前、后的瞳孔位置热点图进行分析发现,除A1d1和B1a1任务之外,其余任务在完成训练前任务时的瞳孔位置较训练后更为集中,说明被试者任务训练前的认知负荷大于训练后,且任务训练后较任务训练前注视次数降低,说明被试者工作记忆水平有增强。因此,本研究的眼动结果显示被试者军人经过高认知负荷下工作记忆VR训练后,其认知负荷水平降低,工作记忆能力增强,佐证了高认知负荷下工作记忆VR训练对提高认知负荷和工作记忆能力是有效的。这与一些研究结果相似,如BINSCH 等[35]发现警察被试者经过VR训练后工作记忆容量增加,在真实监视任务中的表现力和恢复力都得到提升,程晓彤等[19]也发现相比于对照组,VR组经过训练后工作记忆容量、刷新和抑制功能有明显提高。尽管本研究观测指标不同于以往研究,但结果相同,都验证了VR训练技术用于增强工作记忆和提高认知负荷能力的有效性。

综上所述,本研究利用军人高认知负荷下工作记忆VR训练系统任务增强了军人工作记忆容量和认知负荷能力,为 VR训练技术应用于军事认知心理训练提供了实证支持。本研究的局限在于:首先,可能受限于HRV生理信号采集过程的影响,HRV信号任务训练前、后几乎无明显差异。其次,没有进行长期追踪,无法确定军人工作记忆能力的训练效果是否能长时间持续,以及高认知负荷下工作记忆VR训练效果是否能迁移到真实任务场景中。未来的研究中,应结合脑电图(EEG)或功能性磁共振成像(fMRI)等技术为工作记忆能力训练效果提供更全面的生理指标支持,同时考虑进行长期可追踪的研究,验证训练效果的持续时间和对真实任务完成情况的影响。同时,随着近几年人工智能、大数据和增强现实(AR) 等技术的发展,期望能结合多种技术模式,进一步完善真实战场环境和任务模式,并为不同的训练个体提供个性化和高交互性的训练模块,如根据不同的认知目标,选择不同的训练任务,更加个性化地对认知能力、注意力或决策能力等进行训练。以此来达到高度化“人-机-环”交互,进而为实现军人认知增强提供更全面的训练方式。