虚拟现实视觉体验对事件相关电位影响的研究

徐桂芝 王 宁 张天恒 王 磊 郭苗苗

(省部共建电工装备可靠性与智能化国家重点实验室(河北工业大学)，天津 300132)

1 引言

虚拟现实(Virtual Reality，VR)是一种通过计算机技术，模拟产生具有身临其境感觉并可交互的虚拟场景的技术，该场景能够通过提供感官模拟带给使用者沉浸式的体验和自然的交互方法。虚拟现实技术至今已有40年左右的发展历程，融会了计算机、多媒体、传感器等新兴技术，但是直到最近几年随着这些技术的发展，虚拟现实才逐渐成熟，2016年也被认为是虚拟现实产业的“元年”[1]。许多知名公司，如谷歌、苹果、微软、三星、HTC在VR方面的大量投资，经济成本降低，使更多的人关注这一技术，而且能够接触到这一新兴的技术。虚拟现实技术在医学、军事、教育、游戏娱乐等方面都有了较广泛应用，特别是在教育方面，许多国内外公司和教育机构正在投入大量资源，采用沉浸式虚拟现实技术，包括头戴式显示设备，期望更高程度的沉浸可以提高学生的学习和认知能力。但是Guido等人在研究沉浸式VR设备对学生学习和训练的作用时发现，尽管VR具有激励作用，但在学习中VR可能会使人的认知超负荷并分散学习者的注意力，导致构建学习结果的机会减少，表现为在学习结果测试中的表现较差[2]。Efrosini等人通过虚拟现实系统制作地图，探究参与者在寻找道路时脑电反应，也提到下一步将从事件相关电位入手[3]。Cattan认为头戴式虚拟现实设备的不舒适感来源于它的重量和长久佩戴产生的晕动症，而且头戴式设备需要放入手机，这可能会影响脑电采集，结果发现智能手机设备与EEG是兼容的，之后引出了VR这种立体视觉是否会影响ERP的问题[4]。根据先前对立体电视的研究，Park等发现，3D视觉产生的P300潜伏期在更长时间被发现[5]；张崇等在研究中也发现，当人产生疲劳感时，P300的幅值会降低或是潜伏期会增加[6]；Kham等在研究中发现P300的潜伏期甚至达到了700 ms[7]，同时这些实验的结果也指出3D视觉会增加人的疲劳感。然而，在这个迅速发展的领域，研究对ERP的探讨有限。所以本研究的主要目的是探究虚拟现实视觉体验对事件相关电位的影响，为虚拟现实下的脑认知研究提供参考。

脑电信号反映了大脑神经元电活动及其功能状态，为深入了解大脑在处理感知、认知、运动和情绪等有关认知活动时的信息处理过程提供了强有力的技术支持。其中，事件相关电位(Event Related Potential, ERP)反映了认知过程中大脑的神经电生理变化，是一种特殊的诱发电位。事件相关电位在1965年由美国科学家Sutton首次提出，有“窥测精神之窗”之称，是继脑电图和肌电图之后的临床神经电生理的第三大进展。ERP分为外源性刺激相关电位和内源性刺激相关电位。外源性刺激相关电位与感觉或运动功能有关。内源性刺激电位与认知功能有关，反映执行认知任务时大脑信息处理过程，故也被称为认知电位[8]。认知电位中P300应用最为广泛。P300往往是在诱导刺激模式任务中出现，刺激的典型模式是由Vaughan和Ritter首次发现并使用的oddball范式刺激序列[8]，通常使用oddball范式研究ERP受视觉刺激的影响。

在研究事件相关电位时，参考电极的选择至关重要。EEG信号通常可以用一些特性来描述，如电压幅值、潜伏期和频谱密度等。而在脑信号的采集过程中，记录到信号实际上是电极与某一参考电极的差值。头皮记录中的参考电极如头顶部电极、双侧乳突电极参考、平均参考等虽然都是最常用的几种参考电极选择方式。但是尧德中教授指出，在每个实验条件下，这些选择参考的方式对每个电极波幅的影响在同一时间点是一个常数，而在不同时间点的是变化的，即相当于引入了未知的时域变化过程，这就是ERP随所用参考值而变化的原因，并且还表明这些参考方法对EEG数据的影响是不可避免的[9]。为了使数据准确，要求参考电极是无电活动的电极，即参考电极电位均为零电位。尧德中教授提出的参考电极标准化技术(Reference Electrode Standardization Technique，REST)[10]，可以利用头皮上一点或是平均参考电位的脑电记录，近似地转化为以空间无穷远的点作为参考电极的记录。这一技术已被验证是有效的。Chella通过实验对比认为这个方法可以近乎无偏差地对脑电图数据进行分析，而且还有助于对比不同实验室获得的数据，或是数据库中储存很久的选取不同参考的数据作对比，对跨实验室的研究和临床实践是很有帮助的，推荐使用[11]。以此为理论依据，本文实验数据的所用参考点是利用REST得到的近似理想的零参考点。

本实验主要通过让被试分别观看平面与虚拟现实环境下的两组oddball范式图片序列，记录并提取由这两种视觉任务产生的事件相关电位，对比两种不同模式的特征信号差异。

2 实验内容和方法

2.1 实验设备

本文实验是用美国Neuroscan公司生产的脑电采集系统来采集被试者的脑电信号。这套系统主要包括64导Quik-cap电极帽、SynAmps2放大器。电极帽参考电极位置位于头顶中心，电极CZ和CPZ之间，采样频率为1000 Hz，电极阻抗均保持在5 kΩ以下。对脑电信号做预处理及后续分析均利用MATLAB完成。为了对比平面与虚拟现实两种模式下的ERP的差异，图片刺激采用两种呈现方式：22寸LCD显示屏和虚拟现实眼镜。

2.2 被试

选取14名健康的在校大学生志愿者作为被试，编号T1～14，且所有被试均为右利手。被试者进行视觉任务的顺序随机，即其中7人先进行平面视觉刺激，后进行VR视觉刺激，另外7人顺序与之相反。实验均在安静，无干扰的实验室进行。最终有3位被试的由于脑电伪迹十分严重被剔除。

2.3 实验方法

实验基于经典odd-ball范式，靶刺激(Target)与非靶刺激(Non-target)图片如图1所示。

图1 视觉刺激图Fig.1 Visual stimulus

将图1两幅图片编为45组序列，每组序列包括10幅图片，分别采用两种显示方式呈现。为使靶刺激出现概率少于或等于20%，每组10幅图片中只有1幅为靶刺激图片，即10%，其余9幅为非靶刺激图片，而且每组图片序列中靶刺激的位置随机，并将所有序列串联起来。每幅图片显示时间持续400 ms，每两幅图片之间有1000 ms的黑屏间隔。其中一组图片刺激序列如图2所示。

图2 一组图片序列Fig.2 One trail of visual stimulus

实验开始后播放平面或VR两组序列，被试裸眼观看LCD显示屏或是佩戴虚拟现实眼镜进行视觉任务，同时要求被试在看到靶刺激时做按键反应。两次实验之间有10 min休息时间。在进行视觉任务时，同步采集受试者的脑电信号。

3 数据处理

首先对采集到的EEG信号进行REST变换处理，采集到的EEG中会混有较多干扰，为了消除50 Hz或高频信息的干扰来提高信噪比需要进行数字滤波处理，通常设置0.5～30 Hz，随后还要去除眼电伪迹。之后对数据进行分段处理，截取刺激前200 ms(记为-200 ms)到刺激后1000 ms的数据，共1200 ms时间段，然后进行基线校正，再用相干平均法从截取的数据段中提取事件相关电位。最后利用统计学方法做差异性检验，对比由靶刺激和非靶刺激产生的电位间的差异。

3.1 REST计算

REST可以利用头皮上一点或是平均参考电位的脑电记录，近似地转化为以空间无穷远的点作为参考电极的记录。其物理依据是，转换前后的电位都是由脑内的实际神经活动源或它们的等效源所产生的，即转换前后的电位有共同的物理源。

以无限远点为参考的头皮电位模型为

V=GX

(1)

式(1)中V是l×n的矩阵，表示l个电极n个采样点的EEG记录，X是m×n的矩阵，表示头模型中m个神经源的n个采样，G是l×m的矩阵，是由头模型、源模型和电极分布确定的传递矩阵。矩阵X可以是真实源，也可以是等效源；矩阵G由边界元法正演得到，利用的是由偶极子产生的电位在无限远点为零的假设[12]。

根据式(1)，以头皮某一电极作为参考的EEG记录Ve为

Ve=V-tve=GX-t(geX)=(G-tge)X=GeX

(2)

进一步有

(3)

同理，双侧乳突作为参考的EEG记录为

(4)

进一步类似地有

(5)

(4)中vm是由V中双侧乳突对应的两行电极的平均值构成的1×n的行向量，gm是传递矩阵G中双侧乳突对应的两行构成的2×m矩阵，则Rm是双侧乳突为参考的标准化矩阵。

这种方法是希望寻求一种标准的变换，将参考电极转化为无穷远处点，经过推导可知利用标准化矩阵就可以实现这一目的。

(6)

根据Chella的研究结果，REST可以有效减小偏差[11]，翟义然的仿真研究表明在最重要的大脑浅层皮质区域，使用REST参考方法更有效[12]，所以本文选择REST来处理本实验数据。

3.2 叠加平均法

叠加平均法亦称为相干平均法，一般用于检测受干扰信号中重复出现的信号，是生物医学信号处理常用的手段之一。Polikoff等人于1995年进行的二维的指针识别任务中，检测多个单次样本的波峰中的P300成分，得到了50%的识别准确率，而当相干平均3个连续的样本时识别的准确率便达到了60%，接着对8个连续样本采用相干平均法，得到的识别的准确率增加到了85%，最后大约在平均20次连续样本时，P300成分的幅值达到稳定值[13]。假设：

1.自发脑电是零均值的、方差确定的平稳随机信号，对于每一次刺激它们之间都是互不相关的；

2.在一次实验中，如果使用相同的刺激条件，就认为P300是一个确定性的信号，并且该诱发信号与自发脑电是相互独立的。

以上述假设为前提，设x(n)是脑电信号数据，x(n,i)(每i次刺激的信号)由刺激诱发电位p(n,i)和自发的信号u(n,i)组成，即

x(n,i)=p(n,i)+u(n,i)i=1,2,…,N

(7)

上式N是刺激总次数。

E[u(n,i)u(n,j)]=0i≠j

(8)

将x(n)的N次记录对应相加，再取其平均，可得

(9)

上式即为叠加平均，这样处理可以提高信噪比。实际情况中，u(n,i)和u(n,j)不可能完全无关，p(n)也不可能完全相同。因此，信噪比会比理论值小。

3.3 统计学方法

本实验在对数据进行统计分析时用到了两种方法，即T检验和单因素方差分析，同时得到p值。在假设检验中，p值实际上是指零假设出现的概率，p值越小就越有理由拒绝零假设而接受备择假设。本实验用到的零假设为：潜伏期(幅值或频谱密度)均值相同，即无显著性差异；备择假设为潜伏期(幅值或频谱密度)均值不同，即有显著性差异。通常称p<0.01有极其显著的差异，0.01≤p<0.05认为有显著性差异，p≥0.05认为无显著性差异。p值大小与检验统计量有关。

4 结果

将采集到的全部EEG数据进行预处理后，使用叠加平均提取事件相关电位，再把所有被试单通道的数据进行平均，绘制头皮电位地形图。ERP中P300成分指的是在刺激产生后300 ms左右产生的一个明显的正向波峰，峰值高且波形较宽。大致在400 ms左右达到峰值，绘制400 ms时刻的头皮电位地形图如图3所示。

图3红色表示电位高，蓝色表示电位低，第一列和第二列分别表示平面和VR两种模式下的结果，第三列为前两列结果的统计分析图，具有显著性差异(p<0.05)的通道均以红点加粗标注。容易看得出两种模式下非靶刺激产生的结果无明显差异；平面模式下靶刺激在头皮顶部产生了幅值较高的正电位，即P300，而VR结果下却没有。以FCZ和CZ通道为例绘制的波形图如图4所示。

图3 400 ms时刻头皮电位脑电地形图Fig.3 Scalp maps for channel ERP at 400 ms

图4 FCZ与CZ通道上两种刺激产生的ERPFig.4 Grand averages of ERP on channel FCZ and CZ by target and non-target stimuli

图4中粗实线是靶刺激引起的电位变化，细虚线为非靶刺激引起的电位变化。从图4(a)和(c)中可以看出，被试在进行传统的平面视觉任务时，注意靶刺激图片可以产生明显的P300成分(p<0.05)；对比图4(b)和(d)看出，在进行虚拟现实条件下，所有被试注意靶刺激的平均图中没有产生明显P300成分，仅在一位被试的实验结果看了较为明显的P300成分，下面给出这位被试的头皮电位地形图。

图5上部和下部分别是受到平面和VR模式刺激后400 ms的头皮电位地形图，左边是非靶刺激，右边是靶刺激。可以看出，VR模式下的P300成分，幅值低于平面视觉任务中由靶刺激产生的P300。仍可以说明VR模式下难以产生P300成分。除此之外，从实验结果中注意到两类视觉任务中的N100成分具有显著性差异，即VR视觉任务产生的N100成分幅值明显高于平面视觉任务的N100成分(p<0.05)。ERP中的N100通常是在刺激后100 ms左右产生的一个负值成分。100 ms时刻被试进行两种任务时的脑电地形图如图6所示。

图6前两列展示出100 ms时刻的脑电地形图，能够发现无论靶刺激还是非靶刺激，在虚拟现实条件下的N100幅值都比平面视觉任务产生的N100幅值更高。而通过图4我们可以看出，靶刺激和非靶刺激产生的N100并无明显无差异。从上图第三列呈现的具有显著性差异(p<0.05)的通道可以看出，前额叶与顶部电极的差异尤为明显，仍以CZ电极为例画出波形图如图7所示。

图5 T6的400 ms时刻头皮电位地形图Fig.5 Scalp maps for channel ERP at 400 ms of T6

图7中粗实线表示虚拟现实下的结果，细虚线代表平面下的结果。图7(a)和(b)表明被试在虚拟现实模式下两种刺激产生的N100成分，要比在平面模式下产生的更加明显(p<0.05)。此外由图7我们看到，除了幅值不同之外，VR模式下的N100成分的潜伏期要早于平面模式下的N100。将各被试CZ电极上的N100的潜伏期和幅值输入Excel，绘制折线图如图8所示。

图7 两种条件下CZ通道上的ERPFig.7 Grand averages of ERP on channel CZ under two conditions

图8 CZ电极上N100的潜伏期和幅值Fig.8 Latency and amplitude of N100 on CZ channel

图8展示出平面和VR两种呈现方式下各个被试CZ电极上N100成分潜伏期和幅值，对以上数据做单因子方差分析。平面和VR模式靶刺激的平均潜伏期分别为114.9 ms和98.5 ms，具有显著性差异(F(1,20)=4.35，F=7.47，p=0.0128)，非靶刺激的平均潜伏期分别为114.7 ms和101.18 ms，也具有显著性差异(F(1,20)=4.35，F=4.90，p=0.0386)，说明在两类任务中虚拟现实条件下的N100的潜伏期比平面视觉刺激下的N100潜伏期短。另外，平面和VR模式靶刺激的平均幅值分别为3.59 μv和5.56 μv，具有显著性差异(F(1,20)=4.35，F=5.55，p=0.0288)，非靶刺激的平均潜伏期分别为3.43 μv和5.76 μv，也具有显著性差异(F(1,20)=4.35，F=7.01，p=0.0155)，即可以认为虚拟现实条件下两类刺激产生的N100幅值都要比平面条件下的N100幅值更高，这也与脑电地形图中得到的结果一致。

在进行以上的研究时，还注意到在枕叶部分的头皮电位的差异。由于图片呈现时间是400 ms，故绘制0～400 ms时间段内的平均头皮电位地形图。

由图9结果可以明显看出VR呈现方式下枕叶产生了很强的正电位，第三列的统计结果也显示了枕叶部位的电位具有显著性差异(p<0.05)。枕叶为视觉皮质中枢，主要负责的是视觉处理的任务，说明视觉皮质激活较多，VR对人的视觉产生了很强的刺激。

临床实践中使用最多的EEG波形细分为4个频带，即δ波(0～4 Hz)，θ波(4～7 Hz)，α波(8～13 Hz)和β波(14～30 Hz)，有研究表明，P300响应在心理生理上与δ和θ频段有关[14]，1999年Demiralp等人利用δ频带中的小波系数来检测出听觉Oddball范式得到的单次样本中存在P300波形[15]。图10给出的是δ频带的频谱密度的地形图。

图9 0～400 ms时间段内的平均头皮电位地形图Fig.9 Mean scalp maps for channel ERP in 0～400 ms time period

图10 δ频段的频谱地形图Fig.10 Scalp maps for channel Spectrum of the δ band

图11 θ频段的频谱地形图Fig.11 Scalp maps for channel Spectrum of the θ band

与头皮电位地形图类似，图10红色表示频谱密度大，蓝色表示频谱密度低，红点标注的图为有显著性差异的电极通道。根据图10显示，平面靶刺激在头顶部中线上产生了十分明显的δ波，从统计分析图可以看出头顶中央的几个电极具有显著性差异(p<0.05)；而以VR方式呈现的靶刺激却无显著性差异。而且也可以知道，被试在执行平面视觉任务时产生的δ波密度较在VR模式产生的略高。θ波的结果与δ波的类似，图11给出的是θ波的频谱密度地形图。

从图11得知，平面模式下的靶刺激在使被试在额叶产生了比非靶刺激更加明显的θ波(p<0.05)，VR靶刺激的激发的θ波能量较平面模式下的靶刺激的能量弱(p<0.05)。上述δ和θ波频谱密度的结果与上文提到的P300的头皮电位地形图的结果一致。

5 结论

虚拟现实技术作为一种新兴技术，给人们工作生活娱乐等方面带来了便利，然而它给人带来的影响，特别是对大脑认知功能的影响尚未明确。本文通过实验，采集受试者佩戴虚拟现实眼镜执行视觉任务时的脑电信号，与裸眼执行平面视觉任务时的脑电信号，并提取事件相关电位，希望通过对事件相关电位的研究，来探索虚拟现实对脑认知加工的影响。

结果发现，仅有少量受试者在佩戴虚拟现实眼镜时能够产生P300成分，且幅值较低，整体来看大脑在虚拟条件下似乎难以产生P300成分，从δ和θ节律的频谱密度也足以说明这一点。这一结果可能与被试佩戴虚拟现实眼镜产生的不适以及呈现内容导致的视觉疲劳有关。首先，从硬件角度来说，虚拟现实利用的头戴式显示设备，将内容分屏显示，分别为左、右眼提供具有双目视差的不同图像，从而产生立体视觉，同时光线经过凸透镜折射，利用此效果将近处景物放大至远处观赏，达到所谓的全息视觉[16]，即产生沉浸感。这一过程需要通过调节透镜的“瞳距”使之与人眼瞳距重合，然后使用软件调节画面中心，以保证瞳孔中心、透镜中心、屏幕(分屏后)中心三点一线，从而获得最佳的视觉效果。人为手动去调整必定不会精确，在观看与自己瞳距不一致的分屏内容会引起不适[16]。其次，从图9结果来看，VR作为一种新颖呈现方式，能够给视觉皮层带来强烈的刺激，激活更多的视觉神经元，因此，ERP视觉任务以VR方式呈现，本身就会导致视觉疲劳。P300作为一种较为成熟，且容易测到的脑电成分，已经在各个领域得到应用。先前的许多研究表明，当人的精神工作量增大时，P300的幅值会降低，潜伏期会变长。因此认为，人在平面模式下可以轻松应对视觉任务，而在虚拟现实下的认知负荷增加，需要更多的认知处理来应对ERP认知任务，同时大脑更容易疲劳。

N100的结果也值得注意。与平面模式相比，不论哪种刺激，虚拟现实下的N100成分幅值更高，潜伏期更短，且具有统计学意义。从图4可以看出来，差异最大的几个电极分布在顶叶以及前额叶区域，与其他研究者的结果一致。早在1995年就有研究表明，N100成分的神经来源是枕-顶叶，枕颞叶以及额叶皮层等多个区域[18]，这些脑区存在视觉、认知、注意、知觉等活动，本实验的结果在其基础上得出。N100作为外源性成分与感觉和运动有关，是一种与注意力有关的视觉成分，与注意力和视觉信息的早期处理密切相关，它的幅值与注意力响应密切相关[19]，并且VR作为一种新颖的呈现方式，能够带给人强烈的视觉刺激，但从上面结果来看，这并不意味着人可以轻易地集中注意力于此，只是给人以沉浸的感受；潜伏期的提前可以认为是处理注意信息的提前，这一实验结果从脑电方面阐释了VR会给人很强的沉浸感的原因。简言之VR能够更好的引起佩戴者的注意，产生沉浸感，但难以使其精神集中。

视觉上的疲劳感是虚拟现实产业的瓶颈之一[16]。VR技术近一年来热度有所降低[20]，除了寻求突破性进展之外，人们更多的关注点是实用性和便利性。由虚拟现实技术长远的发展来看，消除视觉疲劳，降低认知负荷是其需要克服的首要困难。本文的研究结果也为虚拟现实环境对脑认知和注意力的研究提供了参考。