基于ERP技术的数字界面布局认知与评估

牛亚峰　薛澄岐　彭宁玥　周　蕾　吴闻宇　官　睿　金　涛

(1东南大学机械工程学院, 南京 211189)(2中国石油大学(华东)机电工程学院, 青岛 266580)

基于ERP技术的数字界面布局认知与评估

牛亚峰1薛澄岐1彭宁玥1周蕾1吴闻宇1官睿1金涛2

(1东南大学机械工程学院, 南京 211189)(2中国石油大学(华东)机电工程学院, 青岛 266580)

摘要:为了探索用户对数字界面不同布局形式的比较和评估的认知过程,根据事件相关电位技术,采用较高相似度界面布局与较低相似度界面布局的Oddball实验范式,并结合脑电数据与行为数据,分析比较了2种相似度条件下N2b成分、P300成分的波幅和潜伏期变化情况．结果表明:在靶刺激认知早期阶段,N2b成分的波幅与靶刺激和标准刺激的偏差程度呈正相关关系;进入较深层次加工过程后,靶刺激所诱发的P300成分的波幅与靶刺激和标准刺激的相似程度呈正相关关系．研究结论可拓展应用于界面的迭代评估过程中,为实际项目中数字界面产品风格继承性评估提供重要的参考依据．

关键词:事件相关电位(ERP);P300;N2b;界面布局;评估

随着数字化和信息化时代的到来,数字界面已逐步取代传统的硬件界面,成为人机交互的主要媒介与载体．数字界面由文字、符号、形状等视觉元素构成,其主要功能是实现系统与用户之间的交流和信息传递．在影响数字界面可用性和美观性的众多因素中,界面布局形式在很大程度上影响了用户搜索和获取信息的效率．利用眼动追踪技术可以获取用户访问界面以及用户与界面交互过程中所采取的认知策略,生理测评法[1]和主观评价法也通常运用于数字界面评估中．事件相关电位(event-related potential)技术通过对头皮相关电位的正负波进行脑电波形成像,反馈用户细微的脑部认知活动,连续且精确地描述和分析用户对数字界面的认知过程,从而将神经生理学与认知过程紧密联系．

在视觉Oddball范式中,用户对靶刺激的识别过程包含工作记忆、注意、刺激评估和模式匹配等[2],靶刺激的出现会诱发较为显著的P300成分．Kok[3]认为P300成分的波幅与刺激识别任务的难度呈正相关,并反映了认知资源的分配情况．Kutas等[4]研究发现在要求被试保证高正确率的前提下,P300成分潜伏期与反应时间之间存在较高的正相关性．Azizian等[5]通过低水平图形刺激探究P300成分的波幅与图形相似度之间的正相关关系．P300成分的潜伏期长短可以作为衡量刺激评估时间的指标;此外,顶叶、颞叶和枕叶电极位置的N200成分潜伏期也会随刺激评估时间而变化．在N200成分出现的时间范围内,存在N2a,N2b和N2pc三种较为典型的脑电成分[6]．其中,N2b成分反映了用户对于Oddball范式中小概率靶刺激的选择性注意[7],且波幅与靶刺激和标准刺激的偏差程度呈正相关,N2b成分的波幅与所呈现的刺激和工作记忆的失匹配程度相关．

本文以不同评估等级下具备不同相似性和布局形式且图形复杂程度较高的数字界面作为实验研究对象,采用Oddball实验范式,探索用户在不同相似性的界面认知与评估过程中所诱发的脑电生理特征．通过得到的脑生理指标的属性变化,揭示用户对于不同界面图形的认知规律,帮助设计师进行界面优化设计,为产品迭代过程提供参考依据．

1界面布局认知与实验假设

1.1界面布局认知

界面布局形式的多样性和丰富性大大改变了信息获取的模式．数字界面布局设计的研究对象是考量如何将信息排布在有限的空间中．若设计过程中未将界面布局设计指导性原则考虑周全,则会影响用户的操作绩效和交互体验．影响界面布局设计的主要因素如下:① 空间分配不合理;② 层级混乱,主次不明确;③ 缺乏有效的视觉引导;④ 分屏布局,扰乱视觉;⑤ 缺乏特色,主题不突出．

选取某音乐播放界面作为研究素材,相对于低维度图形而言,音乐播放界面中包含的元素丰富,功能划分明确,功能区之间具备层次嵌套关系,且被试对于该界面熟悉,因而可以在实验中减少学习和认知成本．在相似性评估过程中,各部件所占权重因子均不相同．对该音乐播放界面的功能和界面元素进行分析,将该页面划分为若干功能区(见图1)．通过改变界面中若干功能区域的相对位置和尺寸,筛选得出3组界面形式．方案A保留了原始界面中的尺寸和空间位置关系,所得界面为优秀界面;方案B保留了界面功能框架,改变了主功能区的大小,使得界面视觉失衡,所得界面为较差界面;方案C 在改变主功能区尺寸大小的前提下,同时改变了工具栏和菜单栏的空间位置和比例关系,使得界面功能层级紊乱,视觉失衡,所得界面为最差界面．

图1　音乐播放界面功能区域划分

实验前基于Visual Studio构建了界面方案相似性评估系统(见图2)．邀请50人参与调查(包含20名脑电实验被试),通过7级Likert量表,对该音乐播放界面不同布局形式之间的相似性认可度进行评估．针对该音乐播放界面的3个方案如图3所示．方案A与方案B的界面相似性认可度约为69.32%,方案C与方案B的界面相似性认可度约为38.25%．基于该主观评测结果对界面布局认知与评估机理进行进一步探索．

图2　界面相似性认可度评估系统界面

(a) 方案A

(b) 方案B

(c) 方案C

1.2实验假设

根据实验准备环节中的主观测评结果,用户对于方案A和方案B的相似性认可度高于方案C与方案B的认可度,由此预测在Oddball实验范式中,靶刺激的出现会诱发较为显著的P300成分．将方案A与方案B的Oddball实验编号为实验1,方案C与方案B的Oddball实验编号为实验2．受靶刺激与标准刺激的相似度对于刺激辨识复杂程度的影响,实验1中诱发的P300成分平均波幅高于实验2．P300成分的潜伏期反映了用户对于刺激的认知加工时间,因此,在辨识难度较高的实验1中P300成分的潜伏期较长．

在辨识目标刺激的过程中,涉及的脑电成分还包含早期的注意成分,N2b成分与该注意过程有关．由于模块中的靶刺激与存储于工作记忆中的标准刺激均存在差异,故在实验过程中可能观察到N2b成分[7]．方案C与标准刺激(方案B)的差异性较大,由此可预测,在实验2中N2b成分的平均波幅将高于实验1．

2脑电实验

2.1被试

共招募具备工业设计学科教育背景的被试20人,被试年龄分布为22～27岁,平均年龄为25岁,男女被试比例为1∶1,均为右利手,且矫正视力正常,无色盲,无精神疾病．实验前告知被试实验目的,并承诺测量数据不予以透露和用作其他目的．被试自愿同意参加实验后,对被试进行培训,让其熟悉实验和操作流程．实验结束后,给予被试一定的报酬作为奖励．

2.2实验方法

采用Oddball实验范式,为避免因靶刺激呈现概率变化而导致P300成分波幅不同,在2组实验模块中靶刺激数量和标准刺激数量占刺激总数的比例恒定,分别为20%和80%．为排除色彩、图标等相关因素的干扰,所有刺激图片均进行去色处理,放置在屏幕中央区域内,背景色为黑色,以突出刺激界面主体,便于读取刺激图片．刺激呈现于17英寸的显示屏中,被试坐在距显示屏55～60 cm处,正视电脑屏幕．实验程序由心理学软件E-prime编写,并对行为数据进行采集．

2.3实验程序

实验开始时,电脑屏幕呈现实验指导语,被试在阅读后按任意键进入实验阶段,实验分为练习和正式实验2个部分,其中正式实验由2组实验模块构成,每组实验仅有1个靶刺激,分别为方案A或方案C．在每组模块中,首先于空屏中央出现十字视觉引导中心500 ms,然后随机出现标准刺激和靶刺激．在抽象素材实验研究中, Azizian等[5]将刺激呈现时间设定为500 ms,鉴于实验中界面图形认知元素数量较多且相对复杂,故将刺激呈现时间设置为1 000 ms,刺激间隔为500 ms,以消除视觉残留．被试被告知以最快的速度做出反应,其中,实验1中按“A”键对靶刺激做出反应,实验2中按“L”键对靶刺激做出反应．2组实验中标准刺激均出现160次(标准刺激数量占刺激序列总数的80%),靶刺激均出现40次(靶刺激数量占刺激序列总数的20%),实验流程如图4所示．被试在实验1完成后休息15 s再进入实验2,整个实验流程约12 min．

图4　实验流程图

2.4EEG记录和数据分析方法

使用BP脑电记录系统完成实验数据采集和数据分析,利用32导电极帽记录靶刺激诱发的脑电波．实验中电极阻抗维持在5 kΩ以下,滤波器带通设定为0.5～100 Hz,采样率为1 kHz,以双耳乳突作为参考电极．完成连续EEG记录后对数据进行离线处理,并对数据进行分段,选择靶刺激出现前200 ms到出现后1 000 ms的时间段作为脑电分段时间．自动校正眼电伪迹,并排除超出±80 μV的伪迹．根据文献[8]中对于P300成分的描述以及总波形图可知,在0～800 ms这一时间范围内,中央顶叶、顶叶以及枕叶的脑区激活度最大,故选取顶叶P3,P4,Pz,中央顶叶CP1,CP2,顶叶-枕叶联合区POz六个电极进行分析(见图5)．运用SPSS统计软件对波幅和潜伏期进行方差分析．

3实验结果与分析

3.1行为数据

表1中统计了2组实验行为数据，其中有效样本共20个．由表可知,实验1的平均反应时间较实验2的平均反应时间长,但实验1的反应时间离散程度较小(实验1中标准差S1=48.611 6 ms,实验2中标准差S2=55.660 1 ms)．2组实验的正确率

图5　电极图

均超过98%,说明被试在2组实验模块中均保持了较高的正确率．由于2组实验的平均反应时间和正确率差异度均较小,故不再进行深入交互效应分析．

表1　2组实验的行为数据描述性统计

3.2脑电数据

图6为0～800 ms时间窗口内P3,P4,Pz,POz四个电极的脑电波形图．

(a) P3电极

(b) Pz电极

(c) P4电极

(d) POz电极

3.2.1P300成分分析

表2显示了靶刺激出现后200～500 ms内P3,P4,CP1,CP2,Pz,POz六个电极的P300成分波幅均值．2组实验中,P300成分在中央顶叶(CP2)、顶叶(Pz,P4)电极位置处波幅达到最大值．实验1和实验2中诱发的P300成分平均波幅为8.917 9和8.543 6 μV．由方差分析得出,实验条件对于P300成分的平均波幅影响显著(F=16.014,p=0.010<0.05),电极位置对于P300成分的平均波幅影响显著(F=12.025,p=0.008<0.05),说明P300成分的波幅可以作为反映图形相似程度的有效指标．

为了进一步探究靶刺激与标准刺激的潜伏期差异,对6个电极位置处的P300成分潜伏期进行了方差分析．结果表明,实验条件对于P300成分潜伏期无影响(F=0.148,p=0.716>0.05),电极位置对于P300成分潜伏期也无显著影响(F=3.012,p=0.126>0.05)．

表2　P300成分在不同电极位置处的平均波幅　μV

3.2.2N2b成分分析

表3显示了靶刺激出现后200～500 ms内P3,P4,CP1,CP2,Pz,POz六个电极的N2b成分波幅均值．2组实验中,N2b成分在顶叶(Pz,P4)和顶叶-枕叶联合区(POz)电极位置处波幅达到最大值．由多元方差分析得出,实验条件对N2b成分的波幅影响十分显著(F=51.726,p=0.001<0.05),对潜伏期影响则相对较弱,但仍达到显著水平(F=7.544,p=0.040<0.05)．相比之下,电极位置对N2b成分波幅影响显著(F=10.630,p=0.011<0.05),对其潜伏期则无影响(F=0.425,p=0.815>0.05)．

表3　N2b成分在不同电极位置处的平均波幅　μV

4讨论

本实验中,在较高相似度和较低相似度的实验条件下,靶刺激均能诱发较为显著的P300成分．Donchin等[9]认为P300成分与认知图式更新有关,当靶刺激图形与工作记忆中存储的标准刺激图形出现偏差时,即可诱发P300成分．分析2组不同相似度的界面布局形式所诱发的P300成分的平均波幅后发现,实验1中采用方案A作为靶刺激所诱发的P300成分平均波幅大于采用方案C作为靶刺激时的情况．2组实验中P300成分波幅均值的差异可能是由辨识靶刺激的难易程度所引起的,P300成分的波幅与辨识和匹配过程中所消耗的认知资源有关．在被试对靶刺激做出反应之前,小概率出现的靶刺激与标准刺激之间的相似度越高,则匹配度越高,从刺激序列中辨识靶刺激的难度越大,所消耗的认知资源越多,P300成分波幅越大,即靶刺激所诱发的P300成分波幅与靶刺激和标准刺激的相似程度呈正相关关系．

根据文献[7-8]对P300成分的定义和描述,P300成分出现在靶刺激后300～600 ms;在本文的2组实验中,P300成分的平均潜伏期约为425 ms．Tetsuto等[10]认为P300成分的潜伏期与任务难度呈正相关．在本实验中,用户对靶刺激进行识别,所诱发的P300成分潜伏期有所延迟．但对2组实验中的P300成分潜伏期进行组间比较发现,实验条件对于P300成分的潜伏期影响并不显著．

相比实验2,实验1中靶刺激诱发的N2b成分波幅较小．Sams等[11]认为N2b成分可以作为模式失匹配的一种正向映射关系．对目标刺激进行识别时,首先需要对单个物理属性进行识别,即早期注意加工过程,该过程可作为后期深入加工的准备环节．相比方案B,方案C中的菜单栏、工具栏和列表导航的尺寸和空间位置均发生了变化,这3大模块位于视觉搜索路径的起始点,且集成了用户对于音乐播放行为的主要功能细分,功能性地位突出．对采用方案A和方案C作为靶刺激时的2种实验条件进行分析比较后发现,方案C中界面布局样式和工作记忆存储的标准刺激(方案B)的失匹配度和偏差度均较大．由此表明,N2b成分的波幅与靶刺激和标准刺激的偏差程度呈正相关关系．

脑电实验数据结果显示,2组实验中N2b成分在枕叶和枕顶枕联合区达到波幅峰值,脑区激活度较高,这与文献[12]中的结论一致．

5结语

本文采用Oddball实验范式对具备不同相似度的数字界面认知过程进行探索,并对N2b成分和P300成分进行定量分析．结果显示,P300成分的波幅与靶刺激和标准刺激之间的相似程度有关．N2b成分作为考察靶刺激相对于标准刺激偏差程度的指标,可反映目标识别的注意导向过程．P300成分可以作为评估系统一致性的有效指标,N2b成分可用于评估界面视觉引导的有效指标,将两者相结合可对界面的可用性进行客观且全面的定量分析和考察．下一步将把研究结论拓展应用于界面的迭代评估过程中,对数字界面产品风格继承性评估进行脑电阈值探索,构建数字界面与脑电指标的深层次关系．

参考文献 (References)

[1]Giraudet L, Imbert J P, Bérenger M, et al. The neuroergonomic evaluation of human machine interface design in air traffic control using behavioral and EGG/ERP measures[J].BehaviouralBrainResearch, 2015, 294: 246-253. DOI:10.1016/j.bbr.2015.07.041.

[2]Potts G F, Tucker D M. Frontal evaluation and posterior representation in target detection[J].CognitiveBrainResearch, 2001, 11(1): 147-156.

[3]Kok A. Event-related-potential (ERP) reflections of mental resources: A review and synthesis[J].BiologicalPsychology, 1997, 45(1/2/3):19-56.

[4]Kutas M, Mccarthy G, Donchin E. Augmenting mental chronometry: The P300 as a measure of stimulus evaluation time[J].Science, 1977, 197(4305): 792-795.

[5]Azizian A, Freitas A L, Watson T D, et al. Electrophysiological correlates of categorization: P300 amplitude as index of target similarity[J].BiologicalPsychology, 2006, 71(3): 278-288. DOI:10.1016/j.biopsycho.2005.05.002.

[6]Näätänen R, Picton T W. N2 and automatic versus controlled processes[J].Electroencephalography&ClinicalNeurophysiology, 1986, 38: 169-186.

[7]Patel S H, Azzam P N. Characterization of N200 and P300: Selected studies of the event-related potential[J].InternationalJournalofMedicalSciences, 2005, 2(4): 147-154.

[8]Picton T W. The P300 wave of the human event-related potential[J].JournalofClinicalNeurophysiology, 1992, 9(4):456-479.

[9]Donchin E, Coles M G. Is the P300 component a manifestation of context updating[J].BehavioralandBrainSciences, 1988, 11(3): 357-427.

[10]Tetsuto M, Kimiko G, Michiteru K, et al. Asymmetry of P3 amplitude during oddball tasks reflects the unnaturalness of visual stimuli[J].Neuroreport, 2009, 20(16): 1471-1476. DOI:10.1097/WNR.0b013e3283321cfb.

[11]Sams M, Alho K, Näätänen R. Sequential effects on the ERP in discriminating two stimuli[J].BiologicalPsychology, 1983, 17(1): 41-58. DOI:10.1016/0301-0511(83)90065-0.

[12]Ungerleider L G, Haxby J V. ‘What’ and ‘where’ in the human brain[J].CurrentOpinioninNeurobiology, 1994, 4(2): 157-165.

Cognition and evaluation of digital interface layouts based on event-related potential technique

Niu Yafeng1Xue Chengqi1Peng Ningyue1Zhou Lei1Wu Wenyu1Guan Rui1Jin Tao2

(1School of Mechanical Engineering, Southeast University, Nanjing 211189, China) (2School of Mechanical and Electrical Engineering, China University of Petroleum, Qingdao 266580, China)

Abstract:To investigate the cognitive processes of the comparison and the evaluation to digital interface for different layout forms, according to event-related potential (ERP) technique, by using the Oddball experimental paradigms for the layout form with relatively higher similarity and those with relatively lower similarity, the changes of the amplitudes and the latencies of N2b and P300 under these two similarity conditions were analyzed and compared by combining the neural data with behavioral data. The results reveal that in the earlier target cognitive stage, the amplitude of N2b is positively related to the deviation of the target stimuli from the standard stimuli. In the deeper processing process, the amplitude of P300 elicited by the target stimuli is positively related to the similarity between the target stimuli and the standard stimulus. The conclusion can be applied in the iteration and evaluation process for interfaces, providing important references to evaluate the heritage of the digital interface product style in practical projects.

Key words:event-related potential (ERP);P300;N2b, interface layout; evaluation

doi:10.3969/j.issn.1001-0505.2016.03.003

收稿日期:2015-12-07.

作者简介:牛亚峰(1988—)，男，博士，讲师；薛澄岐(联系人)，男，教授，博士生导师，ipd_xcq@seu.edu.cn.

基金项目:国家自然科学基金资助项目(51405514,71271053,71471037)、江苏省自然科学基金资助项目(BK20150636).

中图分类号:TP391

文献标志码:A

文章编号:1001-0505(2016)03-0470-06

引用本文: 牛亚峰,薛澄岐,彭宁玥,等.基于ERP技术的数字界面布局认知与评估[J].东南大学学报(自然科学版),2016,46(3):470-475. DOI:10.3969/j.issn.1001-0505.2016.03.003.