基于事件相关电位绝对时间标记法的汽车造型语义评价方法

邵景峰，杨志刚，杨再峰，郑恩泽

（1.同济大学汽车学院，上海 201804；2.上海汽车集团股份有限公司技术中心设计中心，上海 201804）

汽车造型设计是一个由创意驱动的、不确定的、复杂的设计求解过程［1］。传统汽车主机厂通常在每一款车型设计最终锁定前，为了更加准确地决策，会进行大规模的实车主观问卷调研［2］。实际操作过程中发现主观问卷调研形式容易出现“话题领导者”“意见领袖”“随大流”和“所说非所想”等主观想法扭曲客观事实的情况，使最终调研数据正确率偏低，不能提供客观准确的决策参考，并且现行传统主观问卷调研方式成本较高，参与人员众多，给企业的发展带来负担。为此，研究引入基于使用便携式脑电采集设备的事件相关电位技术进行汽车造型语义评价实验，测量用户对汽车造型的感性意向［3-4］。

在自然状态下大脑加工语义而发生的脑电被称为自发电位，通过特定刺激诱发的脑电称为诱发电位，即事件相关电位（event-related potential，ERP）。Neuroscan 32导脑电采集设备采用10-20国际标准导联系统布置电极，在测量用户语义认知过程中，虽然能得到用户真实的想法，但存在成本高、操作复杂、实验时间长（50～60 min）等众多缺点［5］。因此，本研究借助Muse便携式脑电设备采集和描述用户大脑的语义加工特征属性，改进ERP实验方法，提出绝对时间标记法，提高汽车造型决策的效率［6］。

现有研究表明，大脑通过整套认知神经机制控制人的感知和反应行为。当刺激发生后，在100～200 ms之间、200～600 ms之间和600 ms之后，分别是认知加工的早期、中期和晚期阶段［7-8］。在脑认知领域，研究主要集中在大脑认知加工中期。Kutas和Hillyard在1980年发现语句最后一个单词按照25%概率随机出现不可预料的歧义词，将在250～600 ms之间产生一个潜伏期约400 ms的负波即N400。该范式被称为N400经典实验范式［8］。此后实验发现不同词性、反义词、无关词能够明显诱发N400成分［9-10］。语义脑认知实验范式以文字与文字匹配为起点，逐步发展为文字与图片、图片与图片匹配范式［11］，呈现形式也扩展到了听觉语言、手势语言等［12］。为了更深入地研究与语义统一有关的脑过程，Zude等［13］采用同步脑电-功能磁共振（EEGfMRI）技术对与语义统一相关的N400变化进行时间锁定。Delogu等［14］对语言研究中ERP的时空重叠问题进行了研究，发现N400反映了词汇检索过程。Meade等［15］将N400效应解释为目标词和侧翼词共同语义特征（如动物、毛茸茸的）联合激活的便利加工效应，以及词汇决策的促进加工效应。综上所述，语义和语用不适合、语义类别错误以及与已有知识不一致等诸多情况都会诱发N400效应。可以肯定的是N400确与语义的期待有关，并且其波幅随语义背离程度的增大而增大［8］。因此，可以通过它来检验与语义启动有关的理论和模型。

基于上述分析，本研究设计两个独立实验，探索Muse脑电设备在以绝对时间标记法代替事件标记信号法的情况下，在一台电脑上进行ERP N400成分研究的可行性，以简化实验操作，提高汽车造型决策效率［16］。实验一采用诱发N400成分的句尾歧义经典实验范式［17］，验证Muse便携式脑电设备收集ERP数据的准确性。实验二采用复合刺激S1-S2实验范式，以N400指标检验4种不同造型设计方案的用户语义意向，从而为准确了解用户的汽车造型语义需求提供客观指标和参考。研究假设如下：

（1）Muse脑电采集设备，能够验证句尾歧义时诱发的N400波幅大于句尾通顺时诱发的N400波幅。

（2）使用Muse设备，以绝对时间标记法采集的N400成分能够准确测量出用户对汽车造型语义的创新性程度。

1 句尾歧义诱发N400成分实验

1.1 实验设计

1.1.1 句尾歧义经典实验范式

本实验采用诱发N400成分的句尾歧义经典实验范式［8］。选取语法和语义正确，字母大小一致的4个句子为标准刺激组，分别编号为1、3、5和7号。选取语法正确，字母大小一致，但句尾的最后一个词错写为歧义词的4个句子为偏差刺激组，分别编号为2、4、6和8号，如图1所示。每个句子按照词组分成5部分，在屏幕上按照既有顺序每秒呈现一个词组，令被试者默读，采集脑电数据。每个句子随机出现一次，实验流程如图2所示。

图1 标准刺激语句与偏差刺激语句Fig.1 Standard stimulus sentences and deviated stimulus sentences

图2 实验流程Fig.2 Experiment process

1.1.2 绝对时间标记法

绝对时间标记法是以成熟的ERP实验方法为基础，针对企业实际生产需求提出的更高效、更便捷的试验方法。

实验数据采集设备为美国Interaxon Inc公司开发的Muse便携式脑电设备。该设备的电极位置属于10-20国际标准导联系统，一共有5导：额叶3导电极（Fpz、AF7和AF8）、颞叶2导电 极（TP9和TP10）。其中Fpz为参考电极，AF7、AF8、TP9和TP10是有效采集电极，电极的放置如图3所示。Muse设备可简便有效地获取用户额叶和颞叶的脑电信号，并被许多研究证明可用于ERP的测量［18］。

图3 Muse脑电采集设备导电位示意图Fig.3 Electrode position

在实际情况下，企业的汽车造型设计工作强度大，需要更加简单高效的ERP实验范式。在Muse采集脑电信号的过程中，传统的事件标记信号法操作复杂，故而改用绝对时间标记法进行实验，如图4所示。实验开始，刺激发生系统呈现视觉刺激的同时，开始收集绝对时间数据，在实验过程中，每一步时间都精准固定，直到所有刺激呈现完成，停止收集绝对时间并保存脑电数据和绝对时间数据，全部被试者完成实验后，进行数据预处理。实验一的采集流程为：实验开始，刺激发生系统启动，界面出现“开始”字样，与此同时电脑收集绝对时间数据起点。2s后出现注视集中界面，此画面持续1 s，随后随机呈现8个语句中的一个，并按顺序每秒呈现这个语句中的一个词组。每句话最后一个词组呈现结束后，返回注视集中界面，保持1 s后，随机呈现下一个语句，所有语句都随机呈现一次后，实验结束，保存脑电数据和绝对时间数据。全程被试者不需要进行任何操作，只需注意力集中，默读理解语句语义即可。

图4 刺激呈现系统流程图Fig.4 Flowchart of stimulation system

在实验准备过程中，由于多个设备之间通过蓝牙连接传输数据，存在延迟抖动。为了解决这个问题，自主设计了基于Python平台的代码程序，用于测量延迟抖动数据。多次同一环境下实验，发现设备系统固定且一直存在10～25 ms的延迟抖动。即通过蓝牙传输到电脑上的数据较被试者脑电波真实诱发时间全部延迟10～25 ms。为了规避误差，在分段分割阶段适度增大比较脑电波幅的时间窗，本实验环境下延迟抖动问题不影响实验结果。

1.2 数据预处理

使用Python工具软件自主开发了脑电数据分析系统。其中主要使用Pygame模块构建整个实验程序，使用PyLSL（python lab stream layer）模块和Pythontime模块分别接收Muse采集的脑电数据和视觉刺激发生的绝对时间信号。经过数据预处理，共有59个有效数据产生，额叶三导电极（Fpz、AF7和AF8）、颞叶两导电极（TP9和TP10）阻抗保持在10 kΩ以下，采样频率256 Hz。当载入电极后，以Fpz导电位作为参考电极，以0.1～15.0 Hz区间为基准进行二阶带通滤波，之后以刺激发生前200 ms为起始点，刺激发生后600 ms为结束点，细化分段和分割实验数据，去除眼电、眼动、肌电等伪迹信号，针对不同刺激分别作叠加平均，绘制总叠加波形图。具体数据分析流程如图5所示。

图5 数据分析流程图Fig.5 Flowchart of data analysis

1.3 被试者招募

本次实验一共招募62名被试志愿者，年龄在23～45岁之间，平均年龄27.2岁，视力或矫正视力正常，身体健康。所有被试者在实验前被告知实验流程，并签署了实验知情同意书。

实验开始前10 min准备好并佩戴Muse设备。屏幕呈现和数据采集程序将由电脑自动进行，其间要求被试者距离显示器50 cm，平视显示器中央，保持身体不动，尽量减少眨眼和面部动作。每组实验时间大约100 s。

1.4 数据分析与结果

本实验诱发出多个脑电成分，研究将实验数据分为数值与图形两个部分，对其进行主效应分析。在句尾歧义与否两种条件下，分别对AF7、AF8、TP9和TP10这4种导电位的波幅求均值。由于波幅时刻波动，找到波形图的峰值时间点t，提取时间窗（t-10，t+10）ms。

1.4.1 图像分析

以4个句尾通顺语句叠加平均为标准刺激，4个句尾歧义语句为4个偏差刺激，分别将其与标准刺激对比，根据4个导电位分别生成脑电波叠加波形图，如图6所示。在TP9导电位上生成的叠加图有显著相似规律，其余导电位无显著相似规律。通过TP9导电位生成的波形图发现，潜伏期在190～210 ms范围内，标准刺激和偏差刺激均诱发出N200成分，且偏差刺激波幅更大。潜伏期在290～310 ms范围内，标准刺激和偏差刺激均诱发出P300成分。且第3组数据中，偏差刺激诱发出的P300波幅最显著。潜伏期在390～430 ms范围内，标准刺激和偏差刺激均诱发出了显著的N400成分，且全部4组偏差刺激诱发出的N400波幅更大。潜伏期在550～570 ms范围内，标准刺激和偏差刺激均诱发出N560成分。

把4个句尾歧义和4个句尾通顺语句分别总叠加为总偏差刺激和总标准刺激，基于4个导电位分别生成4张总叠加图，如图7所示。从图7中可以明显发现TP9导电位生成的偏差刺激和标准刺激波形拟合度高，TP10波形拟合程度低，AF7和AF8波形没有拟合迹象。在TP9波形图上，偏差刺激在190～210 ms范围诱发出N200，在280～300 ms范围诱发出P300，在390～410 ms范围诱发出N400成分，其中N400成分非常显著，在550～570 ms范围内诱发出N560成分。

1.4.2 数值分析

提取AF7、AF8、TP9和TP10这4种脑电数据做统计学分析，比较在句尾歧义与否两种条件下的波幅差异。表1显示了这两种条件下各导电位波幅值的t检验结果

表1 句尾歧义与通顺两种条件下各导电位波幅值的t检验Tab.1 Amplitude value t-test of different brain regions under two conditions

以句尾歧义与否作为自变量，各个导电位置的波幅作为因变量，进行配对样本t检验。结果表明：N400成分在TP9导电位（t=-3.36，p＜0.001）波幅差异显著，即句尾歧义与否在TP9导电位对N400成分有显著影响，该结论与图6和图7图像匹配。

图6 每个偏差刺激与4个标准刺激的脑电波叠加图Fig.6 Brainwave superposition of each deviated stimulus and four standard stimuli

图7 偏差刺激与4个标准刺激脑电波总叠加图Fig.7 Total superposition of brainwave for deviation stimulus and four standard stimuli

由以上结果分析得出结论：

（1）TP9导电位收集的N400成分数据最显著，具有主效应，其他的成分不具有主效应。

（2）验证假设（1）正确，在使用便携式脑电采集设备Muse的实验中，句尾歧义时诱发出的N400波幅大于句尾通顺时诱发的N400波幅。

2 汽车造型创新性语义认知事件实验

2.1 实验设计

2.1.1 复合刺激S1-S2实验范式

本研究的实验材料中有图片和文字两种形式，所以采用适合于多模态语义加工研究的复合刺激范式S1-S2［17］。该范式要求依次呈现两种刺激S1和S2，S1为图片刺激，S2文字刺激。当S1是4张目标刺激车辆图片中的任意一张时，其后出现的S2固定呈现“创新的”形容词文字，组成图片文字对。其他背景刺激图片与文字随机形成图片文字对。每组图片文字对随机呈现两次，任意两个连续图片文字对都不重复。

习近平总书记强调，智力资源是一个国家、一个民族最宝贵的资源。我们进行治国理政，必须善于集中各方面智慧、凝聚最广泛力量。改革发展任务越是艰巨繁重，越需要强大的智力支持。

2.1.2 绝对时间标记法

实验二使用Muse便携式脑电设备和实验一中自主编写的程序对被试者的脑电数据进行采集和预处理。在实验范式上，采用绝对时间标记法进行实验。实验开始，首先呈现5 s的讲解页面，随后进入正式实验。屏幕会先呈现3 s“+”作为冷静期，其后随机呈现S1图片刺激2s，被试者第一时间感知图片语义。随后呈现S2文字刺激2 s后无需任何操作自动跳转冷静期画面。直到每组刺激随机出现2次后结束实验。全程不需要被试者任何操作，记录时间为起始时间点和绝对时间。具体流程如图8所示。

图8 实验设计过程Fig.8 Experimental procedure

2.2 实验对象

本次的实验对象为图片和文字形式。作为目标刺激的图片材料是4辆某品牌提出的下一代造型方案A、B、C和D（截至本文刊发均处于保密状态）。其余作为背景刺激的10辆车通过网络收集获得，是刚刚上市或已发布未上市的运动型多功能车。采用传统造型评价标准处理图片。文字对象是1个创新性词汇和17个背景词汇，均是常用于描述汽车造型风格的形容词，统一格式与大小，如图9所示。

图9 S1-S2刺激材料Fig.9 S1-S2 stimulator

2.3 被试者招募

本实验共招募40名被试志愿者，招募条件与实验一一致。

2.4 数据分析与结果

2.4.1 图像分析

图10是Muse脑电设备输出的数据图像，方案C激发出的N400波幅最高，方案B的N400波幅最低，4个方案关于创新性维度排序为B＞D＞A＞C。

图10 数据图像Fig.10 Data image

2.4.2 数值分析

实验结果表明，被试者在看到目标刺激时，诱发了显著的N200、P300和N400成分。基于实验一结果，收集N400成分数值，如表2所示，关于创新性维度的排序为B＞D＞A＞C。

表2 造型语义与目标语义各导电位波幅值的均值和标准差Tab.2 Mean and standard deviation of conductive potential wave amplitude under two conditions

综上所述，比对图像与数据，作为目标刺激的4个造型方案关于创新性维度的排序为：B＞D＞A＞C。

验证假设（2）正确：使用Muse设备，以绝对时间标记法采集的N400成分能够准确测量出用户对汽车造型语义的创新性程度。

3 结语

汽车造型设计的目标和评审本质是一个用关键词表达和描述汽车造型的过程。在实际工作流程中，该过程为设计诊断环节。由于汽车造型设计环节多、理解偏差大等因素，为得到准确的对应匹配语义，企业需要付出较高的时间成本和人力成本。本研究通过引入便携式脑电采集设备，运用绝对时间标记法，根据创新性造型的设计目标要求，探索用户创新性造型意向需求，即借助Muse TP9导电位采集到的N400指标实现了优化造型评估流程的目的。

研究基于Muse设备采集ERP中N400成分，运用绝对时间标记法简化ERP实验操作，进而优化企业造型设计评估流程。在ERP研究过程中，事件标记法是将时间标记物准确插入到连续的脑电数据中，以标记实验刺激的重要方法。而本研究以简化实验操作流程为准则，采用绝对时间标记法，即通过蓝牙传输一整段Muse收集的脑电波数据到实验电脑上，再按照特定的绝对实验时间节点进行分段处理。在以上实验准备过程中发现多设备蓝牙传输存在延迟抖动，通过自主设计的代码程序测量本实验使用的设备系统有固定且一直存在的延迟抖动，为10～25 ms，即通过蓝牙传输到电脑上的数据较被试者脑电波真实发生时间全部延迟10～25 ms。数据分段分割阶段要进行规避。将原本50 ms左右的时间窗扩大为90 ms，所有被试刺激的N400成分波幅全都被时间窗包括，本实验环境下延迟抖动问题不影响实验结果。

在使用Muse便携式脑电采集设备的实验中发现，句尾歧义时诱发出的N400波幅大于句尾通顺时诱发的N400波幅。汽车造型语义与文字语义不一致时所诱发的N400波幅大于汽车造型语义与文字语义一致时的N400波幅。

设计用于多模态语义加工研究的复合刺激范式S1-S2，验证了Muse脑电装置可以在不进行事件标记的情况下，在一台电脑上进行事件相关电位N400成分的研究，判断汽车造型是否符合用户语义意向，进而对比在目标语义刺激下4个造型方案所诱发出的N400成分，进行创新性排序。

某乘用车公司将使用Muse采集脑电信号的绝对时间标记法与传统市场调研方法结合应用，大幅节省了成本，缩短了造型评估周期，提高了决策准确度，优化了汽车造型开发流程。