跨通道视听觉情绪信息对婴儿图式效应的影响*

2021-09-27杨伟平杨项富徐建萍

心理与行为研究 2021年4期

杨伟平杨项富徐建萍

(1 湖北大学教育学院心理学系，武汉 430062) (2 湖北大学教育学院脑与认知研究中心，武汉 430062)

1 引言

婴儿图式（baby schema or kindchenschema）最早由奥地利动物行为学家Konrad Lorenz 在1943 年提出，用以定义具有吸引力的婴儿特征，包括圆圆的脸蛋、饱满的额头、大大的眼睛以及与躯体不成比例的大脑袋和短粗的四肢等。这些特征能够帮助婴儿有效地向外界传递信息，引起成人在认知、情感和行为上做出快速反应，以达到依赖他人来保护自己的目的（Aradhye,Vonk,& Arida,2015;Lorenz,1943）。婴儿图式作为一种“先天释放机制”（inner releasing mechanism）能够自动捕获成人的注意，诱发个体的积极情绪，同时也是在婴儿时期建立良好亲子关系的生理基础（Parsons,Young,Parsons,Stein,& Kringelbach,2012）。

根据已有的婴儿图式研究发现，婴儿的外貌、声音和气味等典型特征均能有效唤起成人的“可爱感”（cuteness），从而诱发婴儿图式效应（Kringelbach,Stark,Alexander,Bornstein,& Stein,2016;Lei,Xia,Mo,& Li,2020）。其中婴儿的面孔图式效应最为明显，可以诱发成人的积极情绪，引起对婴儿面孔的偏好和注意偏向，唤起成人对婴儿的特别关注和照料行为。例如，当用点探测范式考察成人对婴儿面孔的注意偏向时发现，被试对出现在婴儿面孔后的目标刺激反应更快（Brosch,Sander,& Scherer,2007）。同样，在简单任务前观看婴儿面孔也可以加快被试的反应速度（Cheng,Zhang,Sun,Jia,& Ta,2015;Kringelbach et al.,2016）。以上研究表明，成人对婴儿面孔存在注意偏向，能够对婴儿刺激做出更快的行为反应。值得注意的是，近年来的研究不仅关注婴儿面孔对个体注意的捕获，还发现婴儿的声音同样可以获得个体的关注，诱发听觉的婴儿图式效应。Parsons等（2014）的研究发现，虽然婴儿消极和积极的声音都能加快成人的行为反应，但是只有婴儿消极的声音可以提高被试有意识参与的精细运动的速度和准确性。也就是说，婴儿消极的声音能够获得更多的注意资源，进而可能会诱发婴儿图式效应（Li,Zheng,Meng,Li,& Li,2013）。

先前对婴儿图式的研究大多单一地使用面孔或声音作为实验材料。但是有研究表明，面孔和声音的情绪信息存在整合加工的现象，个体能够同时提取并整合视觉和听觉通道的情绪信息，表现出更快的识别速度和更高的准确率（李萍,张明明,李帅霞,张火垠,罗文波,2019;Kreifelts,Ethofer,Grodd,Erb,& Wildgruber,2007;Yang,Ren,Yang,Yuan,& Wu,2016）。这种情绪识别的促进作用是否会加强婴儿图式效应，目前尚不清楚。另外，大多数研究只使用中性面孔作为刺激材料，但是有研究发现情绪信息也是影响婴儿图式效应的重要因素之一。有研究发现，被试对中性婴儿面孔的注意偏向值显著大于积极和消极婴儿面孔，进一步比较被试对婴儿和成人刺激的反应发现，中性婴儿面孔诱发的婴儿图式效应显著大于积极和消极婴儿面孔诱发的婴儿图式效应（Ding,Zhang,& Cheng,2016;Jia et al.,2017）。有研究者推测婴儿中性面孔的不确定性是导致中性婴儿面孔图式效应最大的重要原因（程刚等,2019;Jia et al.,2021）。但是也有研究者发现，相比于中性婴儿面孔，成人对积极和消极婴儿面孔的加工速度更快、反应时更短，表现出对带有情绪信息的婴儿面孔的优先加工机制（Brosch,Sander,Pourtois,& Scherer,2008;Kringelbach et al.,2008）。所以，婴儿中性面孔诱发的婴儿图式效应的大小还存在争议，仍需要进一步研究。

综上所述，本研究使用积极、中性和消极情绪的面孔和声音作为实验材料，考察在视觉、听觉和视听觉三种不同刺激通道下的婴儿图式效应。通过比较被试对成人刺激和婴儿刺激的喜爱程度和动机强度的差异，以此衡量是否诱发了婴儿图式效应（Cheng et al.,2015;Ding et al.,2016）。随后，计算纯化的婴儿图式效应量来比较不同条件下诱发的婴儿图式效应的大小。基于前人的研究结果，提出以下研究假设：（1）在视觉通道下，三种情绪刺激均能诱发被试的婴儿图式效应；（2）在听觉通道下，消极的情绪刺激可以诱发被试的婴儿图式效应；（3）在视听觉通道下，由于可能产生双通道的促进作用，研究推测在视听觉通道下的婴儿图式效应大于视觉和听觉通道下的婴儿图式效应。

2 研究方法

2.1 被试

采用G*Power 3.1 对样本量进行计算。设置参数effect sizef为0.25，I 类错误的概率α err prob 为0.05，检验效能Power（1−β err prob）为0.8，计算实验需要的样本量为48。招募在校大学生60 名（其中男性14 名），平均年龄为21.06±1.58 岁，左、右利手分别为2 名和58 名。所有被试听力和视力正常，此前均未参加过类似实验。

2.2 实验材料

2.2.1 视觉刺激

从婴儿同面孔自发多表情图片系统（Same Infant Spontaneous Multiple Affective Face Picture System,SI-SMA-FPS）和成人同面孔自发多表情图片系统（Same Adult Spontaneous Multiple Affective Face Picture System,SA-SMA-FPS）中随机选取积极、中性和消极三种面孔情绪图片（贾云丞等,2019），每种情绪图片包含成人和婴儿各8 张，均为4 张男性图片和4 张女性图片，一共48 张图片。婴儿和成人情绪图片的愉悦度和唤醒度评分见表1。

表1 视觉材料的愉悦度和唤醒度评分（M±SD）

2.2.2 听觉刺激

使用电脑录制成人和婴儿情绪信息的音频。成人积极情绪音频8 段（男性女性声音各4 段），成人消极情绪音频3 段（男性声音1 段，女性声音2 段），成人中性情绪音频4 段（男性女性声音各2 段）。其中积极情绪为成人的笑声，消极情绪为成人的哭声，中性情绪为“ga”和“ba”的持续音。婴儿积极、中性和消极音频各3 段，未区分婴儿声音的性别。其中积极情绪为婴儿的笑声，消极声音为婴儿的哭声，中性情绪为“wu”的持续音。所有音频不含有任何语义内容。将音频时间截取为1 s，经过唤醒度和愉悦度评定后选择积极、中性和消极的成人声音各2 段（其中男性女性声音各1 段）和婴儿声音各1 段。

唤醒度的评分标准为音频的兴奋度，采用9 点评分表（1 表示“低兴奋度”，5 表示“中兴奋度”，9 表示“高兴奋度”）；愉悦度评分标准为音频的愉快度，采用9 点评分表（1 表示“低愉快度”，5 表示“中愉快度”，9 表示“高愉快度”）（刘涛生,罗跃嘉,马慧,黄宇霞,2006）。30 名评定人员（不参与正式实验）对随机呈现的36 段声音逐一评分，最后计算每段声音的平均得分。在每个情绪类型中选择唤醒度最接近5（“中唤醒度”）的声音后，在积极、消极和中性情绪中分别选择愉悦度得分最高、最低和接近5（“中愉悦度”）的听觉材料。最终选择的音频材料信息见表2。

表2 听觉材料的愉悦度和唤醒度评分（M±SD）

2.2.3 视听觉刺激

将成人和婴儿的面孔和声音按照不同类型的情绪信息进行配对，形成成人的积极、中性和消极视听觉刺激和婴儿的积极、中性、消极的视听觉刺激。最终形成48 组视听觉情绪刺激。

2.3 实验设计

2.4 实验程序

首先屏幕中央会呈现1000 ms 的注视点，随后会随机呈现不同情绪的视觉、听觉或视听觉刺激1000 ms。被试的任务是在刺激呈现后进行喜爱度评分和动机行为的选择。喜爱度评分采用9 点评分表（1 表示“低喜爱度”，5 表示“中喜爱度”，9 表示“高喜爱度”），被试需要通过数字按键进行评分；动机强度的测量要求被试对刚才呈现的刺激进行“想要刺激再次呈现”的按键反应，想要刺激再次呈现则按“Q”键，不想要刺激再次呈现则按“P”键。两个反应窗口呈现的时间不限，但要求被试尽快反应。在正式实验阶段，视觉、听觉和视听觉刺激各随机呈现48 次，整个实验大约持续20 分钟。

3 结果

使用SPSS24.0 分析实验收集的数据，分别对喜爱度评分和动机强度进行三因素被试内重复测量方差分析。采用被试对成人材料的反应作为基线，通过与婴儿材料的反应对比检验是否出现婴儿图式效应，随后计算纯化的婴儿图式效应量（婴儿图式效应量为被试对婴儿面孔的反应值与被试对成人面孔的反应值的差值），考察不同条件下诱发的婴儿图式效应的大小（程刚等,2019;Cheng et al.,2015）。

3.1 喜爱度评分

对喜爱度评分进行三因素重复测量方差分析发现，类型的主效应显著，被试对婴儿刺激的喜爱度显著高于对成人刺激的喜爱度，F(1,59)=48.13，p<0.001，η=0.45，出现婴儿图式效应；通道的主效应显著，F(2,118)=36.61，p<0.001，η=0.38；情绪的主效应显著，F(2,118)=165.97，p<0.001，η=0.74；类型、通道与情绪三者的交互作用显著，F(4,236)=33.82，p<0.001，η=0.36。被试在不同条件下的喜爱度评分见表3。

表3 不同条件下被试的喜爱度评分

进一步分析表明，在视觉刺激单独呈现时，被试在积极、中性和消极情绪下对婴儿刺激的喜爱度均显著高于对成人刺激的喜爱度，ps<0.001。对视觉条件下三种不同情绪的纯化的婴儿图式效应量进行单因素重复测量方差分析发现差异显著，F(2,118)=6.36，p=0.002，η=0.19，中性情绪诱发的婴儿图式效应显著大于消极情绪诱发的婴儿图式效应，t(59)=3.72，p<0.001，d=0.53；在视听觉刺激同时呈现时，被试在积极、中性和消极情绪下，对婴儿刺激的喜爱度均显著高于对成人刺激的喜爱度，ps<0.001。对视听觉条件下三种不同情绪的纯化的婴儿图式效应量进行单因素重复测量方差分析发现差异显著，F(2,118)=3.34，p=0.039，η=0.08，中性情绪诱发的婴儿图式效应显著大于积极情绪诱发的婴儿图式效应，t(59)=2.19，p=0.032，d=0.40；在听觉刺激单独呈现时，被试在消极情绪（p<0.001）下对婴儿刺激的喜爱度显著高于成人刺激，但在积极情绪（p=0.828）和中性情绪（p=0.272）下，被试对婴儿刺激和成人刺激的喜爱度评分没有显著差异。

在积极和中性情绪下，被试对视觉通道和视听觉通道的婴儿刺激的喜爱度评分显著高于成人刺激的喜爱度评分，ps<0.001，但两者诱发的婴儿图式效应量大小无显著差异，ps>0.05。在听觉通道下，被试对婴儿刺激与成人刺激的喜爱度评分无显著差异，p=0.828；在消极情绪下，被试在视觉、视听觉和听觉通道下对婴儿刺激的喜爱度评分显著高于对成人刺激的喜爱度评分，ps<0.001。对消极情绪条件下三种不同通道的纯化的婴儿图式效应量进行了单因素重复测量方差分析发现差异不显著，F(2,118)=0.42，p=0.656。

3.2 动机强度

对动机强度进行三因素重复测量方差分析发现，类型的主效应显著，F(1,59)=52.81，p<0.001，η=0.47，被试对婴儿刺激的动机强度显著强于成人刺激，出现婴儿图式效应；通道的主效应显著，F(2,118)=13.95，p<0.001，η=0.19；情绪的主效应显著，F(2,118)=114.06，p<0.001，η=0.66；类型、通道与情绪三者的交互作用显著，F(4,236)=12.24，p<0.001，η=0.17。被试在不同条件下的动机强度评分如表4所示。

表4 不同条件下被试的动机强度评分

进一步分析表明，在视觉刺激单独呈现时，被试在积极、中性和消极情绪下对婴儿刺激的动机强度显著高于成人刺激的动机强度，ps<0.001。对视觉条件下三种不同情绪的纯化的婴儿图式效应量进行单因素重复测量方差分析发现差异显著，F(2,118)=32.45，p=0.008，η=0.36，中性情绪下诱发的婴儿图式效应显著大于积极情绪[t(59)=5.46,p<0.001,d=0.73] 和消极情绪[t(59)=7.70,p<0.001,d=0.96]诱发的婴儿图式效应；在视听觉刺激同时呈现时，被试在积极情绪、中性情绪和消极情绪下对婴儿刺激的动机强度显著高于对成人刺激的动机强度，ps<0.001。对视听觉条件下三种不同情绪的纯化的婴儿图式效应量进行单因素重复测量方差分析发现差异显著，F(2,118)=28.88，p<0.001，η=0.52，中性情绪下诱发的婴儿图式效应显著大于积极情绪[t(59)=4.37,p<0.001,d=0.80]和消极情绪[t(59)=8.02,p<0.001,d=1.32]诱发的婴儿图式效应；在听觉刺激单独呈现时，被试在消极情绪和中性情绪下对婴儿刺激的动机强度显著高于成人刺激，ps<0.001，在积极情绪下的婴儿刺激和成人刺激的动机强度评分没有显著差异，p=0.712，未出现婴儿图式效应。

在积极情绪下，被试对视觉通道和视听觉通道下婴儿刺激的动机强度显著高于对成人刺激的动机强度，ps<0.001，但两者诱发的婴儿图式效应量无显著差异，t(59)=1.39，p=0.171，d=0.16。在听觉通道下，被试对婴儿刺激与成人刺激的动机强度无显著差异，p=0.712；在中性情绪下，被试在视觉通道、视听觉通道和听觉通道婴儿刺激的动机强度显著高于对成人刺激的动机强度，ps<0.001；在消极情绪下，被试在视觉通道、视听觉通道和听觉通道下对婴儿刺激的动机强度显著高于对成人刺激的动机强度，ps<0.001。但诱发的婴儿图式效应量无显著差异，F(2,118)=2.97，p=0.055。被试在不同条件下诱发的婴儿图式效应量如图1所示。

图1 被试在不同条件下诱发的婴儿图式效应量

4 讨论

4.1 情绪对跨通道视听觉信息婴儿图式效应的影响

研究结果发现在视觉和视听觉条件下，被试对三种情绪的婴儿面孔均产生偏好反应，表现为对婴儿面孔的喜爱度和动机强度大于成人面孔，出现婴儿图式效应。而在听觉刺激单独呈现时，被试对积极和中性情绪的婴儿声音未出现偏好反应，未能诱发婴儿图式效应。信息可靠性假设认为对于完成任务更有效率的感觉通道会占据优势状态。在情绪识别中，视觉通道比听觉通道的利用率更高，表现出在情绪处理过程中的视觉优势（Collignon et al.,2008）。本实验需要被试对婴儿情绪进行快速识别，所以更有效的是视觉刺激，而听觉刺激在识别前需要一定的缓冲周期，可能会影响被试在听觉通道上对婴儿情绪的识别。

同时，研究结果发现在视觉和视听觉通道下，中性情绪诱发的婴儿图式效应量显著大于积极和消极情绪，这与之前的研究结果保持一致（程刚等,2019;Ding et al.,2016;Jia et al.,2021）。有研究者提出，高兴和悲伤的面孔情绪信息由于其信号内涵更为清晰，所以更容易被识别。但由于中性面孔的模糊性和不确定性，成人无法迅速根据中性的婴儿面孔判断婴儿的生理状态和需求，当其面对中性婴儿面孔时，为了避免错过婴儿发出的重要信号，会分配更多的注意资源来识别婴儿当下所处的状态，表现出对中性婴儿面孔的更长的注视时间和更大的偏好反应，进而出现中性婴儿面孔图式效应最强的现象。例如，有研究者使用三种不同情绪的面孔表情来研究成人的情绪反应和照料动机，结果发现在婴儿面孔图式效应量上，中性面孔的效应量显著大于积极和消极情绪面孔（Ding et al.,2016）。基于眼动技术的研究发现，成人对中性婴儿面孔的注意偏向值显著高于积极和消极情绪婴儿面孔（Jia et al.,2017），这表明中性情绪婴儿面孔能引起成人更强的注意偏向和观看动机。本研究的结果进一步支持了婴儿的中性情绪作为一种模糊刺激，会引起成人更强的偏好和注意偏向，从而会诱发更强的婴儿图式效应。

4.2 情绪对婴儿图式效应的影响具有通道特异性

实验结果发现在听觉通道下，消极情绪诱发了被试的婴儿图式效应，而积极情绪未诱发被试的婴儿图式效应。婴儿的哭声具有高频率、高强度、短停顿以及生硬的旋律转变的特征，所以婴儿的哭声在听觉通路的早期阶段就可以与其他声音区分出来（Parsons et al.,2014）。可见，婴儿的哭声在向外界传递信息时更有效，能够让成人对婴儿的状态进行快速判断和响应。有研究发现婴儿哭声比婴儿笑声能够引发成人更强的抓握力度，表明成人对婴儿哭声表现出更强烈的紧张和无助感（Bakermans-Kranenburg,van Ijzendoorn,Riem,Tops,& Alink,2012），促进成人投入更多的注意资源来关注婴儿的安全和健康。而且，成人对婴儿哭声的生理唤起和回应可能反映了一种自主觉醒的“高度警戒”状态。在听到婴儿哭声时，成人在生理上已经准备好对婴儿的痛苦做出反应，来消除婴儿的不适状态以停止其哭闹（Giardino,Gonzalez,Steiner,& Fleming,2008）。所以，在听觉通道下，消极情绪诱发了被试的婴儿图式效应，而积极情绪未诱发被试的婴儿图式效应。此外，认知神经科学发现婴儿的哭声能够激活丘脑（thalamus）、下丘脑（hypothalamus）、杏仁核（amygdala）和脑岛皮层（insular cortex）等脑区，这些脑区不仅与情绪、动机、注意和共情等多种认知活动相关，而且能够诱发成人的母爱动机（Glocker et al.,2009;Li et al.,2013;Pfeifer,Iacoboni,Mazziotta,& Dapretto,2008）。也就是说，婴儿的哭声并非只是一种单纯的声学信号，而是反映了婴儿的生命信息和生理需求，从而引起个体更多的关注与照料，诱发了个体的婴儿图式效应（Parsons et al.,2014;Parsons et al.,2012;Young,Parsons,Stein,& Kringelbach,2015）。因此，在听觉通道下，消极情绪加强了成人的婴儿图式效应。

另外，在积极情绪和中性情绪下，视觉和视听觉通道诱发的婴儿图式效应量无显著差异，可能是由于在积极情绪和中性情绪下，个体对视觉和视听觉通道的加工方式类似（Mogg & Bradley,1999），也有可能是因为听觉通道的信息并不影响成人对婴儿积极和中性情绪刺激的加工。有研究者使用事件相关电位（event-related potential）技术发现，个体在处理视觉信息或同时呈现的视听觉的信息时，alpha 和beta 波具有高度相似性，这表明在视听觉刺激的感知中有很强的视觉处理成分（Jessen & Kotz,2011），从而抑制了听觉通道的信息处理，导致视觉通道和视听觉通道诱发的婴儿图式效应量无显著差异。