面孔表情识别眼动模式的影响因素*

刘昕旸 许茜如 梁腾飞 叶超雄，，5**

（1.四川师范大学脑与心理科学研究院，成都 610066；2.于韦斯屈莱大学心理学系，于韦斯屈莱，芬兰 40014；3.奥卢大学机器视觉和信号分析中心，奥卢，芬兰 90014；4.辽宁师范大学脑与认知神经科学研究中心，大连 116029；5.坦佩雷大学社会科学学院，坦佩雷，芬兰 33100）

1 引言

面孔是一种复杂而又普遍的视觉刺激。作为面孔加工专家（Young& Burton，2018），我们能从一张简单的面孔图片中提取出身份、性别、种族、表情等多种信息（杨青，闫国利，2013）。在这些信息中，表情包含了与面孔对象相关的情绪信息。能否快速、准确地识别面孔表情对个体的社会交往具有重要意义（Gambarota&Sessa，2019）。

大部分表情识别研究都基于一个极具影响力的基本情绪理论（Ekman，Sorenson，& Friesen，1969），该理论认为存在六种基本情绪——快乐、厌恶、恐惧、愤怒、悲伤、惊讶；这些基本情绪被认为是进化与社会适应的产物，在人类社会中普遍存在。尽管基本情绪有普遍的可识别性，个体对不同情绪的外在表现——表情却存在不同的感觉、注意和记忆加工机制（许茜如，何蔚祺，叶超雄，罗文波，2019；Curby，Smith，Moerel，& Dyson，2019；Lee & Cho，2019；Spotorno，Evans，& Jackson，2018；Xu et al.，2018；Xu et al.，2021）。

个体在识别不同面孔表情时表现出稳定、可识别且具有差异化的眼动模式（Bate，Haslam，& Hodgson，2009）。眼动模式，也被称作视觉扫描模式（visual scanning patterns），指个体在加工视觉刺激时注视点的运动轨迹及其时空特征（Le Meur et al.，2017）。在个体加工面孔表情的过程中，眼动模式反映了个体通过眼神交流以及信息搜索完成对表情相关特征信息的整合过程，整合的信息则为后续的表情识别提供了必要的感知觉信息（Barabanschikov，2015；Rigato&Farroni，2013），进而帮助个体正确有效地识别表情。通过探究个体加工不同表情时眼动模式的差异性，研究者能够更深入地探究哪些因素会影响，以及如何影响个体对情绪面孔的加工。虽然对于面孔表情识别的眼动追踪研究已经成为当前视觉研究的热点之一，但目前尚未见文献针对面孔表情识别的眼动模式及其影响因素进行系统性的整理和总结。基于此，本文将对现有面孔表情识别眼动追踪的相关研究进行梳理与归纳。综合已有研究结果，本文拟将面孔表情识别眼动模式的影响因素归为三类（面孔构形影响、认知影响以及情绪识别障碍影响），并对每种影响因素的作用及其可能的产生机制进行阐释和分析。最后，基于现有研究的局限性，本文将对相关实验范式提出改进建议，探讨未来研究的可行性方向，为未来更深入地考察面孔情绪信息的加工机制提供参考。

2 面孔构形因素对眼动模式的影响

情绪面孔构形指的是在面孔特征组织的基础上，使一种表情区别于其他表情的细微面孔特征以及这些特征之间的内在联系（Calder，Young，Keane，&Dean，2000）。细微面孔特征表现为情绪面孔各个部分不同的形态。每种表情都有其独特的细微面孔特征（Calvo&Marrero，2009）。如典型的快乐面孔包含上唇与面颊的上抬和眼睑的收缩下垂（Kohler et al.，2004）。这些细微面孔特征之间又存在不同的位置和距离关系（如眼睛和嘴巴的相对位置），从而形成能够被相互区分的面孔构形（Calder et al.，2000）。研究者们正是通过检验各种面孔特征对不同表情识别正确率的影响，探索了不同表情的面孔特征区（Dunlap，1927）。然而，由于刺激材料、实验设置和技术手段等的差异，这些研究获得的结果往往存在争议（Plouffe-Demers，Fiset，Saumure，Duncan，&Blais，2019）。下文将对已有研究一致与矛盾的结果分别进行论述。

2.1 面孔构形对表情面孔特征区的影响

前人研究结果显示，多种基本表情中只有快乐存在稳定而一致的面孔特征区——嘴巴，它在不同研究采用的各种指标中都是最显著的面孔特征（Bodenschatz，Kersting，& Suslow，2019；Guerin-Dugue et al.，2018；Scheller，Büchel，Christian，&Gamer，2012）。研究还表明，嘴巴在快乐面孔的识别中不仅贡献显著，而且几乎不受面孔构形变化的影响。例如，Calvo等人（2018）通过录像放映的方式向被试呈现由中性变化至不同表情的动态情绪面孔，要求被试在六个迫选项中进行按键反应，并在情绪面孔动态展现的过程中记录被试的眼动模式。结果发现对于快乐面孔，相较于其他面孔特征区，被试更可能首次注视嘴巴；注视点落入嘴巴的可能性更大，对嘴巴的总注视时间更长，落入嘴巴的注视点数量更多。有研究者认为快乐面孔中微笑的嘴巴具有显著性和独特性，这两种属性可以削弱或消除视觉干扰从而保证个体对快乐的准确识别（Calvo，Fernandez-Martin，&Nummenmaa，2014）。

表1 不同表情面孔特征区研究汇总（彩图见网络版）六种基本表情的面孔特征区（2007-2019）

尽管以往研究较一致地支持快乐存在稳定的面孔特征区，但其他基本表情（厌恶、悲伤、愤怒、恐惧和惊讶）的面孔特征区则存在争议。本文将存在一致和矛盾发现的13篇相关研究的结果与结论汇总统一在表1中。其中，厌恶表情面孔构形对眼动模式的影响主要由情绪强度的变化引起。在低情绪强度下，个体注视厌恶面孔嘴巴的次数更多；但随着情绪强度增加，被试对厌恶面孔的鼻子（Vaidya，Jin，& Fellows，2014）以及上唇（Schurgin et al.，2014）的注视增多。情绪强度并不影响注视点在悲伤面孔的分布状况（Schurgin et al.，2014），但面孔的错置显著影响了个体对悲伤面孔的识别（Bombari et al.，2013）。有研究者认为悲伤表情可能没有明显的面孔特征区，个体主要依靠特征之间的相互关系识别悲伤（Bombari et al.，2013），但也有证据表明个体在识别悲伤时表现出对眼睛的偏好（Beaudry，Roy-Charland，Perron，Cormier，&Tapp，2014；Eisenbarth & Alpers，2011；Wells，Gillespie，&Rotshtein，2016）。对愤怒面孔识别具有贡献的特征区主要是眼睛，但也有研究发现被试对愤怒面孔鼻子的注视时间更长（Bombari et al.，2013）。而对于恐惧面孔，其特征区的争议主要集中在眼睛和嘴巴这两个区域。大部分研究支持眼睛作为恐惧面孔的特征区（Bodenschatz et al.，2019；Martin-Key，Graf，Adams，&Fairchild，2017）。但也有研究发现嘴巴对恐惧面孔的识别贡献率很大（Bombari et al.，2013；Eisenbarth& Alpers，2011）。另外，有行为研究发现当面孔被模糊化或错置时，愤怒和恐惧的识别准确率下降（Bombari et al.，2013）。惊讶面孔同时受情绪强度和表情动态呈现的影响，其面孔特征区存在较大的不确定性（Calvo et al.，2018；Guerin-Dugue et al.，2018；Martin-Key et al.，2017）。

总体而言，大部分前人研究支持了面孔构形是影响眼动模式的重要因素。有研究者认为，眼睛和嘴巴可能是表情识别中最重要的面孔特征区（Wegrzyn，Vogt，Kireclioglu，Schneider，&Kissler，2017）。然而，也有研究发现除眼睛和嘴巴以外的面孔区域也存在不同程度的重要性（Bombari et al.，2013）。这可能与具体表情的特点，刺激材料的选择与控制，以及兴趣区的设置有关。例如，厌恶表情的特征主要表现在面孔下部，有研究显示，除嘴巴外，鼻子也会获得同等甚至更多的注视，特别是随着情绪强度的增加，鼻子的突显性也会增强（Bombari et al.，2013）。但在以往研究中，通常只设置了嘴巴和眼睛这两个兴趣区，却忽略了鼻子这一可能的面孔特征区（Wells，Gillespie，&Rotshtein，2016）。通过标准化地设置兴趣区，谨慎地选择情绪面孔材料，我们可以更准确地考察面孔构形本身对表情识别眼动模式的影响。而对于这些方面的考虑，可以帮助我们对前人研究看似矛盾的结果作出更合理的解释。

3 认知因素对眼动模式的影响

面孔表情识别的眼动模式除了受面孔构形这种刺激驱动因素的影响外，还会受到个体的目标、经验、策略等认知因素的制约，这些认知因素往往是以自上而下的方式影响眼动模式。

个体的目标会使他们在视觉加工过程中对与任务相关的信息产生注视偏好，并根据任务要求改变眼动模式（Malcolm，Lanyon，Fugard，& Barton，2008）。Schurgin等人（2014）将情绪面孔和中性面孔在任务中混合随机呈现，发现被试在识别情绪面孔和中性面孔时表现出类似的眼动模式，这说明被试的眼动模式可能受到任务设置的影响，个体会以加工情绪面孔的方式对中性面孔进行加工并试图从中获得情绪信息。此外，用于衡量婴幼儿认知发展状况的心理理论（theory of mind）研究也支持了认知因素对眼动模式自上而下的影响。例如，Poulin-Dubois等人（2018）研究了幼儿对实验者在不同场景（有无诱发实验者产生悲伤情绪的事件）中面孔表情的注视差异。发现在悲伤性事件发生前幼儿对情绪面孔和场景中其他事物的注视时间没有差异，但在看到悲伤性事件后对悲伤表情的注视时间显著长于对场景中其他事物的注视时间，说明幼儿可能运用了心理理论来理解他人的表情，并据此改变自己的眼动模式。另外，Chaby等人（2017）发现年轻人在进行表情识别时对面孔上下部分有同等的关注，而老年人则会表现出对面孔下部的显著偏好，研究者推断这种眼动模式的差异可能是由于老年人使用了与年轻人不同的信息加工策略所导致的。除此以外，个体的动机也是影响眼动模式的重要认知因素。调节定向理论（Regulatory Focus Theory；Higgins，1997）是一个经典的动机理论。该理论认为人们在实现目标的过程中会采用两种基本的自我调节模式-促进定向（promotion focus）和预防定向（prevention focus），前者与积极进取相关，后者与避免失败相关。Sassenrath等人（2014）通过让被试回忆并写出过去经历中成功或失败的情境，进而诱发他们的促进定向或预防定向。之后被试需要完成面孔表情识别任务，并同时记录被试的眼动模式。结果发现，与预防定向相比，促进定向条件下被试的表情识别表现更好；并且促进定向与表情识别表现的正相关受更短的面孔注视时间调节。该研究说明当个体采取促进定向模式时，他们努力地想要正确识别表情，并表现出一种急切（eager strategy）的注意分配模式。

以上研究结果表明认知因素会对面孔表情识别的眼动模式产生影响。个体在识别表情时受动机倾向影响，并且可以根据任务要求灵活地运用自身的经验与知识，使用不同的眼动模式策略以获得更精确有效的信息。

4 情绪识别障碍因素对眼动模式的影响

面孔构形因素反映了面孔表情作为客观刺激对眼动模式的影响，认知因素反映了个体的知识、经验等主观方面对眼动模式的影响。除此之外，因精神或神经性疾病导致的情绪识别障碍也可能会影响个体加工情绪面孔时的眼动模式。

4.1 情绪识别障碍群体眼动模式的差异

精神障碍群体存在情绪识别困难获得了大量实证研究证据的支持（如：精神分裂症，Fernandes，Cajão，Lopes，Jerónimo，&Barahona-Corrêa，2018；注意缺陷/多动症，Borhani & Nejati，2018；孤独症，马伟娜，朱宿蓓，谢宇，2015等），这些群体的眼动模式通常也异于健康人群（如：孤独症，Black et al.，2017；社交焦虑障碍，Claudino，de Lima，de Assis，&Torro，2019；抑郁症，Suslow，Hußlack，Kersting，& Bodenschatz，2020；精神分裂症，Hubble et al.，2017）。尽管精神障碍类型不同，这些群体却显示出某些共同的异常特征。其中最显著的特征包括眼动轨迹的无规律性、对情绪面孔尤其是消极面孔总体注视次数和注视时间的减少以及对传统面孔特征区的缺乏关注。这些异常特征广泛表现在各类精神障碍中（如：精神分 裂 症，Asgharpour，Tehrani-Doost，Ahmadi，& Moshki，2015；抑郁症，Figueiredo，Campos，Ripka，&Ulbricht，2018；社会焦虑障碍，Lazarov，Ben-Zion，Shamai，Pine，&Bar-Haim，2018；孤独症，Reisinger et al.，2020；孤独症反例见Greene，Suess，&Kelly，2020）。许多研究表明精神障碍患者对面孔特征区的注视减少并非被动反应，而是主动的注视回避（Dargis，Wolf，& Koenigs，2018；Reichenberger，Pfaller，& Mühlberger，2020；反例参见Matsuda，Minagawa，&Yamamoto，2015）。另外，精神障碍患者异常眼动模式的另一特点是对威胁性面孔的注意偏离（Green et al.，2003a，2003b；Lazarov et al.，2019）。而这一特点可能与不同精神障碍群体的特质密切相关（Dargis et al.，2018）。如有研究发现精神分裂症患者对威胁性情绪面孔（如愤怒）有注视回避倾向（Asgharpour et al.，2015），这种回避倾向可能与精神分裂症患者的妄想特质有关（Green et al.，2003a）。而边缘型人格障碍患者中攻击性更高的个体倾向于更快速地扫视威胁性面孔（Bertsch et al.，2017）。精神障碍群体的眼动模式不但受到疾病的影响而表现出某种异常，这种异常还会随疾病与障碍的发展状况或病程的不同阶段发生变化（Li et al.，2016a；Purcell et al.，2018；Vazquez et al.，2018）。这些结果反映了疾病的痊愈或减轻可能伴随着眼动模式的正常化，但这种正常化未必具有普遍性，因不同疾病痊愈导致的眼动模式的正常化程度也可能存在差异。

有神经性疾病或其他脑损伤的患者群体和精神障碍群体的眼动模式存在一定的相似性。脑损伤患者群体在识别面孔表情时往往表现出不规律的异常眼动模式（Fide et al.，2019），对相应面孔特征区的注视减少或消失，而这些异常表现可能与相关脑区的受损有关。研究者发现枕颞区域受损的面孔失认症患者在各种表情的识别过程中大部分的注视点都落在情绪面孔的嘴部，却不能主动加工眼睛区域的信息，甚至在被要求注视情绪面孔的眼睛时也表现出注视困难，因而无法正确识别以眼睛为主要面孔特征的表情（Fiset et al.，2017）。中风患者也表现出对情绪面孔眼睛的注视次数和注视时间的减少（Maza，Moliner，Ferri，&Llorens，2020），他们表情识别能力的下降与右侧杏仁核以及脑岛的损伤密切相关（Tippett et al.，2018）。轻度认知受损的帕金森症患者倾向于注视情绪面孔的中间部分，而对情绪面孔嘴部的注视时间显著短于正常人。研究者认为基底神经节，边缘系统和前纹状体通路可能是帕金森症患者加工消极情绪面孔时产生异常眼动模式的潜在脑机制（Waldthaler et al.，2019）。然而，这些脑区在表情加工中的实际功能目前尚不清晰，不同类型脑损伤患者的大脑中是否有共同的情绪加工脑区损伤或是特异性损伤仍需要进一步研究的验证。

5 小结与展望

面孔表情的识别加工是非常复杂的过程，受到诸多因素的影响。面孔构形的变化，个体的知识、经验与目的都会使人们加工面孔表情时的眼动模式产生不同的偏向与特点。而精神障碍或脑损伤则会导致眼动模式发生根本性的畸变，且这种畸变与不同疾病的特质和病程都有一定关联。然而，目前关于面孔表情识别的眼动模式研究仍存在一些问题，这些研究的结果在实践与临床上的应用前景尚未得到应有的重视，下文将对这些问题和可能性依次进行小结和展望。

5.1 情绪面孔特征区的提取

研究者应该区分稳定的面孔特征和随面孔构形变化而改变的动态面孔特征。稳定的面孔特征不受情绪面孔呈现条件（例如静态呈现和动态呈现）的影响，具有恒定性。前人研究得到的情绪面孔特征区（快乐面孔除外）普遍存在很大的差异性，导致这种差异性的一个重要原因可能是由于以往研究者只是简单计算了不同面孔区域的注视 比 率（Khan，Meyer，Konik，& Bouakaz，2019）。然而注视比率是一种变异性很大的参数，在不同试次，不同任务条件以及不同个体间都存在较大的变异性，仅比较不同面孔特征的注视比率很难得到稳定的面孔特征区。为解决这一问题，Vaidya等人（2014）利用图形的空间频率开发出一种情绪面孔识别模型，并根据这个模型得到了不同面孔特征在表情识别中的权重，进而得到相应特征在表情识别中的贡献率。动态情绪面孔的特征区提取是表情识别眼动研究需要关注的另一个重要方面。研究中发现面孔的倒置，错置，失真，运动以及情绪强度的改变都会使情绪面孔的特征和/或特征之间的关系发生变化。此外，现实生活中人们接触到的主要是动态表情，而动态表情的面孔特征存在高度的变异性，其所需的提取和追踪技术相较静态表情也有所差异。目前已有研究者开发出具有较高信效度的“中国大学生动态情绪面孔库”（刘俊材等，2021），未来的研究可以利用该数据库提供的情绪面孔素材，并致力于开发能够追踪动态面孔特征的技术，从而更加全面地把握表情的面孔特征。

5.2 对刺激驱动因素与目标驱动因素的控制

面孔表情识别的眼动模式是刺激驱动因素与目标驱动因素相互作用的产物。除表情本身的刺激属性外（如面孔构形），人们加工表情时的目标与策略也会影响注视点在主要面孔区域的分布状况。但是目前表情识别领域中常用的范式（如迫选识别范式）往往难以将刺激驱动因素与目标驱动因素区分开来，研究者无法确定个体在识别表情时的眼动模式除了受面孔情绪内容影响外，是否还受到个体自身经验或者任务目标产生的自上而下的调控。因此需要更为合适的范式对刺激驱动因素与目标驱动因素加以分离，并研究两者的交互作用。在涉及刺激驱动因素和目标驱动因素的表情识别任务中，研究者可以通过将一种因素保持恒定，同时对另一种因素进行控制，以达到分离两种因素的效果。例如，采用不同比例混合的面孔身份和表情刺激（如在一张情绪面孔中，以不同比例混合不同身份或不同情绪的面孔）。有研究者通过操纵不同的指导语和刺激混合形式将刺激因素（面孔的构成形式）与认知因素（实验任务）进行区分，并发现相较于刺激因素，认知因素更大地影响了眼动模式（Malcolm et al.，2008）。然而，在面孔表情识别研究中仍没有形成标准的范式将刺激驱动因素与目标驱动因素进行控制和分离，且相关的眼动追踪研究也还比较缺乏。因此，未来面孔表情识别眼动追踪的研究在设计实验时，应当注意对于刺激驱动因素和目标驱动因素的控制，在将这两种因素进行分离的前提下，分别考察这两种因素对眼动模式的影响。

5.3 面孔表情识别眼动模式在临床诊断中的应用

异常眼动模式在情绪识别障碍群体中广泛存在，并且比行为指标具有更大的稳定性和可靠性，是一种有潜力的心理生理指标（Marsh&Williams，2006）。研究表明情绪识别障碍群体面孔表情识别行为表现的改善可能只是某些特定疾病的外在表现（Bernaerts，Boets，Bosmans，Steyaert，&Alaerts，2020），而无法真正反映病程状况（Hubble et al.，2017）。相反地，面孔表情识别的眼动模式则能够更可靠地反映不同疾病与面孔表情加工相关的内在特征（Li et al.，2020；McCade et al.，2018）。因此，眼动模式作为临床诊断辅助性指标可能具有更高的有效性和生态效度。综上，未来研究需要进一步验证情绪识别障碍人群中面孔表情识别异常眼动模式的特性和共性，并对其病程不同阶段的眼动模式进行比较分析，明确眼动模式与病程变化的内在联系，最终将眼动追踪技术推广应用于对相关疾病的临床诊断和治疗中。