面部微表情分析技术在法医精神病学领域的研究现状及应用展望

李雯，李豪喆，陈琛，蔡伟雄

司法鉴定科学研究院 上海市法医学重点实验室 司法部司法鉴定重点实验室 上海市司法鉴定专业技术服务平台，上海 200063

人脸表情可分为微表情和宏表情。在日常交谈过程中能够被肉眼察觉的通常是宏表情，其能够被主观控制。相较于宏表情，微表情是一种动作幅度微小、短暂的、快速的、无意识的表情。微表情具有两大特点，一是持续时间非常短暂，仅为1/25～1/3 s，靠肉眼难以察觉，基于此，YAN 等[1]将微表情定义为持续时长短于500 ms 或出现时间短于260 ms 的表情；二是不受主观意识控制，是一种自发式的表情，既无法伪造也无法抑制[2]。因此微表情被看作是揭示隐藏情绪的重要标志[3-5]，能够反映个体的真实情感[6]。

微表情有关研究已有数十年发展史。1966 年，HAGGARD 等[7]第一次提出了微表情的概念，他们认为，微表情与自我防御机制有关，能够表达隐藏起来的情绪。1969 年，EKMAN 和 FRIESE 在观看1 例抑郁症患者的录像时发现，虽然表面上该患者无任何异常表现，但慢速播放录像时却发现该患者有一个强烈痛苦的表情，而这个痛苦表情仅持续了1/12 s[8]。自此，微表情分析相关研究逐渐发展、拓宽，相关技术逐渐进步、完善。目前在刑事侦查[9-11]、教育[12-13]领域已较广泛地探讨了微表情分析的应用价值，相关医学领域[14-18]的应用探索在近年也逐渐开展。

微表情分析技术在法医精神病学领域的应用价值在于该技术对患者情绪反应非常敏感[19]。精神障碍者的症状之一是情感症状，如情感障碍者可有显著的情绪高涨或情绪低落，精神分裂症患者可有情感平淡、情感不协调、或继发（伴发）抑郁症状、器质性精神障碍、神经症性障碍等，也会表现不同程度的情绪反应。因此，微表情分析作为能够反映患者真实情绪状态的技术手段，在辅助精神病鉴定诊断、严重精神障碍者的社区监管、暴力风险预测、诈病识别等法医精神病学研究中的重要议题中都有潜在的应用价值。本文将回顾相关研究，讨论微表情分析在法医精神病学领域的研究现状，并展望其应用前景和研究方向。

1 面部微表情分析技术及其发展

早期，微表情分析通常依靠研究员逐帧观看受试者面部录像视频来完成。为了对面部表情做系统化分析，方便同类研究结果的比较，研究者编制了面部表情编码系统。例如，面部动作编码系统（facial action coding system，FACS）[20]以及表情辨别整体判断系统[21]等。其中，FACS 是迄今为止最精细的面部动作编码体系，使用最为广泛。该系统定义了46 个面部动作单元（action unit，AU），每一个动作单元对应一组面部肌肉收缩[20]。例如，AU2 代表由额肌的外侧肌群收缩引起的眉尾提升，AU5 代表由眼轮匝肌内圈和上睑提肌共同收缩引起的上眼睑提起等。不同面部动作单元的组合可以描述不同的面部情绪表达，如AU2（额肌外侧收缩）、AU5（上睑提起）、AU25（双唇分开）3 个面部运动单元同时激活可描述惊讶的表情。不同的面部动作单元组合也可以描述同一种情绪表达，如对于六大基础情绪（愤怒、厌恶、恐惧、愉快、伤心、惊讶），每种情绪都有多组面部动作单元对其进行描述。在具体研究中，可根据研究内容有针对性地选择部分面部动作单元或部分面部动作单元组合进行监测和分析[17]。例如，HAYNIE 等[3]依据表情辨别整体判断系统编码记录了7个月、10个月、13 个月月龄的婴儿在灯光、宠物刺激下的情绪反应，记录积极的、消极的面部情绪反应应答时间和持续时间。LOTZIN 等[22]使用FACS 记录了精神分裂症患儿和健康儿童在一个问题处理任务中的面部表情，结果发现，患儿组每分钟表达的积极情绪比健康儿童显著减少。这种通过人工识别分析微表情的方式有诸多局限性，其耗时长、效率低、人工成本高，需要受过系统培训的专门人员才能操作，而且人工识别准确率有限[23]。此外，早期研究受限于录影设备及视频播放设备的帧数限制，持续时间过短的微表情难以被捕捉到。这些都导致微表情分析技术的应用受到限制。

随着录影设备的发展，视频清晰度和帧数得到显著提升，不过帧数增多意味着工作量增大，通过人工识别来分析时间过长的视频实属困难。得益于人工智能技术的发展，微表情的自动化分析得以实现[6]。目前已有众多研究开发或验证基于计算机视觉的微表情分析技术。计算机视觉通过分析视觉及其他感官数据来系统研究人类行为[24-26]。例如，OWAYJAN等[27]使用嵌入式视觉系统来捕捉受试者访谈中的视频，其使用LabVIEW 系统工程软件（美国国家仪器有限公司）将视频转换成一系列帧，然后通过颜色转换、过滤、确定面部结构的关键特征、提取测量数据等几个步骤检测受试者微表情，该检测系统可以解读快乐、悲伤、喜悦、愤怒、恐惧、惊讶、厌恶和轻蔑8 种面部表情。使用计算机自动分析视频数据抓捕受试者面部表情具有诸多优势。首先，高速摄像机可以记录持续时间非常短暂的微表情，但产生的数据量巨大，基于计算机自动分析技术的微表情抓取则能够处理人工难以完成的数据量[28]。在建立了稳定的识别模型的前提下，计算机能够大规模进行微表情识别，显著提高识别效率[28]。其次，随着电脑、手机、摄像机等录影设备的日常化普及，实时拍摄、记录受试者得以实现，结合微表情自动分析技术处理所得的视频数据，理论上就能够实时监测受试者在自然状态下的行为、表情数据，如监测患者在家时的行为动作和面部表情变化[29]，从而实现病情的动态监测[14]。

目前，微表情的自动化识别主要通过深度学习方法来实现。识别模型的训练多基于现有的微表情数据集，如SMIC 数据集[30]、CASME 数据集[31]、Polikovsky数据集[32]以及USF-HD 数据集[33]等。深度学习为保证结局指标识别的准确性，纳入的变量众多，样本需求量大，但现实研究中通常难以获取足够的样本量来训练模型，因此也有研究尝试纳入语音数据[34-35]或脑电图数据[36]以优化模型，或在卷积神经网络、序列融合方法、链式融合机制、长短期记忆网络等的基础上优化算法[37-39]。目前，除自行建立识别模型外，Noldus FaceReader[40]、Computer Expression Recognition Toolbox（CERT）[41]以及Openface[42]等面部表情分析软件能够识别特定面部情绪表情类型，研究者可根据需求在软件中选取需要抓取、分析的表情类型，也能透过软件自行建立、定义新的表情类型。

2 微表情分析在法医精神病学领域研究中的状况

辅助诊断是目前使用微表情分析技术最常见的研究方向，其中，研究最多的精神障碍为抑郁症。COHN 等[16]使用FACS 人工编码和主动外观模型（active appearance models，AAM）结合语音数据分析抑郁症患者中有抑郁症状和无抑郁症状者的面部表情视频数据，结果发现，人工判别有抑郁者的准确度为88%，自动分析模型判别的准确率为79%。ALGHOWINEM 等[43]对比分析了抑郁症患者和健康人群临床访谈视频中面部128 个眼睑和眼角的特征点，所得的几种模型诊断抑郁症的准确率平均约为88%。PAMPOUCHIDOU 等[44]也比较了抑郁症患者和健康人群面部表情的视频，视频内容为受试者通过人机交互模式和真人对话模式完成一系列测试的过程，不过，该研究所得的视频分析模型对判别自评焦虑症状的准确性更高。此外，也有研究尝试基于现有数据集通过筛选特征值、引入新算法提高抑郁表情识别的准确性[45]。

既往亦有研究尝试使用微表情分析辅助自闭症早期诊断。ALVARI等[17]使用Openface分析了6～12月龄自闭症幼儿和健康幼儿的家庭录像，提取了自闭症幼儿社会性微笑表情的动态变化，结果发现，自闭症幼儿社会性微笑的频率和激活强度均明显降低。EGGER 等[46]则开发了1 个手机APP 收集12～72 月龄儿童的视频，家长通过该手机APP 带受试儿童观看能够引发自闭症相关症状的短片，并录制上传受试儿童观看短片时的面部表情，视频收集完毕后研究者使用人工智能自动分析受试儿童的情绪和行为以识别自闭症患儿。

此外，还有研究探讨精神障碍者面部微表情的特征性表现。FUJIWARA 等[18]使用该技术在一组6～8 岁经历过地震的儿童中识别情感麻木表情，受试儿童先观看2 min 与地震无关的风景图片以建立基线情绪反应，再观看2 min 儿童戏剧，在受试儿童观看图片及视频时录制他们的面部表情，再使用FaceReader 软件对视频进行编码，该研究发现，创伤后应激障碍症状更重者表现出中性面部表情的比例更大[18]。使用传统面部表情分析技术发现精神分裂症患者面部动作特征有改变[22]，相较于健康人群，精神分裂症在面对刺激因素时[47-49]或在社会交往中[50]面部动作显著减少。

3 微表情分析在法医精神病学领域应用的展望

3.1 辅助诊断

微表情分析技术有望为精神障碍的诊断提供客观评估指标。目前，精神障碍诊断分类的基轴主要是患者的症状表现，其中情感症状是精神障碍的重要症状，是精神检查的重要内容，不同精神障碍的情感症状表现会有所不同。微表情识别作为一种对受试者情绪敏感的客观检查技术，能够极大地避免评估者偏倚，有望为精神障碍的诊断提供客观评估指标，从而辅助精神病司法鉴定诊断。该方法还可以让患者更少暴露于既往的创伤性经历。传统的病情监测手段，如临床访谈、填写自评问卷方法，需要患者回忆患病经过，如果接诊医生或测试者处理不当，则会造成对患者的二次创伤，而微表情分析则可以避免这种情况的发生。

3.2 严重精神障碍者的社区监管

社区监管是严重精神障碍者及强制医疗出院患者康复管理的重要一环[51]，社区监管不到位是该类患者病情控制不佳、出现肇事肇祸违法犯罪行为的重要因素之一。目前，社区对于严重精神障碍者的病情监测主要依靠定期精神科随访，在随访过程中精神科医生一般依据临床判断、监护人对患者病情的反映、相关的他评或自评量表等监测患者病情。这种传统的监测方法存在显著不足，如监护人对患者的病情反映可能不准确，自评工具可能有回顾性偏倚，在有限的访谈时间内患者可能会隐藏病情，从而造成病情评估不全面、准确性欠佳的情况。此外，严重精神障碍的症状是随时变化的[52-54]，持续监测时间不足也是导致精神障碍诊断不全面的重要因素[55]。

微表情自动化分析技术有望在一定程度上弥补上述传统病情监测方法的不足，可依托患者或监护人上传的视频，实现对患者精神状态的动态监测及远程监测。不过这种监测手段首先需要准确可靠的精神症状识别模型，未来研究可侧重于开发可靠的疾病自动识别模型，为该技术在病情的动态监测和远程监测中的应用做充足准备。

3.3 暴力风险预测

精神障碍者暴力攻击风险预测和评估也是法医精神病学研究中的重要议题。时至今日，虽然有众多研究从流行病学、神经影像学、神经生化等方面就暴力风险相关因素及可能机制进行了探讨[56-58]，并建立了一些风险预测模型[59-60]，但这些预测模型受限于风险因素纳入不全、研究对象代表性不足的问题，其预测效度仍待探讨。精神障碍者的暴力行为与情绪控制障碍密切相关[61]，因此情绪反应是暴力风险预测的重要方面。在进一步完善、优化暴力风险预测模型时，微表情分析有望成为重要监测指标。

基于视频监控的微表情自动化识别技术对暴力风险的防控有其独特优势。该技术具有隐蔽性好、可操作性强的特点，在精神病医院、监狱特殊场所，将微表情监测联合运用于暴力风险监控有助于提高风险预测、防治效力；在公共场所对特殊人群进行微表情监测有助于暴力风险的即时识别。

自杀行为作为一种针对患者自身的暴力行为，亦是法医精神病学的研究重点。自杀不仅会伤及患者个人人身安全，部分患者可能有扩大性自杀行为从而危害他人人身安全。如前文所述，微表情识别最初的经典研究就是在慢速回放1 例自杀抑郁症患者生前录像时，发现了一个极为痛苦但持续时间短暂的表情[8]。基于此，未来研究可考虑分析有自杀行为者在实施自杀行为前的影像资料，提取面部微表情特征值，建立自杀行为的预测模型，并将其应用于重点人群的面部视频监测，加固自杀风险的防范。

3.4 诈病识别

微表情分析作为一种有效且可靠的测谎技术，有望为诈病的鉴别提供一定帮助。既往研究表明，面部动作单元在某些特定情况下似乎能够区分“真表情”和“假表情”。EKMAN 等[62]发现，“真”开心表情表现为脸颊上提、眼周肌肉收缩、颧大肌收缩等，而“假”开心则只表现为脸颊上提，眼周肌、颧大肌收缩可能不出现或者延迟出现。PORTER 等[63]令受试者观看恶心的、悲伤的、恐怖的、快乐的和中性的图片，然后受试者对真实表情或虚假表情作出回应，通过对基础表情、微表情及眨眼动作的出现频率和持续时间进行分析发现，负面情绪比正面情绪难隐藏。MATSUMOTO等[11]在模拟犯罪实验中监测受试者在初次面谈时的面部表情，发现持续时间≤0.40 s 和≤0.50 s 的负性情绪微表情能够区分说谎者和说实话者。上述研究[11，63]发现，在给予适当刺激时，监测受试者微表情能够区分受试者说谎与否。不过也有研究者对微表情分析的测谎能力有所质疑，BURGOON[64]认为，欺骗行为伴随的不仅是消极情绪，也有积极情绪或者无情绪，因此除了关注特定微表情的出现与否外，也应当关注微表情的缺失，以及与欺骗行为有关的起始面部运动模式。我国刑事侦查领域已尝试将微表情识别作为生理反应监测的内容之一，辅助侦查讯问工作，以识别口供的真伪[65-66]，不过上述研究发现尚未在精神障碍者中得到验证。综上，在普通人群中微表情分析能够在一定程度上辨别“谎言”，未来研究可考虑在精神障碍者中探讨微表情分析辅助测谎的可靠性和可行性。

4 挑战与发展方向

微表情分析作为一种新的检测手段，其在法医精神病学领域的应用仍面临众多挑战。（1）可靠的诊断模型和预测模型是实现微表情分析技术应用于精神障碍辅助诊断、社区监管、诈病识别以及风险预测的关键，然而，现有模型的可靠性仍待检验。①训练可靠的模型需要良好的训练数据集，具体来讲，需要该数据集中精神障碍的诊断准确、样本量充足、变量充分，但实际研究所用数据集可能在上述方面存在不足，最终导致所得模型可靠性不佳。②纳入模型的微表情特征值提取的准确性仍有待提升。虽然现有研究提出了多种特征提取算法做图片分析处理，然而现有的算法对精神障碍识别的准确性仍不满意[45]。③目前基于微表情自动化分析的诊断模型均为判别精神障碍者和健康对照的模型，尚无研究探索不同精神障碍的鉴别诊断模型，这导致目前发现的区分精神障碍者和健康人群的微表情特征是否在该类精神障碍中特异尚未可知，极大地限制了现有模型在实际诊断工作中的应用。④受试者不合作可能导致录像质量不佳，受试者如经过训练可能会影响其微表情表达，然而目前仍缺乏研究探讨这些方面是否会影响模型的准确性，也缺乏研究探讨如何在实际操作过程中避免或控制这些影响因素。因此，未来研究应通过建立可靠的微表情数据集、改良提取微表情特征值的方案、探索各类精神障碍间鉴别诊断模型以及建立面部表情录制标准化方案等，提高模型可靠性，实现微表情分析技术的临床应用。（2）目前已有多种微表情识别软件发布，研究者可以使用软件识别特定微表情类型。不过，①现有软件通常只能识别几种特定的情绪，例如，CERT 软件只能识别7 种基础情绪以及中性情绪，这些软件在识别单一情绪时通常准确性良好，但识别某些混合情绪时准确性会下降[67]。②现有研究多集中探讨这些软件信效度[68]，使用这些软件来探讨临床问题的研究尚欠缺。因此，未来研究需要提高现有软件识别混合情绪的敏感性和准确性，并进一步探索如何将现有的微表情识别软件检测到的面部表情数据与具体需要解决的精神科问题联系起来。

综上所述，微表情分析在精神障碍的辅助诊断、病情监测、风险监控及诈病识别等方面都有很好的应用前景。目前技术已经能够支撑微表情的自动化分析，不过该分析技术仍面临诸多挑战，未来研究应当着重于开发可靠性良好的基于微表情分析的诊断、预测模型，以丰富微表情分析技术在法医精神病学领域的应用。