基于人脸识别情绪分析的心理危机实时预警策略

杜 飞 伍世伟

引 言

随着我国高等教育由精英教育转向大众化教育进程的推进，因心理健康问题引发的大学生休学、退学甚至自杀等一系列恶性事件不断增多。2017年中共教育部党组发布了《高校思想政治工作质量提升工程实施纲要》，将“心理育人”纳入高校“十大”育人体系。对学生心理危机的干预预防是心理健康教育的关键环节，2018 年中共教育部党组印发了《高等学校学生心理健康教育指导纲要》，明确指出要形成教育教学、实践活动、咨询服务、预防干预“四位一体”的心理健康教育工作格局。预防干预工作原则是加强预防干预，完善心理测评方式，优化量表选用，禁止使用可能损害学生心理健康的方法和仪器。因此，加强对学生心理危机的预防和干预对心理育人具有重要意义，是高校思想政治工作的重要内容。目前深度学习等技术迅速发展，如何结合这些前沿人工智能技术，实现大学生心理危机的实时预警，尚缺乏有效的实施策略。

现有大学生心理危机预警机制的局限性

高校十分重视大学生心理危机的监控和预防工作，并积极构建心理测评与筛查系统。目前普遍建立了新生心理测评、班级心理委员制度、朋辈心理辅导体制，初步形成了心理危机防范和干预体系。

1.基于心理健康测评的心理危机预警

人脸情绪识别是计算机理解人类情感的一个重要方向，也是人机交互的一个关键步骤。情绪识别主要指从静态的照片或者动态的视频中选择并识别表情状态，从而实现对人类的情绪和心理变化的获取。人脸情绪识别目前广泛应用于人机交互、情绪分析、娱乐、网络教育和智能医疗。因此，如何提高面部情绪识别的准确性是一项重要的研究内容之一。人脸情绪识别在医疗领域主要用于了解新型抗抑郁药的效果，其可以根据患者人脸情绪的日常记录进行更准确的药物评价。在自闭症儿童的治疗中，人脸情绪识别可以辅助解读自闭症儿童情绪，帮助医生做出判断，进一步改变自闭症儿童的心理状态，从而制定更准确有效的治疗方案。人脸情绪识别在教学领域的应用可以使教学系统捕捉和记录学生在学习过程中的情绪变化，为教师因材施教提供更好的参考。人脸情绪识别在交通领域可用于判断飞行员或驾驶员的疲劳状态，通过技术手段避免交通事故的发生。将人脸情绪识别应用于日常生活中，如生活管理机器人可以根据人脸情绪识别来了解人的心理状态和意图，然后做出适当的反应，从而提升人机交互的体验。近年来，人脸情绪识别技术发展迅速，许多学者对人脸情绪识别的发展做出了贡献。其中，美国的麻省理工学院媒体实验室和日本的艺术媒体信息科学实验室具有很大的代表性。

心理测评是提前发现和预防学生心理健康问题的重要手段，通常是对大学新生或研究生新生在入学一个月内进行人格问卷（UPI）调查或心理健康测评（SCL-90），将筛查出有心理健康问题的学生分为不同类别，分别实施不同级别的关注或干预措施。然而该方法存在两个问题：一是有很大一部分自杀或自伤、患心理疾病的个案在新生心理普查中没有被筛查出来，而筛查出来的危机个案却在大学期间没发生任何心理危机。二是客观突发事件是导致心理危机产生的最大因素之一，然而心理测评和筛查仅在新生开学时开展，无法进行实时监测。心理委员和朋辈心理辅导机制则主要依赖于学生主动寻求帮助，然而学生普遍不愿主动寻求帮助，上海师范大学心理咨询与发展中心的心理专家坦言，学校有2万多名学生，每年学校只有200多名学生前来咨询，仅占学校总学生数的1%左右。因此，现有的预防干预体系在对因客观突发事件引起的学生心理危机进行预警和防范方面存在较大的局限性。

2.基于数据挖掘的心理危机预防

人脸识别技术由Woodrow Wilson Bledsoe 在20 世纪60 年代提出，此后不断改进和优化，逐渐趋于成熟，该技术在人们的日常生活中应用得越来越广泛。现在越来越多地被用于智能手机的用户认证和设备安全，并被军事和执法部门的专业人士用于取证。近年来，随着模式识别和人工智能的快速发展，人机交互技术领域的研究越来越多。人脸情绪识别作为智能人机交互的重要手段，具有广泛的应用背景，已被应用于辅助医疗、远程教育、互动游戏和公共安全等领域。人脸情绪识别通过计算机图像处理技术从原始输入的人脸情绪图像中提取特征信息，并根据人的情绪表现对人脸情绪特征进行分类。人脸情绪识别在情绪量化研究中起着重要作用。在人工智能发展趋势下，人与计算机之间的交流变得越来越容易。因此，大力推进人脸情绪识别技术的研究，对个人和社会的发展具有重要价值。

随着数据挖掘、人工智能等技术的快速发展，语义识别等技术已应用于人们的日常生活。在大学生心理危机预警方面，通过对心理健康测评数据、学生手机端APP 数据等的挖掘，对情绪状态进行识别成为近年来的热点。2008 年，日本德岛大学（The University of Tokushima）Li 等针对日益增多的大学生自杀现象，提出通过大学生的网络博客识别大学生情绪，并开发了博客情感识别系统，以使心理咨询师能对重点学生的情感信息进行准确监测。印度学者Kedar 等提出利用笔迹识别实现自动情绪识别。随后国内学者也逐步开展了基于情绪识别的心理健康监测方面的研究。2015 年，武汉科技大学提出将数据挖掘技术应用于大学生心理普查数据库，并建立了基于决策树和BP 神经网络的心理危机预防模型，以提高系统在心理危机预防应用中的有效性。在基于语义情绪识别的相关研究方面，2019 年，北京邮电大学利用深度学习技术，开展了基于情绪识别的心理分析应用研究，开发了手机移动端APP“iMood”心理分析应用，提出将改进的C-BiL 深度学习模型用于文本分类，完成对情绪的五种分类识别，进而实现大学生心理状态分析。然而上述应用需要学生利用手机端应用软件主动寻求帮助，同时侧重于文本等信息的利用，实际中学生主动寻求帮助的比例很小，这极大地限制了上述研发的推广应用。

基于人脸识别系统情绪分析的心理危机实时预警策略

深度学习技术的快速发展，为计算机视觉、数据挖掘等技术带来了突破性进展，通过对人脸表情等大数据的挖掘，对情绪状态进行识别成为近年来的研究热点。人脸表情是传递情绪状态的重要途径，人的面部表情包含了55%的情感信息，情绪是心理健康的根本标志。心理学家认为人类面部表情可以表达人的多种情绪，包括复合情绪或混合情绪。随着深度学习技术的迅速发展，在人脸识别的基础上，国内外学者进行了人脸表情及情绪的高效准确识别研究，并取得了较好的效果。相较于传统方法，深度神经网络在许多图像识别任务中有很大优势，其中面部情绪识别是下一代人机交互工作中用于临床实践和行为描述的一个必要过程。目前学者已经提出了基于情绪识别的教学评估系统，并尝试在教学监控系统中进行部署，上述研究为心理健康状态监测提供了借鉴。

1.基于深度学习技术的人脸情绪识别

计算机领域的情绪识别研究主要集中于特征提取和特征分类方面，特征提取是指从输入的图片或视频流中提取可用于分类的特征。在图像识别方面，目前卷积神经网络（CNN）已经逐渐成为深度学习技术中最主流的方法。Mollahosseini 等人利用Inception层进行外貌识别的研究，并取得了很好的成果。在Inception层的创新之后，学者们又进一步提出了一些变种。除此之外，循环神经网络最近在处理连续数据方面取得了很大的成功，如语音识别、自然语言处理、音频识别等。然后还能够使用循环神经网络（RNN）将图像的各个部分按一定方向扫描成特定序列后进行处理。由于能够记忆过去的输入信息，RNN有能力学习图像的相对依赖关系，这与CNN 相比是很有优势的，原因是CNN 因为卷积层和池化层的相对位置而无法学习整体的依赖关系。因此，RNN 通常与CNN 相结合，以便在图像处理任务中取得更好的结果，例如图像识别和分割。

具体到情绪识别方面，Khorrami 等人开发了一种使用CNN和RNN的方法，以对视频数据进行情绪识别。Chernykh等人提出了CNN+RNN的方法用于视频和语音识别。Xie和Hu提出了一个新的卷积神经网络，能够最大限度地减少网络学习到的相同特征之间的冗余，通过筛选同一层过滤器之间的共同信息，可以为下一层提供一个足够清晰的特征集合，具有更加紧凑的图像表示。同时还做了一个实验，使用CNN来捕获视频中的人脸情绪，并以此作为实验的控制器。这项工作验证了实时运行CNN的同时对输入中识别到的情绪进行平均的可能性，这能够降低输入的误差和噪音的影响。Levi等人的最新研究提出了使用CNN进行面部情绪识别的重要改进，同时他们还说明了影响人脸情绪识别精度的两个主要原因：一是用于训练深度CNN的可用数据量少，二是输入图像的外观相似性通常会受到光照差异的影响。

在基于情绪识别的心理健康监测方面，2017 年，华南理工大学采用深度学习方法实现了人脸图像采集、情绪识别、身份识别等功能，开发了电脑端和手机端应用软件，实现了老年人情绪的实时监测与预警。2019 年，宋永生通过调用OpenCV 及百度AI 人脸识别接口，实现了对学生学习过程中情绪变化的捕捉，并及时将统计分析结果向教师反馈，以此提高教学效果。然而上述研究均未针对学生心理状态监测开展。为此，袁磊等研发手机端情绪识别软件，通过大学生在手机端软件的自拍照，对其进行情绪分析，以此对学生进行心理健康监测。2021 年，荷兰代尔夫特理工大学Datcu 等针对智能手机开发了一个应用，该应用可以通过对使用者的自拍照进行情绪识别，并进一步辨别其危机状态，建立了用于情绪识别的卷积神经网络，并通过迁移学习提高情绪识别的精度。

从上述分析可以看出，针对大学生心理健康状态监控和预防工作的迫切需求，利用深度学习技术，通过对人脸识别，分析大学生情绪状态成为了大学生心理危机预警的有效手段，有望解决现有心理测评方法存在的问题。然而上述通过开发专门的手机端软件仍然依赖于学生的主动寻求帮助，影响了监测效果。同时使用自拍照由于拍照的手机型号不同，拍照场景差异大，会对情绪识别造成很大难度。

2.基于深度卷积神经网络的人脸情绪识别实例

卷积神经网络（CNN）逐渐成为提取图像特征的主流技术，笔者建立了一个基于卷积神经网络的人脸情绪识别实例。卷积神经网络中的卷积和池化层可以提取人脸局部区域的更高和更深层次的特征，具有良好的脸部表情识别分类性能。同时建立了一个卷积神经网络ConvNet，采用深度卷积网络把人脸表情特征的提取和表情分类融合到一个端到端的网络中，完成表情的识别和分类。ConvNet由两个卷积层、两个池化层和两个线性层构成。

笔者针对情绪识别多分类问题采用的损失函数是交叉熵损失函数，用来表示预测与实际数据之间的差距程度。所选用的优化器是Adam 自适应算法，是深度学习中最常用的优化算法之一，学习率设置为0.001，迭代100个epoch。

模型训练采用的数据集是CK+数据库，CK+数据库发布于2010年，是在Cohn-Kanade Dataset的基础上扩展而来的。这个数据集包括123 个参与者，593 个图像序列，这个数据集是在实验室条件下获取的，比较严谨可靠，是一个比较标准的人脸情绪识别的数据库。

在图像输入之前需要对图像进行预处理，目的是为了图像数据归一化和数据增强。在本次设计中，训练过程笔者采用的是随机切割44×44 的图像，并进行水平翻转，采用均值和标准差对图像进行归一化处理，然后送入训练模型。经过图像归一化处理和数据增强后，输入神经网络的图像数据增加了多样性，使得训练出来的网络增加了泛化能力，避免过拟合现象。提出的ConvNet在人脸情绪识别中的分类准确率如图1所示。

图1 ConvNet人脸情绪识别分类准确率

从图1 可以看出，所提出的人脸情绪识别方法验证集分类准确率可以达到90%以上，这说明笔者提出的基于深度卷积神经网络的人脸情绪识别方法能够对人脸情绪进行比较准确的识别。

3.基于人脸情绪识别的大学生心理危机预警策略

2020年，阿卜杜勒阿齐兹国王大学Jarraya等提出针对自闭症儿童，通过建立基于递归神经网络的深度学习模型，根据摄像机拍摄的图片，通过微表情变化，识别自闭症儿童的情绪状态，以此对自闭症儿童的心理危机进行预警。这对大学生心理危机的预警带来了一定的启示。

目前很多高校已部署人脸识别系统，比如西北工业大学于2019 年在全校范围内部署了人脸识别系统，覆盖学校宿舍楼、图书馆、会议中心、行政办公楼等30余处，方便了师生通行。为此笔者提出借助覆盖全校宿舍楼、图书馆等处的人脸识别系统，采用基于深度学习的情绪识别技术，对学生的情绪进行分析与识别，实现在校学生负性情绪的实时跟踪；同时建立基于情绪分析数据、大学生心理测评数据的心理危机预防模型；大学生辅导员根据预警结果及重点关注人群，采取及时而有针对性的谈心谈话，并根据谈心谈话结果对情绪识别分析模型、心理危机预防模型的结果进行反馈，使学校能够及时对模型进行修正及调整。具体如图2所示。

图2 基于人脸情绪识别心理危机预警策略示意图

在图2 第一个环节基于门禁的人脸情绪识别中，采用深度学习技术可以实现基于人脸识别的负性情绪的辨识，然而辨识系统需要大量的训练数据，而对大量图像数据进行同时处理需要很高的计算耗费，辨识系统研发难度较大。为此可以采用开放的AI技术平台，通过调用大型开放AI平台中的先进人脸情绪识别系统，借助互联网的人脸图像数据库，构建基于深度学习的情绪辨识系统，实现负性情绪的准确辨识。

在图2 第二个环节基于情绪识别的心理危机预警中，在校学生出现负性情绪并不代表出现心理危机，心理健康的学生也会存在负性情绪，因此如何根据负性情绪的频率、时间等关键参数信息评估学生的心理状态并进行预警成为本项目的关键问题。为此，可以以人脸识别情绪识别数据为基础，结合心理测评数据，利用决策树等机器学习方法，建立心理预警模型，以及早发现学生的心理危机并进行预警，实现对学生心理状态的实时监测及心理危机的及时预警，同时确定需要重点关注的学生，对其危机程度进行分级、分类。

在图2 第三个环节辅导员谈心谈话及应对中，针对重点关注学生，结合心理危机实时预警信息，辅导员采用谈心谈话等传统方法化解学生心理危机。同时根据辅导员谈心谈话的结果对第一个环节和第二个环节中的情绪识别模型和心理危机预警模型的结果进行验证，以便于学校更准确地对模型进行调整。

笔者提出的基于人脸情绪识别的心理危机预警策略，有助于大学生情绪分析与心理危机预警体系的构建，在此基础上可以对大学生潜在的心理危机进行识别，做到心理危机的及时预警，实现心理干预的精准介入，进而提高心理危机的预防干预水平，从而更好地实现心理育人。

结 论

笔者提出了人脸识别情绪分析的心理危机实时预警策略，借助覆盖全校的人脸识别系统，利用深度学习技术，实现对在校大学生的情绪辨识与及时跟踪；同时建立基于情绪分析数据、大学生心理测评数据的心理危机预警模型，以此根据情绪识别的数据对大学生心理危机进行预警；在此基础上，大学生辅导员根据预警结果及重点关注的大学生，采取及时而有针对性的谈心谈话等措施，预防心理危机事件的发生。上述策略旨在依托深度学习、人脸识别等前沿技术，构建大学生心理危机预警体系，实现心理危机干预及早而精准地介入，从而提高心理危机预防干预水平，这对高水平心理育人具有重要的意义。