表情识别技术在铁路售票窗口中的应用

于存江 杨龙标 丁笑颖 颜成伟 周国宝

摘 要： 针对铁路窗口售票服务质量的问题，提出一种售票窗口服务质量的表情识别监测系统。该系统通过售票窗口外侧的摄像头检测到人脸图像时，表情监测系统每隔一定的时间就会通过安装在售票窗口内的摄像头获取监控范围内的帧图像信息，由表情识别监测系统对图像进行处理和识别，将识别后的结果进行数据统计。基于表情识别技术的监测系统在铁路售票窗口的应用，不仅能够提高售票员的服务质量，也能够让旅客在购票的过程中体验到舒适感。

关键词： 表情识别; 铁路售票监测; 服务质量

文章编号： 2095-2163（2021）03-0106-03 中图分类号：TP29 文献标志码：A

【Abstract】Aiming at the problem of railway window ticketing service quality， this paper proposes an expression recognition monitoring system for ticket window service quality. When the system detects the face image through the camera outside the ticket window， the expression monitoring system will obtain the frame image information within the monitoring range through the camera installed in the ticket window at regular intervals. The image is processed and recognized， and the results of the recognition are statistically analyzed. The application of the monitoring system based on facial expression recognition technology in the railway ticket window could not only improve the service quality of the conductor， but also allow passengers to experience comfort during the ticket purchase process.

【Key words】 expression recognition; railway ticketing monitoring; service quality

0 引 言

近年来，人工智能的迅速发展不断影响着科技工业的进步，而人们的日常生活也不断得到改善。铁路作为人们外出旅行的重要交通方式，其服务质量也受到越来越多的关注，因此一套完整有效的基于表情识别技术设计的售票窗口的监测系统的研发已然成为各方瞩目的热点。该系统的成功研发则能够解决人为监督方式诸多弊端，例如浪费人力、难以实现即时监督，漏洞也较多，将在一定程度上有利于提升铁路部门对旅客的服务质量，从而使铁路交通部门的服務体系建设迈上新高度。既能够提高售票人员的服务水平，也能让旅客出行时提高用户体验，与此同时还减少了不必要的人力和物力的消耗[1]。

1 系统分析与设计

1.1 需求分析

该系统由安装在售票窗口内外两侧的双摄像头来进行服务质量的监测。总地来说，就是通过售票窗口外侧的摄像头检测到人脸图像，此时表情识别监测系统将每隔一定时间就会通过安装在售票窗口内的摄像头获取监控范围内的帧图像信息，并由表情识别监测系统对图像加以识别与处理，再对处理后的结果进行最终的数据统计。

表情检测系统主要由4个模块组成，分别是：售票员与旅客人脸图像采集模块、人脸检测模块、人脸表情识别模块和数据统计模块。当有人通过窗口购票时，该系统将利用售票窗口外侧的摄像头检测到人脸图像，每经一定的时间间隔再通过窗口内侧的摄像头来采集图像，接着将对采集图像进行处理，基于此再进行人脸检测和人脸表情识别，最后可将识别后的结果数据保存起来，以此来考察售票员今天的服务工作质量。

1.2 技术方案

人脸表情识别是一种生物特征识别技术。现如今，表情识别技术不仅在安全、医疗、通信、汽车、机器人制造和教育等诸多领域中均获得了快速发展，并取得了可观研究成果[2]。Feng等人通过构建表情特征LBP直方图，实现了面部表情识别。Guo等人基于改进LBP算子提出了完全局部二值算法CLBP，该算法取得了比LBP算子更好的识别率。王镇利用改进的梯度方向直方图（HOG）来提取表情特征，该方法可以有效区分噪声和表情信息[3]。

卷积神经网络主要由输入层、卷积层、池化层、全连接层和输出层组成，这是一种端到端的学习架构，直接从原始数据训练描述特征，同时也能处理大量的数据，是计算机视觉领域的最热门的研究方向之一[4]。

本系统通过使用计算机视觉的开源工具包Keras、 OpenCv和深度学习主流框架TensorFlow相结合的方式实现系统核心部分、即人脸检测和人脸表情识别功能，同时也包括售票员表情识别后信息的展示功能。

1.3 系统设计框架

本次研究将系统总体框架分为3部分，归纳为2层结构。系统整体框架设计如图1所示。

由图1可知，数据采集层是通过窗口内外两侧的摄像头进行图像采集，这一层的主要功能是采集摄像头覆盖范围内的图像信息;通过PC机上的表情识别监测系统提取出人脸信息，进行人脸检测和人脸表情识别[5]，这就构成了整个系统的服务层。

2 系统研究与设计

2.1 人脸图像采集模块

当旅客站在售票窗口进行咨询或者买票时，表情识别监测系统将会调用函数VideoCapture将售票窗口外的摄像头拍摄到的画面通过视频流传送到多帧图像处理中，由此来进行人脸图像信息的检测。而检测后的人脸图像信息会经过haar特征的Adaboost分类器的方法，当调用detectMultiScale（）函数检测到帧图像中有人脸特征图像时，表情识别监测系统会每隔3 s即通过摄像头来采集售票窗口内的图像，再将采集后的图像经过处理后进行人脸检测。当表情识别监测系统通过售票窗口外的摄像头检测不到人脸图像信息时，表情识别监测系统则停止这一每隔3 s通过售票窗口内的摄像头对图像进行采集的进程。

2.2 人脸检测模块

将表情识别监测系统采集回的售票窗口内的图像信息仍會通过haar特征的Adaboost分类器的方法，调用detectMultiScale（）函数来检测图像中的有人脸图像特征信息，再通过resize（）函数来提取脸部图像。

2.3 人脸表情识别模块

将表情识别监测系统提取后的面部表情图像信息，通过训练好的表情识别模型、并调用predict_proba（）函数来预测售票员的面部表情特征。再将识别后的信息进行存储统计。人脸表情识别模块的设计流程如图2所示。

该模块是基于卷积神经网络实现的人脸表情识别功能，而卷积神经网络的实现需经过如下步骤：加载数据到内存、划分数据集、验证集、训练集、并归一化数据，最终训练得到所需要的结果模型。卷积运算的原理公式可写为：

2.4 数据统计模块

将表情识别监测系统识别后的面部表情图像信息进行存储，例如：上班时间定为早8点，下班时间定为下午5点，表情识别监测系统则会将今天识别到的信息进行实时的单一存储，下午5点下班后，表情检测系统会进行分类统计，将生气、厌恶、悲伤、恐惧等情绪处理成生气状态，将高兴、惊讶、正常处理成高兴状态，而且利用如下公式：

来运算得到服务质量（差：0.00～0.59，良：0.60～0.89，优：0.90～1.00），在此基础上则可起到监督作用，从而提高铁路售票工作的服务质量。

3 测试结果

本文将对表情识别监测系统展开测试来验证结果。在良好的实验条件下，采用训练好的模型进行预测，并将实验人员人脸置于摄像头采集范围内，由此得到人脸图像信息，无论是在光照、角度还是背景等参数上基本保持一致，测试结果可阐释分述如下。

（1） 模拟售票窗口外侧的摄像头检测到的旅客人脸图像。视像效果如图3所示。

（2）模拟售票窗口内的摄像头采集回的20帧人脸图像信息，作为本系统的测试数据。视像效果如图4所示。

（3）将上述的20帧图像作为一天当中统计的数据，识别结果输出如图5所示。

通过公式（2）可求得服务质量为0.6（良）。

4 结束语

本项目旨在设计并实现针对售票窗口服务质量的表情识别监测系统。该系统利用了智能识别技术，通过售票窗口外侧的摄像头检测到人脸图像，并

每隔一定时间就会通过安装在售票窗口内的摄像头获取监控范围内的帧图像信息，再由该系统对图像进行处理和识别，最后对识别后的结果进行数据统计。该次研发系统易于实施，功能清晰，并且系统本身也有利于后续的维护与扩展升级。本次研究成果对于提升铁路交通部门的服务质量，提供旅客的舒适出行体验有着重要现实意义。

参考文献

[1]  吴健新. 智能监控系统中的人脸检测与跟踪研究[D]. 厦门：厦门大学，2006.

[2] 刘庆鹏. 基于ARM的嵌入式人脸识别系统研究与实现[D]. 长春：长春理工大学，2017.

[3] 程曦. 基于深度学习的表情识别方法研究[D]. 长春：长春工业大学，2017.

[4] 张杰. 基于GPU的大规模人脸识别系统的设计与实现[D]. 成都：电子科技大学，2017.

[5] 产文涛. 基于卷积神经网络的人脸表情和性别识别[D]. 合肥：安徽大学，2016.