基于违禁品检测和人脸表情识别的铁路客运站安检风险评估技术研究

彭凯贝，吕晓军，李 超，魏 昊

(中国铁道科学研究院集团有限公司 电子计算技术研究所，北京 100081)

0 引言

近年来，我国高速铁路迅速发展，铁路已经成为旅客出行的主要交通方式，铁路客流量日益增加，铁路客运站的管理越来越困难，车站安全风险发生的概率越来越大，因此需要通过科学的方法预估铁路车站安全风险，确保旅客出行安全[1]。

目前已有大量学者对安全风险的评估以及模型的构建进行研究。李德龙等[2]构建了基于白名单制度的防爆博弈模型，对推进安检系统白名单制度的实施具有一定的启发；史天运等[3]模拟了安检的真实场景，优化了风险阈值以及安检通道配置数，有效提高了安检效率；杨益兴等[4]使用AnyLogic软件建立了安检系统仿真模型，并优化了安检尾部拥挤等问题；罗跃等[5]采用层次分析法分析风险权重，采用可拓理论安全风险评价方法，较为准确地分析了车站安全等级。庄艳辉等[6]将模糊petri 网理论与动态权重相结合，更加合理地评估了车站的安全风险。

以上方法多数以安检设备状态、配备质量来评估铁路安检风险，缺少违禁品风险等级和旅客个人风险的分析。伴随着新一代科技与铁路业务结合，在智能铁路客运站发展目标下，铁路安检系统智能化有待提高[7]，通过与人工智能结合来强化安检违禁品智能识别、人员风险评估等功能，有助于提高安检查处效率，是铁路安检发展的重要趋势之一[8-9]。针对以上问题，构建基于YOLOv5s 的安检违禁品模型，实现6 种违禁品的自动识别；在安检仪出口采集旅客人脸表情，设计基于ResNet50 的旅客表情识别模型，提出违禁品检测和人脸表情相结合的车站人员物品风险评估机制；仿真结果表明，所提出的车站人员物品风险评估机制可以准确、综合地协助车站工作人员发现安检风险。

1 安检过程危险物品检测

1.1 YOLOv5算法

目前，最主流的目标检测算法主要包括2 种，一种是基于检测帧和分类器的两阶段算法，如RCNN[8]，Fast RCNN[9]和Faster RCNN with RPN[10]等，它们的主要问题是网络结构太复杂，检测速度太慢。另一种是基于回归的一步算法，如SSD[11]，YOLOv4[12]和YOLOv5[13]等。其中YOLOv5 模型凭借其定位准确、模型结构精简及运行速度快的特点，表现出明显超出其他算法的性能优势和检测效果。

所研究的目标测试算法面向铁路安全检查环境下的X 光安检图像，并要求建模轻量、检测速率快、并且能应用于线上或嵌入式的系统开发。因此，选用YOLOv5系列中最轻量化、深度最小、特征图宽度最小的YOLOv5s 来进行危险物品检测。YOLOv5s 模型结构如图1 所示[14]，该结构分为4 个部分：输入、主干网络(Backbone)、Neck网络和输出(Prediction)。

图1 YOLOv5s模型结构Fig.1 Structure of YOLOv5s model

1.2 安检物品数据集

基于铁路安检背景，采用SIXray数据集，该数据集中共有1 059 231 张X 射线照片，这些X 射线照片采集于多个铁路客运站，并包含6 种类别的危险物品：枪、刀、扳手、钳子、剪刀和锤子[15]。这些危险物品的分布与真实的铁路安检现场一致。根据该数据集的统计数据，得到危险物品类别统计如图2 所示。将数据集中8 000 多张已标注的危险物品照片进行训练测试，数据以7∶3 的比率随机分为训练集和测试集。每张照片都通过安检仪扫描获得，安检仪对不同材料的物品分配以不一样的颜色。所有的照片均为JPG格式，平均每张照片大小为200 K像素。

图2 危险物品类别统计Fig.2 Classification of dangerous goods

1.3 危险物品检测仿真结果

危险物品识别模型选用YOLOv5s 算法，模型采用随机梯度下降法训练(SGD)，学习率为0.01，YOLOv5s模型参数如表1所示。

表1 YOLOv5s模型参数Tab.1 Parameters of YOLOv5s model

在目标检测任务的训练过程中常常选用目标函数损失(Objectness Loss)和广义交集损失(GIOU)作为评价指标，通过损失函数整体地评价危险物品检测模型检测结果与实际标签的差距。目标函数损失为YOLOv5s 目标检测损失均值，其值越小则危险物品识别越准确。广义交集损失可以度量预测框和真实框之间的重叠程度，是一种位置损失，其公式如下。

式中：LGLOU为广义交集损失；A为预测的框；B为真实的框；IOU为A和B之间交并比之差；C为A，B两框的最小外框。

YOLOv5s 模型在训练过程中的危险物品检测损失函数收敛曲线如图3所示，从图3中可以看出，当迭代达到150 次时，广义交集损失趋于稳定在0.025左右，目标函数损失趋于0.014左右。从分析结果可以看出，网络在训练阶段表现良好。将训练好的YOLOv5s 模型与常用的目标检测算法：SSD算法和Fast RCNN 算法进行对比实验，YOLOv5s的均值平均精度(mean Average Precision，map)可达93.45%，而SSD算法的map为69.79%，Fast RCNN算法的map 为74.78%。测试集部分图片检测结果如图4 所示。从图4 中可以看出，所采用的模型可以准确地识别出X光照片中的危险物品。仿真结果表明YOLOv5s模型整体定位准确，识别效果理想，可用于风险评估系统中进行危险物品检测。

图3 危险物品检测损失函数收敛曲线Fig.3 Convergence curve of loss function for dangerous goods detection

图4 测试集部分图片检测结果Fig.4 Test results of some pictures in the test set

2 铁路系统人脸表情识别

2.1 ResNet50算法

随着人工智能的不断发展，深度学习算法结构的深度不断增加，但其性能反而没有随着层数的增加获得很大的提升。何恺明于2015年提出ResNet[16]，通过残差块中的捷径链接，弥补了网络层数加深造成的危害，为深度神经网络层数的进一步加深提供了可能。

研究使用ResNet50对表情进行识别。ResNet50分别由输入端、阶段1 至阶段5 的残差层和输出端组成，ResNet50 模型结构如图5 所示[17]。卷积层作用为归一化并加速收敛；激活函数采用线性整流激活函数；池化层使信息传输得更为完整；全连接层作用为降维，负责卷积层至全连接层之间的过渡。

图5 ResNet50模型结构Fig.5 Structure of ResNet50 model

2.2 人脸表情数据集

扩展Cohn Kanade (CK+)数据集是人脸表情识别研究中最常用的数据集之一[18]。根据铁路安检时可能发生的从坏到好的各种情绪，从中选取了8 197张表情图片，包括害怕、愤怒、悲伤、惊讶、平静、高兴6 种表情，并将数据以7∶3 的比率随机分为训练集和测试集，其中数据库中6 种表情示意图如图6所示。

图6 6种表情示意图Fig.6 Schematic of six expressions

2.3 表情识别仿真结果

表情识别部分使用ResNet50 模型对危险表情进行识别。ResNet50 模型训练采用Adam 优化器，学习率为0.001，ResNet50模型参数如表2所示。

表2 ResNet50模型参数Tab.2 Parameters of the ResNet50 model

本实验选择交叉熵损失函数作为模型训练过程的损失函数。交叉熵损失函数是表情分类中广泛应用的损失函数，常与softmax 函数结合，具体计算公式如下。

式中：LCE为交叉熵损失函数；yi为真实样本标签；pi为预测输出；i为轮次。

利用ResNet50 模型训练的表情识别损失函数收敛曲线如图7 所示。可以看出，训练过程结束时交叉熵损失函数趋于稳定，损失值趋于0.086左右，表明模型在训练过程表现较好。将所采用的方法与表情分类常用的GoogLeNet 算法和AlexNet 算法进行对比：ResNet50模型准确率为96.7%，GoogLeNet算法的准确率为87.88%，AlexNet 算法的准确率为87.31%，仿真结果表明ResNet50 模型准确率高于其他2 种算法，分类效果较好，可以稳定准确地识别出人脸表情，这有助于准确地预估铁路系统未知的风险，可以将此训练好的ResNet50 模型用于风险评估系统中对危险表情进行识别。

图7 表情识别损失函数收敛曲线Fig.7 Convergence curve of expression recognition loss function

3 车站人员物品风险评估机制

为了更加全面地评估铁路安检系统风险，车站人员物品风险评估系统结构设计参照《铁路安全管理条例》规定：“旅客应当接受并配合铁路运输企业在车站、列车实施的安全检查，不得违法携带、夹带管制器具，不得携带、托运烟花爆竹、枪支弹药等危险物品或者其他违禁物品”。利器、钝器是确定性的指标，然而威胁旅客安全却是一个较为模糊的概念。为了更加科学地判断铁路安检过程威胁旅客安全风险的程度，将危险表情识别与危险物品检测相结合纳入铁路安检风险评估考察范围内。风险评估机制系统流程如图8 所示。在铁路风险评估系统中，枪、刀和剪刀对旅客有着极大的危险性，是绝不允许带进车站的，一旦检测出立刻发出A级风险预警；若检测出扳手、钳子、锤子这些工具类的钝器，同时在安检机出口拿包处附近的摄像头拍下人脸照片并识别出害怕、愤怒、悲伤、惊讶4 类危险表情时，这些物品威胁旅客安全的概率大大提高，系统同样发出A级风险预警，同时通过安检仪放取包摄像头记录旅客放取包动作，通过时间戳将旅客放取包图像与X光图像进行关联。当未识别出危险表情则发出B级风险预警；若未检测出任何危险物品，但安检机出口人员的脸部表情识别出害怕、愤怒、悲伤、惊讶4 类危险表情，则发出C 级风险预警；若未检测出危险物品以及危险表情，则为无风险，按照正常流程进行安检。车站安保人员根据风险预警程度和车站的实际情况采取相应的措施。此风险评估机制减少了人力的消耗，对车站工作人员预防未知的安检风险起到一定的帮助作用。

4 结束语

针对安检查处对人力依赖大的问题，采用YOLOv5s 模型对安检X 光照片中违禁品自动检测，协助安检作业人员发现行李中的违禁品，为了更加快捷地判断铁路安检过程旅客威胁安全风险的程度，构建了基于ResNet50 模型的旅客表情识别模型对车站安检仪出口的人脸表情进行识别，建立了基于YOLOv5s 模型的X 光违禁品物品检测和人脸表情识别相结合的车站人员物品风险评估机制。仿真结果表明，所采用的方法可以较准确地检测和识别出违禁品和旅客面部表情。所提出的基于深度学习的旅客及物品安检风险评估机制可以准确识别出安检查处过程中存在的风险，有效地帮助车站工作人员预防安检风险，降低车站安全评估对人力的依赖，为车站安全保障提供支持。