旅客多模态识别在机场安检中的应用

甄军平，张平

（1.民航成都电子技术有限责任公司，成都610041；2.中国民用航空总局第二研究所，成都610041）

0 引言

近年来，我国民航事业迅速发展壮大，航班起降架次、旅客及货物吞吐量均呈现出快速增长，无形中也为机场安检工作带来挑战。例如随着民航安检难度提升，陈旧的安检系统不堪重负，排队耗时增加拉低了整体的服务质量，不少旅客由此提出建议甚至投诉[1]。所以如何解决这一日益加剧的安检问题，成为机场工作不得不面临的难题。总体来看，各机场都在尝试着安检模式的创新和改变，例如开设女性通道、无行李通道，等等，然而这些改变治标不治本，难以从根本上解决现状，后续改革任重道远。基于此，本文提出结合人脸识别与人体识别的旅客多模态识别方法，从而为构建智慧安检、智慧通关的智慧机场提供技术支撑。

1 国内外应用现状

1.1 人脸识别技术在机场中的应用

人脸识别技术在国内机场的探索已有10多年的时间，但大规模应用却在近五年。2014年7月，南京禄口机场首次将人脸识别技术应用于机场登机，然而在技术相对欠缺的时代，这一技术仅限于显示旅客信息，尚不能实现自动通关。此后各个地区的机场都进行了为数不少的人脸识别系统验证，摸索适合机场应用的方式。2016年7月，深圳宝安机场首次将人脸识别系统嵌入到机场安检信息系统，标志着人脸识别技术已经被机场所接纳。

通过人脸识别系统的建设对机场而言，最直观的提升便在于预防能力[2]。例如动态布控系统实现“黑名单”主动预警；人证合一检测系统可遏制不法分子企图通过冒用证件、伪造证件等途径混入机场控制区的违法行为；登机口旅客人脸识别弥补了传统机场安防系统中“换牌登机”的漏洞，同时也避免出现旅客上错飞机的现象。虽然优势诸多，但是仍未实现旅客无感身份核验以及对安检区域内人员的感知。

1.2 行人重识别技术在安防中的应用

行人重识别（Person re-Identification，ReID）技术是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术，能够通过跨设备下的行人图像的颜色、纹理、布局及图像中人物的衣着、发型、体态、姿态等进行分析和检索的图像检索技术，主要用于弥补固定摄像头人脸识别的视觉局限[3]。行人重识别主要是通过特征提取和度量学习的方式应对在不同摄像头下行人变化的特征，将学习到的特征映射到新的空间使相同的人更近不同的人更远。目前，行人重识别技术主要用于交通卡口和安防寻人系统，在机场的应用尚属空白。

2 旅客多模态综合识别技术实现

2.1 旅客模态数据的预处理

由于安检通道中旅客数量的海量性和冗余性，在采集的旅客模态信息中会包含大量重复和无效旅客模态信息，这些信息构成了脏数据，同时浪费了大量存储空间，本文采用网格化的空间模型和感兴趣事件触发的机制。因此，在获取旅客模态信息前制定触发器，在旅客进入网格空间后，以事件触发的方式对旅客模态信息预处理，本节主要采用以下步骤，如图1所示。

图1 旅客模态数据的预处理流程

（1）基于安检通道的建设标准，计算安检通道网格化单元边长，对安检通道的入口区域进行网格化处理，划定ROI区域。

（2）通过识读旅客登机牌、身份证件采集旅客基本信息。

（3）根据旅客自助验证登机牌和身份证件信息的传感信息触发摄像机采集ROI区域的旅客信息；

（4）对旅客ROI区域的旅客照片做模态分析，提取旅客的属性特征值，包含性别、年龄、是否戴眼镜、着装颜色等。

（5）去除多余旅客模态信息。

由于安检入口旅客比较密集，可能存在多个旅客进入摄像机采集范围，导致生成的旅客模态数据包含多个旅客的模态信息。因此，需要进行旅客模态数据的预处理，剔除无效旅客模态数据。

（6）将旅客模态属性与旅客证件信息进行关联，以关联后的信息创建旅客综合识别结构化数据集（人脸数据、模态属性数据集、身份证件信息数据集、订座信息等）并存储与数据库。

2.2 人脸特征匹配流程

对于人脸特征匹配，主要用于当前正在识别目标的人脸特征与数据库中缓存的多个特征进行1:N的匹配。具体的匹配过程如下：

（1）对输入的人脸特征feature1，特征feature2通过相似度算法进行特征匹配，计算出相似度；

（2）判断向量feature1和feature2是否相等：如果不相等，直接返回0。判断feature1和feature2的向量长度是否为0，如果其中存在长度为0的向量，返回0；

（3）根据输入的matchMethod进行特征向量相似度匹配。Cos-余弦相似度匹配：不需要对向量进行归一化。Euc-欧氏距离相似度匹配：需要进行归一化操作。后期可以对比不同的相似度匹配算法对人脸识别和人体识别精度的影响。

（4）输出算法输出结果为当前识别与数据库中每一个人的人脸特征向量的相似度；

（5）选取相似度最高的比对结果作为人脸识别最终相似度进行反馈。

2.3 人体特征匹配流程

同人脸特征匹配过程类似，用于当前正在识别目标的人脸特征与数据库中缓存的多个特征进行1:N的匹配。具体的匹配过程如下：

（1）对输入的人体特征featureA，featureB通过相似度算法进行特征匹配，计算出相似度；

（2）判断向量featureA和featureB是否相等，如果不相等，直接返回0。判断featureA和featureB的向量长度是否为0，如果其中存在长度为0的向量，返回0；

（3）根据输入的matchMethod进行特征向量相似度匹配。Cos-余弦相似度匹配：不需要对向量进行归一化。Euc-欧氏距离相似度匹配：需要进行归一化操作。后期可以对比不同的相似度匹配算法对人脸识别和人体识别精度的影响。

（4）输出算法输出结果为当前识别与数据库中每一个人的人体特征向量的相似度；

（5）选取相似度最高的比对结果作为行人重识别最终相似度进行反馈。

2.4 旅客多模态融合识别方法

对人脸和人体特征向量的提取后通过单一的人脸识别或人体识别是比较成熟的算法，但对于人脸和人体进行综合评价识别旅客，目前没有成熟的案例，因此，本文通过对常用的目标对象识别方法进行理论分析，总结各方法优缺点，将目标对象转化为n维的特征向量，两个同类目标的特征向量之间的余弦距离大于某阈值可认为是同一目标，本文对旅客多模态识别中，将旅客整体作为一个目标对象，旅客人脸作为目标对象的其中一个识别维度，借助以匈牙利匹配算法和卡尔曼滤波预测法进行旅客单摄像头跟踪和跨镜跟踪，以此训练出新的旅客人体识别模型，通过多因子集合评价方法实现多模态旅客综合识别（本文中仅考虑了人脸特征和人体特征匹配结果的融合）。其主要处理流程如图2。

图2 旅客多模态特征提取流程

图3为基于人脸特征与人体特征两种影响因子的综合模糊评判算法过程。

图3 多模态综合识别原理

第一步：对输入的人脸和人体比对的结果进行预处理，按置信度由高到低进行重新排序；

第二步：按预设置信度阈值移除低于置信度阈值的比对结果；

第三步：判断两个列表的长度，如果两个列表长度均为0，结束本次融合；如果其中一个长度为0，另一个长度不为0，取不为0的列表top1作为识别结果，如果两个列表的长度同时大于等于1进入第4步；

第四步：运用模糊综合评判法，首先确定人脸和人体识别各自的因素比重，然后生成单因素模糊评价矩阵，再次，将单因素评价举证合并为综合模糊评价矩阵，利用矩阵乘法最小值算子将权重矩阵和综合模糊评价矩阵相乘，得出模糊综合评价结果，最后以模糊综合评价结果最高者为融合结果。

本报告中主要研究将人脸模态信息、人体模态信息进行融合，进行综合判断旅客身份。本系统采用基于匹配层的融合架构，具体融合方法为基于模糊综合评价法的多模态融合方法。

模糊综合评价法是一种基于模糊数学的综合评价方法。该综合评价法根据模糊数学的隶属度理论把定性评价转化为定量评价，即用模糊数学对受到多种因素制约的事物或对象做出一个总体的评价。它具有结果清晰，系统性强的特点，能较好地解决模糊的、难以量化的问题，适合各种非确定性问题的解决。

基于模糊综合评价法的多模态融合方法算法步骤为：

（1）确定因素集合为U={u1,u2}，其中u1为人脸，u2为人体。

（2）确定各因素的权重向量W=(w1,w2)。

（5）对多指标综合评价结果进行对比，得出多模态识别结果。

2.5 基于模糊综合评判的特征融合识别

要将两种不同维度的特征进行过滤、融合，并为后续业务决策（绑定）提供依据，必须考虑在融合体制下各自对整个融合算法造成的影响因子。本文才用模糊综合评价的方法，来解决人脸、人体等多个特征影响因子下，计算出旅客的识别度这一综合评判结果。

模糊综合评价是工程模糊系统的基本方法，很多研究者把它用到了多个领域的综合评价问题中例如在专家评分系统、质量控制、业绩评估、天气预报、医疗诊断、经济管理、心理测量等领域。

2.6 旅客多模态融合测试及验证

为了验证多模态旅客综合识别系统的有效性，我们进行了现场试验，针对旅客通过安检的多种可能情景进行了试验。主要测试了如下三种情况：

（1）正常安检多模态识别：旅客在进行识别时，人脸、人体姿态正常。

（2）人脸姿态异常多模态识别：旅客在安检时埋头整理行李造成旅客人脸姿态异常。这种情况下，传统人脸识别无法正常识别旅客身份。

（3）面部遮挡多模态识别：旅客在安检时存在面部遮挡问题，最常见的为戴口罩。这种情况下，传统人脸识别无法正常识别旅客身份。

图4、图5、图6，分别为以上三种情况的识别结果。在软件界面中，数据库中最相似人脸、数据库中最相似人体是根据多模态旅客综合识别算法识别出的数据库中与待识别旅客最相似的人脸、人体。

图4 正常安检多模态识别

图5 人脸姿态异常多模态识别

图6 戴口罩多模态识别

由识别结果可知，多模态旅客综合识别算法可以应对一般旅客身份识别。同时多模态旅客综合识别算法可以完成多种异常情况下的旅客身份识别，优于传统人脸识别算法。

2.7 融合识别技术的试验结果

从表1可以看出，人脸识别在配合情况下，识别率高，但通行效率较低；在非配合情况下，难以检测到清晰的“正脸”，人脸识别率较低（低于50%），而人体识别一定程度上补充了无法采集人脸数据情况下的旅客身份识别，但在旅客更换衣服、大面积遮挡等情况下依然无法识别，综合上述两种识别技术应用与安检场景，可实现对旅客的多模态综合识别，显著提高了旅客身份的识别率。

表1 身份识别识别率

3 存在的问题

由于本文中旅客识别的安检通道室内空间模型采用常规的正四边形进行分割，摄像头视角存在畸变，得到的模型精度不够理想。在机场安检环境中，ReID的识别率和识别精度受相机角度、旅客姿态等诸多因素影响，误差比较大；其次，本文所描述的旅客多模态综合识别采集的识别源较少，在今后的实际应用中存在识别精度问题；最后，由于ReID技术尚处于起步阶段，技术尚不成熟，因此对于多模态的旅客综合识别技术的应用，有待进一步深入验证。

4 结语

随着人工智能技术的日益精进，多种行人识别的无缝融合，为满足日常安防全的需求，行人跨镜识别技术和基于人工智能的图像识别成为国内外研究的热点。同时，随着人们对优质服务需求的与日俱增。然而，在机场复杂的安检环境中对旅客的实时识别和跟踪成为了旅客无感自助安检的技术难点之一。因此，本文主要基于ReID的旅客跨镜识别技术，提出了一种旅客多模态识别方案。采用人脸识别和人体识别实现在有限空间对旅客识别，简化旅客在安检通道中识别的复杂度。