精准人脸识别及测温技术在疫情防控中的应用

彭骏 吉纲 张艳红 占涛

摘 要：为了改善复杂环境下的人脸识别精度，特别是在当前疫情防控转入常态化的形势下，提升戴口罩场景下的人脸识别精度及红外测温精度至关重要。基于对场景数据的统计和分析，通过对识别参数的动态优化，提升人脸算法识别精度;基于人脸检測的戴口罩检测算法，自动识别是否戴口罩，并针对戴口罩场景采用专用的人脸识别模型，提升人脸识别性能;基于人脸检测的红外测温技术，自动识别测温区域和距离，并对测温结果进行校正，提高测温精度。结果表明，开放场景下识别准确率超过98%;人证核验场景下识别准确率超过93%，戴口罩场景下识别准确率超过92%，红外测温误差小于0.3℃。基于场景适配的参数优化策略，能够在不依赖核心算法性能提升的条件下，使得人脸算法识别性能提升7%;基于人脸检测的红外测温技术，通过温度补偿策略，使得测温误差小于0.3℃。

关键词：深度学习;神经网络;自适应算法;口罩检测;精准测温

DOI：10. 11907/rjdk. 202013

中图分类号：TP301 文献标识码：A 文章编号：1672-7800（2020）010-0008-07

Abstract： In order to improve the accuracy of face recognition in complex environment， especially in the situation of normalization of epidemic prevention & control， it is vital to improve the  accuracy of face recognition in the scene of wearing masks and the accuracy of infrared temperature measurement. Based on the statistics and analysis of scene data， the recognition accuracy of face algorithm is improved through the dynamic optimization of recognition parameters. Face mask detection algorithm base on the face recognition can be used to automatically recognize if a person is wearing a face mask or not  and the particular face recognition model is applied in a face mask-wearing scenario to increase the performance of face recognition; the infrared temperature measurement technology based on face detection can automatically identify the temperature measurement area and distance， and correct the temperature measurement results to improve the accuracy of temperature measurement. The results show that the recognition accuracy is more than 98% in the open scene， 93% in the witness verification scene， 92% in the mask wearing scene， and the infrared temperature measurement error is less than 0.3 ℃. The parameter optimization strategy based on scene adaptation can improve the recognition performance of face algorithm by 7% without relying on the performance improvement of the core algorithm; the infrared temperature measurement technology based on face detection can make the temperature measurement error less than 0.3 ℃ through the temperature compensation strategy.

Key Words：deep learning; neural network; adaptive algorithms; face mask detection; accurate temperature measurement

0 引言

随着5G、人工智能、物联网等技术的快速发展，“新基建”的兴起加快了产业数字化转型升级。新冠疫情突发后，智慧城市管理需要贴合数字化转型升级，在保障安全健康运行中体现高精度、泛连接、智融合，将是未来科技防控服务的重点。

随着智能硬件运算能力的提升和配套人脸识别算法性能的增强，人脸识别算法在越来越多的场景中得到实际应用。相对于其它生物识别技术，人脸识别技术具有自然性、非接触性、非侵扰性和使用便捷等优点，并在酒店、考勤和宿管等系统中得到广泛应用[1-4]。但是在实际应用场景中，人脸识别效果容易受到环境光线、成像质量、人脸姿态、遮挡、表情等因素影响[5]。如何提升人脸算法在不同场景下的识别准确率，克服环境因素带来的不利影响，是当前面临的核心问题。程森林[6]提出一种新的人脸识别模型Mir-Net，在少量数据上使用迁移学习方法，认为不同的个体存在共性，将人脸与人脸之间的共性提取出来，用剩下的特性进行分类，会提升人脸识别准确率;张昀[7]提出一种基于随机点积图的人脸识别算法，并使用Gabor特征以提高算法对图像光照变化的鲁棒性;胡渝苹[8]提出一种基于深度学习的跨年龄人脸识别算法，将HOG和CSLBPS组合方法应用于人脸图像特征提取。

以上方法都试图在核心算法层面解决场景适配问题，不仅实施难度大，而且效果不太理想。本文介绍一种基于场景适配的参数优化策略，能够在不依赖核心算法性能提升的条件下，将算法评测与参数优化技术相结合，解决人脸算法在不同场景下的适配问题，增强了人脸算法在不同业务场景下的适应性;将人脸检测与戴口罩检测技术相结合，判断相关人员是否正确佩戴口罩，降低了算法复杂性，实现了快速高效检测;将人脸检测与红外测温技术相结合，实现精准的人体测温，避免了测量结果不准和情况误报;将戴口罩人脸识别与红外测温技术相结合，实现快速健康筛查和记录，方便疫情防控和溯源。

1 精准人脸识别技术与应用

1.1 人脸识别算法场景适应性

由深度学习神经网络、马尔科夫算子、千万级人脸训练数据、不同环境算法定制等部件，构成高精度人脸算法引擎，从而适应多种卷积网络和计算资源环境下的高精度和高性能，特别是高性能轻量级网络实现，在保持大型卷积网络性能的同时，参数量缩减90%，实现x86/ARM处理器实时神经网络系统，以及嵌入式设备低功耗神经网络系统。为了全面准确地衡量一套人脸识别算法的算法性能，为算法开发人员提供算法优化依据[9]，需要建立一套科学的算法评测系统。

利用普利商用技术团队自主研发的人脸识别算法大数据评测系统，定期对不同场景、不同设备的人脸照片进行评测、统计和分析，通过对识别参数的动态优化，极大地提升了场景自适应算法精度。除算法本身性能外，环境光线、摄像头成像质量、人脸姿态角和底库照片质量等因素也会对最终识别效果产生很大影响。为此，普利商用技术团队通过两项措施提高算法环境适应性：

（1）对现场照片进行质量筛选。具体做法是定期收集现场照片，用人脸质量分析算法对人脸的大小、姿态角、模糊度、亮度、对比度和置信度等参数进行估算，并对估算结果进行统计分析，以找到最合适的参数设置。通过调整参数设置，可以在一定程度上降低误识率，提高识别通过率，详细结果如表1所示。

（2）对底库照片进行定期添加或更换。对一些容易误识或拒识的人员，经过分析发现，有很大一部分原因是底库照片的问题，通过更换成质量较好的照片，特别是从现场照片中选择质量较好的照片，并将其添加到底库中，可以有效改善误识或拒识现象，详细结果如表2所示。

为了更加精准地评价人脸识别算法对特定场景的适应性，普利商用技术团队专门建立了一套跨平台的算法评测系统，该系统在传统专用人脸算法测试工具基础上，扩展为集测试管理平台、测试客户端、通信中间件及终端测试程序为一体的人脸算法评测系统，由测试客户端对用户信息、测试数据、测试用例、测试任务、测试结果和测试日志等内容进行统一管理，各平台的终端测试程序通过统一的接口规范接入测试系统，由测试客户端统一下发测试数据和测试用例，由终端测试程序执行测试用例，并上报测试结果和测试状态。总体框架如图1所示。

其优势在于：①对测试相关的数据资源进行统一管理，通过统一身份认证的接口和权限管理模块保证测试数据安全;②通过统一的通信中间件自动接入不同的硬件平台，可实现测试参数的动态配置以及测试平台的动态扩展;③由测试平台统一配置测试方法、管理测试数据、统计测试结果，方便对不同人脸算法进行对比测试，保证测试结果公正统一;④充分利用测试平台的运算能力，最大限度地实现了软件模块的功能复用，有效节省了运营成本和开发资源。

借助该算法评测系统，可以对不同平台的人脸识别算法在实际业务场景下的人脸检出率、识别性能、运行速度、并发能力、稳定性和可靠性等指标进行详细测试。其中，人脸检出率测试方法为：针对不同场景的数据集进行人脸检测，在不同阈值条件下，分别统计人脸检测置信度大于阈值时的真正例TP和假正例FP，其中TP是标定和检测结果交并比大于0.5，而FP是标定和检测结果交并比小于0.5，根据测试结果绘制不同FP下的TPR曲线;人脸识别率测试方法为：针对不同场景的数据集进行人脸比对，在不同阈值条件下，分别统计人脸识别率和误识率，其中识别率=同人比较大于等于阈值的次数/同人比较总次数，误识率=非同人比较大于等于阈值的次数/非同人比较总次数;人脸算法运行速度的测试方法为：选取两张人脸照片，分别在不同的硬件平台上测试执行人脸检测和提取特征值所需的时间，每项测试重复测试300次，取平均时间。针对不同算法，采用相同的人脸照片和硬件平台进行测试。图2、表3和表4分别表示一些人脸识别算法在人脸检出率、人脸识别率和运行速度方面的测试结果。

为了方便不同厂家、不同平台的人脸算法接入人脸算法评测系统，普利商用技术团队分别在Windows、Linux和Android平台专门设计了统一的接口规范和插件封装示例，用户只需要按照接口规范的要求，并参考示例程序，就可以很方便地将自己的算法接入人脸算法评测系统。

1.2 基于人脸识别的口罩佩戴检测

在突如其来的新型冠状病毒疫情面前，口罩佩戴檢测算法应运而生。目前，解决该遮挡类型人脸的检测识别问题[10]，一般都是采用深度学习方法，即通过设计CNN网络，训练标注好的口罩人脸数据，实现对口罩佩戴情况的检测。常见的口罩人脸检测思路有3种：①多类别目标检测，如国内初创公司AIZOO提出一种基于SSD框架的轻量级口罩佩戴检测算法;②目标检测+分类，如百度开源的基于PyramidBox训练的口罩佩戴检测算法，还有滴滴出行科技有限公司提出的基于DFS的口罩佩戴检测算法[11]，其在人脸检测后加入Attention机制来关注口罩区域，其口罩检测流程如图3所示;③人脸检测+人脸关键点定位+口罩实例分割，如国内UCloud AI团队提出的口罩佩戴检测算法[12]，在识别准确率和泛化能力上都有良好表现。实现方法是基于现有的通用人脸检测算法，对人脸区域进行分类，判断是否佩戴口罩。该算法不但实时性较强，而且识别准确率较高，此外还可作为一个独立的模块在人脸识别系统中灵活集成。

1.2.1 算法原理

人脸检测算法作为本文口罩识别算法的预处理步骤，将获取的人脸区域传入口罩算法模型，其内部网络结构如图4所示，输入图像blob为[1，3，112，112]。

整个网络没有设计特殊层，主要采用了常见的卷积、池化、全连接等运算操作，开始部分采用11*11的较大卷积核对输入的裁剪人脸图像进行简单的特征提取，如面部颜色、边缘等特征，得到26*26大小的特征图;网络第二层为池化层，核大小为3，对第一层的输出进行最大池化操作，降低了特征表示的空间大小，实现了对显著纹理特征的学习;网络第三层采用卷积层，特征图边缘扩充了2个像素，卷积核大小为5，以使输出特征图大小保持不变，即13*13，但深度方向有所扩充，实现了不同卷积特征的组合;网络第四层采用池化层，也是进行最大池化操作，输出特征图大小减半;接下来，网络采用3个卷积层，对池化后得到的特征图进行连续的特征提取，进一步学习比较抽象的高级特征;第五、六、七层均采用大小为3的小卷积核，输出相同大小的特征图，最后得到的blob维度为[1，32，6，6];网络第八层依然采用了池化层，进行最大池化降维，特征图尺度减半;网络第九和十层都采用了全连接层，逐步降低维度，并最后通过Softmax处理，得到更为抽象的特征作为口罩辨识依据，即戴或不戴口罩的概率似然值。

1.2.2 算法实现与测试

首先收集训练和测试用口罩人脸数据，包括两部分：一是网络公开数据，二是自采集数据，其中自采集数据考虑的因素如表5所示。

数据收集完毕后，开始进行数据清洗和标注，由于本口罩检测算法主要辨识是否佩戴口罩，即属于二分类情形，对一些未正确佩戴口罩的人脸按照是否看到嘴巴的原则酌情划分到戴和不戴口罩的数据集中。随后，进行网络相关配置后即可开始训练，从最终训练迭代结果看，在训练集上是收敛的。

最后，对训练出的Caffe模型在测试集上进行测试，识别准确率高达99.3%左右。算法在实际产品中的使用效果如图5所示。

1.2.3 结论

基于人脸检测结果的口罩识别算法在实际应用中具有运行速度快、模型小而便于分发部署以及识别准确率较高等优点。对于是否正确佩戴好口罩和是否佩戴医学防护类型口罩的诸类问题，后续会继续采集相关数据，并从网络优化的角度予以解决。

1.3 戴口罩场景下的人脸识别

由于新冠肺炎疫情影响，为了减少病毒传播，人员在进入各种公共场合，如医院、公交车、火车站、地铁站、商场和学校等场所时，皆须佩戴好口罩。当人员带上口罩时会遮挡住大部分人脸特征，从而导致人脸识别模型性能急剧下降，甚至无法识别[13]，这对传统人脸识别算法构成很大挑战。人脸识别作为一种非常成熟的应用，已成功在多种场景落地，如人脸登录、刷脸支付、人脸考勤等。如何保证在戴口罩的场景下也能够正确识别，成为当前面临的一个挑战。

针对戴口罩的人脸识别，有两种解决方案：一是选择一套适合戴口罩的人脸识别算法，收集大量的戴口罩人脸照片，并进行人工标注，然后通过迭代训练得到一个合适的模型。采用该方法的最大困难就是如何在短期内收集到大量戴口罩的人脸照片，并完成标注;二是充分利用人脸未遮挡区域[14]，如眼睛、眉毛、脸部轮廓等，提高这些可见区域的权重，并采取针对性的局部特征增强策略[15-16]。这种算法可以利用现有数据集，结合人脸关键点定位算法，模拟人脸被口罩遮挡的情形，计算可见区域的具体位置，合成一个戴口罩的人脸图片，然后利用这些合成的照片训练出一个专用模型。

根据自身条件限制，普利商用技术团队选择了第2种方案，充分利用现有的数据集模拟出大量的戴口罩人脸照片，并收集到部分真实的戴口罩人脸照片，然后将这两部分数据合成一个较大的训练数据集。针对大部分人脸特征被遮挡的情况，技术人员设计了一个人脸可见区域权重增强的网络，并利用该网络训练出一个专用模型。具体做法是先利用戴口罩检测算法进行检测，如果检测出没有戴口罩，则调用通用的人脸识别算法;如果检测出有戴口罩，则调用专用的口罩特征识别算法。具体流程如图6所示。

采用这种方法，戴口罩场景下的人脸识别准确率有了很大提高，具体结果如图7所示。

戴口罩场景下的人脸识别算法在实际产品中的使用效果如图8所示。

2 基于人脸检测的精准测温技术实现

随着疫情防控逐步转为常态化阶段，如何在公共场合通过体温监测快速有效地判断人健康状况，是当前面临的一个重要问题。其核心是如何在确保测温准确性的同时，提升测温环节的通行效率并优化体验，降低测温对日常工作和生活的影响。将人脸识别与测温相结合，实现额温精准定位、高效无感测温、精准人温绑定，成为AI助力疫情防控的重要一環。

普利商用人脸测温闸机所用的测温模组型号为ST16-TPIL16TRS1，它由一个16个单元的热电堆传感器及温控控制板组成。测温模块的优势是可以在20cm检测到人体额头温度，并且响应速度快，测温时间少于2S，精度高，在45cm距离下，可达±0.3℃。非常适用于人体体温远距离检测相关产品，如打卡机、自动感应门、检测门等。

2.1 测温适宜距离

根据红外测温原理，物体的红外辐射强度与温度呈一定函数关系，而测温距离直接影响红外辐射强度，为了实现精准测温，需确定合适的测温距离。

（1）前后距离越近，温度值越高。同一距离处，传感器正对额头中心时温度值最高，四周移动位置后温度值会降低（具体指标参考第2.2部分）。

（2）以额温枪测温值为参考，额头与传感器最优检测距离约为25～35cm之间，其它距离需要进行温度补偿。具体数值可参考图9，其中温度误差=实际值（ST16模组）-基准值（额温枪），当距离在10cm以内和120cm以外时，温度误差绝对值较大（有失准确性），后者范围测出的温度值可能会出现较大跳变。

（3）测温策略：参考图9和图10，在不同的人脸宽度范围（不同的距离），给出的温度补偿值如表6所示，建议的测温距离为60～70cm，对应的人脸宽度为80～95pixel。

2.2 测温区域范围

在-0.3～0℃误差范围内，获取测温矩形区域范围（宽和高）：①测温距离20cm时，测温矩形区域约为10cm*20cm;②测温距离30cm时，测温矩形区域约为12cm*30cm;③测温距离50cm时，测温矩形区域约为13cm*36cm。

2.3 额温测量

在人脸测温闸机上，先利用可见光图像进行人脸检测，获取用户人脸矩形框和关键点位置，然后抠出人脸额头区域，进而依据事先校正过的可见光图像与热度图像之间的映射关系[17]，可以获取落在人脸额头区域点阵的最高温度，并在该温度的基础上，参考表6中的温度补偿值依据用户的人脸矩形框宽度作进一步修正，从而得到最终的实际测量温度，以此作为人体温度，该方法可以避免测温距离带来的误差，并排除测温传感器视野中热水杯等其它热源的干扰。如图11所示。

3 技术应用（主要产品及典型场景）

3.1 相关产品

3.1.1 测温人证核验手持终端iDR420

测温人证核验手持终端iDR420属于智能信息采集识别终端，多功能智能身份核验专用产品，结合人脸识别、身份证、射频卡、安全认证和加密技术等，通过可选配高精度内置热电堆传感器，实现快速精准测温，支持高安全下的身份核验、人证核验、温度/信息采集及预警、数据管理等功能，并可对接各类业务系统。产品如图12所示。

应用领域：广泛适用于政务大厅、园区、写字楼、商超、酒店、社区、营业厅、工地等场景下的人员进出身份核验与识别、体温检测、信息管理与追溯等。配合多行业防疫防控需求，已陆续在政务、园区、楼宇、小区、工地等场景落地，推动了公共治安管理与公共卫生安全的双重守护。

3.1.2 智能人脸测温控制终端iDR760

智能人脸测温门禁终端iDR760（内置高精度红外测温模块），运用人脸识别、证卡核验、低功耗智能物联、数据分析等技术，实现人脸识别（含口罩识别、活体检测）、身份核验、人体温度快速检测及预警提示、记录追溯、门禁考勤控制等功能，并支持提供第三方接入SDK，可提供完整的二次开发包（SDK），方便用户自行定制需求。可满足常态化冠疫管控、人员身份核验和出入通行管理多重需求。产品如图13所示。

应用领域：广泛适用于政务大厅、园区、写字楼、酒店、商超、社区、营业厅、工地等场景下的人員进出身份核验与识别、通行管理（门禁考勤）、体温检测、信息管理与追溯等。

3.2 典型应用

3.2.1 产业园区楼宇领域——基于人员轨迹的中小企业园区管控

基于人员轨迹的中小企业园区管控，实现内部员工出入管理、外部访客出入管理、办公区等人员聚集区域管理、门禁考勤、重点区域防范等全场景智能化管理。

前端采用AI人脸识别测温智能终端，配合人证比对、人脸识别、红外测温，实现无接触式人体温度快速检测、登记记录、身份核验、门禁控制、自动预警等功能。针对园区管理对象复杂，安全防控与人员管理需求高、防疫测温效率及安全性高、高危安全事件预警等核心需求，将人脸识别、无感测温与无感通行结合，快速识别人员信息并进行测温登记，实现内部员工出入管理、外部访客出入管理、办公区等人员聚集区域管理及智能化管理等企业出入全场景智能化管理。

3.2.2 酒店文旅领域——复杂场景下人证核验管理应用

针对公安部《旅馆业治安管理条例》管理要求及酒店行业特点需求，采用人脸识别技术进行人证比对和客户身份确认，确保人证合一，并支持公安部联网核查，提升身份核查准确性和便利性。

通过不同环境下的算法定制，实现在酒店复杂场景下人员身份与行为的精准识别，在一定程度上在星光环境及复杂光线等情况下，人员身份识别及行为判别易受到视角变化、表情变化、明暗变化、遮挡、模糊等因素影响而存在人员身份识别与行为判别误识率高的问题，有效提升了人脸识别、活体检测、态势感应等技术适配能力。通过动态人脸补光技术改善人脸识别终端在低照度和逆光环境下的识别效果，利用微波、光感及人脸检测技术，实时感知人体接近、环境照度及人脸亮度，并根据感知到的数据自动调整补光策略。通过人脸检测及照片质量分析技术改善用户交互体验，实时检测人脸位置、姿态角、亮度及清晰度等参数，并根据检测结果，采用语音、文字和动画等形式提示用户，有效提高人脸识别通过率，缩短识别时间，减少误识。

目前，此方案已经在北京、海南、广东、河南、云南、四川、青海等近万台星级酒店部署应用，实现了知名民宿、连锁公寓式酒店人证核验入住管理，占据细分垂直行业领先。

4 结语

本文提出了一种基于人脸算法的评测系统，在不依赖核心算法性能提升的情况下，通过定期对场景数据进行统计分析，并对识别参数进行动态优化，提升了人脸算法的识别性能;针对戴口罩的特殊场景，设计一种针对未遮挡区域的特征增强算法，采用特定的数据集进行训练，提升了戴口罩场景下的人脸识别效果。此外，基于人脸检测技术，对红外测温的误差进行补偿，提升了红外测温精度。相关技术方案已在普利商用的实际产品中进行了落地应用，为疫情防控提供了技术支撑。

参考文献：

[1] 景晨凯，宋涛，庄雷，等. 基于深度卷积神经网络的人脸识别技术综述[J]. 计算机应用与软件，2018，35（1）：223-231.

[2] 张珣，权家运.基于深度置信网络的酒店入住管理系统研究[J]. 软件导刊， 2020，19（6）：125-129.

[3] 吴永斌，濮永仙，肖坤娥，等.学生宿舍人脸识别考勤系统设计[J].软件导刊， 2020， 19（6）：113-116.

[4] 宿静宜，刘久付，杨明海.采用人脸身份识别的智慧门禁系统[J].软件导刊， 2019，18（4）： 32-35.

[5] 张卓群，曹钟淼，王慧，等.深度学习与人臉识别算法研究[J].软件，2019，9（1）：199-204.

[6] 程森林.基于监控场景下深度学习的人脸识别研究与设计[D].北京：北京邮电大学，2019.

[7] 张昀.基于子空间嵌入和深度学习的人脸识别研究[D].合肥：中国科学技术大学，2018.

[8] 胡渝苹.基于HOG-CSLBP与深度学习的跨年龄人脸识别算法[J].西南师范大学学报（自然科学版）， 2020，45（3）：115-120.

[9] 潘青华， 潘松.人脸识别技术性能评价方法优化与实践[J].中国标准化， 2019，62（15）：159-164.

[10] 衣帅，朱建生，景辉.铁路刷脸场景下基于MTCNN的人脸遮挡识别研究[J].计算机仿真，2020，37（5）：96-99.

[11] 谢征宇，曹志威，李永玲，等.基于视频的轨道交通车站乘客口罩佩戴检测及测温技术[J].中国铁路，2020，28（3）：126-131.

[12] 王远大.UCloud开放人脸口罩检测服务 借助AI算法加快疫情防控[J].通信世界，2020，21（5）：33-34.

[13] 戴新宇.基于半脸的人脸检测和识别方法的研究[D].上海：华东理工大学，2018.

[14] SONG L， GONG D， LI Z， et al. Occlusion robust face recognition based on mask learning with pairwise differential siamese network[C]. International Conference on Computer Vision，2019：773-782.

[15] 仝琼琳，苏金善.遮挡人脸识别技术研究综述[J].伊犁师范学院学报（自然科学版），2020，14（1）：49-57.

[16] 周孝佳， 朱允斌， 张跃.基于分块的有遮挡人脸识别算法[J].计算机应用与软件， 2018， 35（2）：183-187.

[17] 周明，顾朝敏，张树亮，等.基于智能监测终端的可见光与红外图像配准融合方法[J].河北电力技术，2019，38（6）：40-43.

（责任编辑：孙 娟）