基于人脸关键点检测的社区门禁系统设计与实现

王赛楠 杨 诚

(常州信息职业技术学院网络空间安全学院 江苏常州 213164)

0 引言

社区作为承载社会人口的重要单位,安全风险尤为显著,因此对社区实施智能化管理,确保社区安全至关重要。传统社区门禁通常采用门禁卡形式,但门禁卡被业主所持,存在丢失和被复制的风险,为社区安全管理带来一定挑战。另外,业主时常忘记携带门禁卡,导致出行不便的同时,保卫处难以落实进出小区人员管控。针对上述问题,本文提出了基于人脸关键点检测的社区门禁系统,不仅对社区出入口进行实时监控,而且能智能识别陌生人和可疑人员,为社区居民提供了更安全的生活环境。该系统采用人脸识别方式[1],替代门禁卡识别,业主无需携带门禁卡,步行通过社区门禁区域即可完成来访人员的人脸识别,并记录来访数据,实现无接触式门禁,从而方便业主出行,确保社区安全。另外,本系统融入人脸关键点检测,确保人脸在不同角度的情况下,依然能被准确识别。

1 研究背景

Hubel和Wiesel对猫脑视觉皮层开展研究,并首次提出了“感受野”[2]概念,该概念对卷积神经网络的出现起到重要启示作用。LeCun结合反向传播算法与权值共享策略[3],设计了首个卷积神经网络模型,并成功将其应用到美国邮局的手写字符识别系统。随后LeCun对该模型进一步修改,提出了经典网络模型LeNet-5,使得手写字符识别率大幅提高。该模型奠定了卷积神经网络的基础,设计了基本结构,包括输入层、卷积层(convolutional layer)、池化层(pooling layer,也称为取样层)、全连接层及输出层[4-6]。卷积层主要用于特征提取[7],池化层主要是对特征进行抽样,全连接层是将提取特征图连接,最后通过分类器确定分类结构。上述卷积神经网络模型虽然在手写数字识别中取得了良好效果,但只适合做小图片的识别,对于大规模数据,识别效果不佳。

Alex等人提出了多层深度卷积神经网络模型,并在ImageNet大规模视觉识别挑战竞赛(ImageNet Large Scale Visual Recognition Challenge,LSVRC)中取得最佳成绩。该模型采用双GPU并行结构,提高了模型训练速度,并提出ReLU函数[8],降低了模型复杂度。随后,Szegedy等人提出GoogleNet结构,将CNN结构延伸超过20层[9]。He等人采用残差网络[10-12](Residual Networks,ResNet)来解决梯度消失的问题,确保底层网络得到有效训练,使得算法准确率显著提升。上述深度卷积神经网络在图像分类的精度上取得了巨大进步,但是在现实生活中,受到人脸角度的影响,模型表现不佳。因此,针对社区门禁场景,迫切需要能应对人脸角度问题的人脸社区门禁监控系统。

2 系统需求分析

2.1 功能性需求

功能性需求要求系统不仅能对社区出入口区域进行实时监控,而且能对来访人员的身份进行识别,并记录来访数据,为社区居民提供更安全的生活环境,因此主要包括以下两个方面:

1)图像采集模块是利用摄像头等传感设备采集社区业主人脸图像,并支持活体检测和人脸特征提取等功能,以构建社区业主人脸特征数据库。另外,图像采集模块需提供交互界面,方便物业完成人脸采集。

2)智能人流统计模块需要实时监控社区门禁画面,采集当前画面中的人脸特征信息,并与社区业主人脸特征数据库进行匹配,以识别人员身份。另外,该模块支持社区人员出入数据统计,能以excel格式导出统计结果。

2.2 非功能性需求

1)系统可靠性是指图像采集模块和智能人流统计模块均能长期可靠运行,一方面人脸识别算法能可靠完成人脸识别,确保识别结果无误;另一方面系统在运行中确保稳定性,运行期间不存在任何故障。

2)系统高效性是指图像采集模块和智能人流统计模块均能满足实际使用的响应速度,一方面界面的响应时间不高于某个阈值,另一方面系统算法处理速度不高于某个阈值。

3 系统设计

为搭建基于人脸关键点检测的社区门禁系统,首先利用图像采集模块,对业主进行人脸关键点采集,构建人脸特征数据库。随后利用智能人流监控模块,实时采集监控图像,基于人脸关键点矫正策略,提取当前帧的人脸特征,并与人脸特征数据库进行比对,识别人员身份,以控制闸门的打开与闭合。另外,利用人流监控算法,统计人员进出情况,并存档到数据库中。

3.1 图像采集模块

3.1.1 算法设计

图像采集模块通过人脸关键点匹配算法进行人脸矫正,矫正后的图片输入卷积神经网络,提取深层人脸特征。然后将该特征添加到人脸特征数据库,即可完成社区业主人脸特征的采集。

人脸特征提取过程如图1所示,首先利用人脸检测器获取当前帧的人脸位置,即图中人脸矩形框的坐标值。然后将人脸坐标参数传入人脸关键点检测器,并利用人脸关键点检测算法获取106个人脸关键点。随后基于人脸关键点进行裁剪、旋转、缩放等操作,将人脸进行对齐,即可得到矫正后的正面人脸。最后将对齐后的人脸图像传入人脸特征提取器,通过多层卷积神经网络能够提取128维的显著人脸特征。

图1 人脸特征提取流程

3.1.2 界面设计

1)图像组件:用于显示所采集图片,组件大小为800×600,组件左上角位置坐标是(240, 20)。

2)下拉框组件:通过下拉框选择相应人脸图片,读取图片信息并在图像组件中进行显示,以便后续人脸特征的提取。组件大小为200×40,组件左上角位置为(240, 640),下拉框条目包括业主人脸图片文件夹中的所有图片名。

3)标签组件:根据下拉框选择的人脸图像进行活体检测,并在标签组件中输出检测结果。如果活体检测为真,标签组件显示“该图片中包含真人,可进行下一步操作”,同时“更新数据库”按钮设置为可用状态。否则,标签组件显示 “该图片中未包含真人,请换一张图片”,同时禁用“更新数据库”按钮。组件大小为350×40,组件左上角位置是(470, 640),标签字体用15号字体。

4)按钮组件:点击“更新数据库”按钮,在标签组件中显示当前图片中的人数,在图像组件中绘制相应人脸框,同时更新数据库中的人脸特征。组件大小为200×40,组件左上角位置是(840, 640),文字是“更新数据库”。

3.2 智能人流监控模块

3.2.1 算法设计

智能人流监控模块基于视频流时间维度信息设计神经网络模型,检测当前帧的人脸坐标框,不仅能够准确定位人脸位置,而且基于人脸关键点能有效应对人脸角度变化问题。随后通过特征采集算法提取当前帧的人脸特征,计算该特征与社区业主人脸库特征的余弦相似度。选择最大相似度,如果超过阈值,则作为识别结果。余弦相似度计算公式如下:

其中,F表示当前人脸特征向量,G表示人脸特征库中的某一特征向量,n表示特征向量的维度。

通过上述操作,即可识别当前业主身份并确定人脸位置。然后根据人脸位置列表,完成人脸区域检测。首先将当前监控区域划分为A区、B区和C区,然后计算各区域与人脸框的重叠面积,通过最大重叠面积判定当前行人所处区域。

如图2所示,利用上述模型和区域判定方法,对监控画面实时进行处理。然后设计合理算法,统计人员进出社区情况,并将结果记录到表格中。算法设计规则是人员从A区穿越到C区视为一次进入,从C区穿越到A区视为一次离开。

图2 社区人流监控模块

3.2.2 界面设计

为方便业主进出小区,设计了人流监控界面。该界面设计简洁,实时显示当前摄像头采集的数据、人脸追踪结果和行人识别结果。

界面仅包含图像组件,组件大小为1 920×1 080,左上角位置是(0, 0),用于显示实时监控画面。在监控画面上绘制人脸矩形框和文本字符串,具体要求如下:① 矩形框。坐标设置为当前人脸框的左上角坐标和右下角坐标,坐标值为模型检测结果。② 文本字符串。文本内容是人员身份信息,位置处于人脸框正上方。

4 系统实现

硬件设备为SenseInnoKit AI 开放硬件平台,包括边缘计算开发板NVIDIA Jetson nano、13.3 寸(1 920×1 080)触摸屏和开发工具(SDK)等。编程语言为Python,编程软件为VSCode。

4.1 图像采集模块实现

图像采集模块通过下拉框选择待注册的人脸图像,所选图像显示在图像组件中,同时调用活体检测算法,并将检测结果显示在标签组件中。

当采集人脸非活体时,标签组件显示“该图片中未包含真人,请换一张图片”,并且更新数据库按钮失效,无法进行数据库更新。

当采集人脸是活体,标签显示“该图片中包含真人,可进行下一步操作”,更新数据库按钮有效。

随即点击更新数据库按钮,系统依次调用人脸检测器、人脸关键点检测器和人脸特征提取器,完成当前人脸特征的提取,并将特征列表写入文件。

数据库更新完成后,标签组件显示“已在数据库中添加Sandra的特征!”,并提醒用户图像采集操作已完成。

4.2 智能人流监控模块实现

智能人流监控模块的摄像头放置于社区进出口,能够实时采集监控画面。通过人脸关键点检测来矫正人脸角度,并通过查找最大相似度识别人员身份。经测试,算法运行帧率为15 fps,识别正确率为98.6%。用户界面显示当前监控画面,矩形框表示当前人脸位置,计算sim最大为0.8,超过阈值,因此识别人员为“sandra”,并在图中用字符串表示。然后获取前后帧,通过算法判定人员进出小区情况,并以规定格式记录统计结果。

5 结论

基于人脸关键点检测的社区门禁系统首先采集业主的面部图像,通过人脸检测器、人脸关键点检测器和人脸特征提取器提取人脸特征,构建完备数据库。然后对小区门禁处实时监控,基于人脸关键点矫正人脸角度,并与数据库中的人脸比对,确定业主身份。通过上述方式实现了智慧门禁监控系统,业主无需携带门禁卡,通过人脸即可进出社区,方便了业主出行。另外,系统能自动识别陌生人,防止陌生人随意进入小区,为社区居民提供了更安全的环境。