基于人脸识别的矿井人员考勤管理系统

肖蕊 王继鹏

摘  要：煤矿职工管理工作对煤矿企业发展产生了重大影响。因此对煤矿的矿井人员考勤进行了调查，发现煤矿现在的矿井人员考勤打卡方式会出现替打卡、漏打卡现象。针对煤矿工人的贴牌、顶替现象，提出并设计了以人脸识别为基础的矿井人员出勤管理系统。系统将人脸识别和射频卡识别相结合，带有射频卡员工信息与人脸检测识别的员工身份信息一致算作考勤成功。上述考勤系统可以有效杜绝员工虚假考勤，提高企业管理效率，利于企业长远发展。

关键词：考勤管理系统；人脸识别；卷积神经网络

中图分类号：TP391.4    文献标识码：A  文章编号：2096-4706（2023）07-0035-04

Abstract： The coal mine management work has had a significant impact on the development of coal mine enterprises. Therefore， this paper investigates the attendance of mine personnel in the coal mine， and finds that the current punch the clock mode of mine personnel's attendance in the coal mine can cause the phenomenon of replacing or missing punch the clock. A mine personnel attendance management system based on face recognition is proposed and designed， aiming at the phenomenon of coal mine workers' labeling and replacement. The system combines face recognition and radio frequency card recognition， and the consistency of employee information with radio frequency card and employee identity information identified by face detection is considered as attendance success. The above attendance system can effectively eliminate false attendance of employees， improve enterprise management efficiency， and facilitate the long-term development of the enterprise.

Keywords： attendance management system; face recognition; Convolutional Neural Networks

0  引  言

現如今，由于经济与技术的不断提高，矿井的逐步改造提升，现有的矿井人员管理系统对于现在煤矿对于下井作业人员管理上出现的旷工、代工现象难以避免，因此，基于人脸识别的矿井考勤系统应运而生，在原有传统考勤基础上，运用人脸识别技术来核查员工身份，提高考勤效率，对煤矿企业发展和效益有利的是加强企业管理能力。

目前大部分矿井的人员入井考勤制度，都是通过在井口进出时打卡的方式对人员进行出勤管理，会出现漏打卡、错打卡等现象，对于员工的不正规代班，替班等现象无法做到相应管控，使得企业对员工管控造成很大的漏洞，对发展和管理煤矿企业带来较大的不利影响[1]。因此，本系统采用人脸识别技术和射频技术相结合的方式，员工下井工作时佩戴自己的射频卡并站在考勤识别机前人脸识别成功，方可成功考勤。

1  系统整体设计

根据煤矿出勤现状，结合煤矿特殊场景，以人脸识别为依据，设计出井下作业人员出勤管理。如图1所示矿井人员考勤管理系统主要包括八个模块，即人员管理、考勤管理、工种管理、职务管理、部门管理、用户管理、班次管理和系统管理。人员管理录入了包括姓名、工号、年龄、科室等基础信息在内的煤矿企业下井人员明细；考勤管理可以查看员工考勤的具体数据包括考勤时间、考勤类型、姓名以及考勤时的图像信息等；工种管理是提供了对整个矿井工种的管理，包括工种的添加、每个工种相应的属性等；职务管理是提供了对整个矿井一系列职务的管理，包括添加职务以及每个职位相应的工作、属性等信息；部门管理提供了对整个矿井部门的管理，包括部门的添加、每个部门相应的属性等信息；用户管理包含添加系统用户，并为其设置相应的权限；班次管理提供了对整个矿井班次的管理，包括对班次时间、名称的修改；系统管理可以看到当天实时下井人数、最近考勤的三位基本信息，以及对客户端的管理操作，系统功能架构如图1所示。

本系统是通过在矿井口安装检测装置，在客户端上录入员工的基本信息，让员工带着他们对应的标识卡通过检测装置进行人脸数据收集，收集完成后会将采集到信息上传至服务器上处理，之后员工考勤，只需通过员工佩戴的标识卡和装置采集到人脸数据进行比对，即可得出考勤信息，之后服务器再将信息传到客户端，本系统的系统架构如图2所示。

2  人脸识别模块分析

本系统人脸识别场景是矿井，主要依托于智能检测装置中进行工作。本模块：首先摄像机获取的影像资料，对检测到的人脸中的特征进行提取，对提取到的人脸特征资料进行存储。在进行人员考勤时根据之前存储的人脸特征与考勤人员的人脸进行比对，计算两者之间的拟合度并输出识别结果到数据库，作为考勤数据。如图3所示。

2.1  人脸检测

人脸检测是从各种复杂的影像资料中对人脸进行检测的过程，所以人脸特征点的确定是目前人脸检测的一个技术难点，因为必须先从人面部确定各个特征点的具体部位，比如：眼睛、眉毛、鼻子、嘴、上下颌轮廓等[2]。在本系统中我们使用MTCNN，一种基于卷积神经网络的多任务训练检测人脸模型，采用三个级的网络串行使用，并做到人脸的检测和关键点的对齐两个训练任务，使用候选框加分类器的方法，以提高人脸检测效率。

MTCNN由Proposal Network（P网络），Refine Network（R网络）和Output Network（O网络）三个级联网络而成的网络结构。图片在输入到MTCNN模型后进行不同尺度的变换，提取图中不同尺度大小的图像。然后将提取出的不同尺度图像输入三个级联的CNN网络中进行检测。首先通过P-Net网络快速检测出一些粗略的建议框，然后通过非极大值抑制处理选出置信度较高的框。其次经过R-Net精细化建议框，P-Net和R-Ne的区别在于增加了一个全连接层，进而可以更大程度上的减少错误信息。R-Net网络通过对建议框以非极大抑制的方式筛选，在删除重复的框和非人脸框之后，将输出结果输入到O-Net网络中。O-Net网络较R-Net网络多一层卷积层，提升输出精度，达到准确提取人脸框并选取关键点的效果。判决这个图像中人脸是否存在可以通过 MTCNN这样的网络，并且这个网络可以判断人脸所在的位置以及脸上的五个关键点。其具体流程如图4所示。

2.2  人脸识别

人脸识别技术，是指在传统的人脸检测基础上进行的人脸识别比对，目前主要有两大类的图像识别技术。一类是通过采用几何、纹理特点的方式中，几何特点主要是直观的表现出人的特点[3]。只是用几何特征作为识别方法，相似人脸就会大概率被认作为同一人，因为忽略了人脸上的局部细节，所以识别率很低。然而纹理特征可以弥补几何特征带来的相似人脸识别率低，局部纹理提取可以区分局部细微特征和不同方向的边缘特征，它可以区分具有局部差异的人脸。对应的算法为LBPH等。

另外一种就是基于子空间学习的方法原理就是人脸数据维数很大，处理起来难度很大，所以我们可以通过降维的方式进行处理。上面提到的方式会忽略很多人脸数据，识别率也不够理想，因此我们要找到既可以尽最大可能保存人脸特征还可以降维的方式。子空间学习法是一种通过投影映射来降维的好方法，此方法可以在最大程度保存特征的基础上对数据进行降维，但具体的子空间学习法需要针对不同的数據进行应用。

2.2.1  基于LBPH特征的人脸识别算法

局部二进制编码直方图（Local Binary Patterns Histograms， LBPH），比较一个像素点与周围像素点的灰度值，最后对其进行二进制编码，在对图像所有区域二进制编码后组成整个图像的LBP编码图像，然后将LBP编码图像划分为多个区域，获取每个区域的LBP直方图[4]，再将小区域的直方图拼接一块获得整体图像的直方图，最后通过比较LBP编码直方图，计算LBPH相似度进行判断。

2.2.2  基于PCA和LDA的Fisher face人脸识别算法

LBPH算法存在一定的缺陷，忽略数据库中不同人脸数据的差异，识别率低下，还会造成长相相似的人脸识别错误。Fisher face方法是在线性判别分析（LDA）的基础上发展起来的算法。这种方法将原始影像投射映射到保护原始影像资料结构不被破坏的低维特征空间中；之后再采用线性判别方法提取降维后的图像特征，可以有效消除冗余信息和噪声的干扰[5]。

2.3  基于个性化特征的AAM人脸对比

该系统使用场景为煤矿，环境场景复杂，矿井人员面部会存在煤灰等杂质，使得人脸识别特征不清晰，所以本系统增加了AMM模型，进一步对人脸轮廓特征检测比对。AMM模型在ASM模型的基础上增加了纹理统计建模，将纹理与形状结合在一起，形成了一个表观模型。本文采用的AAM算法会先根据人脸特征生成一个人脸模版，之后人脸识别的图像会与该模版计算相似度，判断是否为同一人。系统使用的局部二进制编码直方图算法主要是通过人脸的纹理特征做区分，在煤矿中由于环境问题，矿井人员面部的煤灰物质会使纹理特征无法作为唯一的人脸识别特征，这就需要我们引入另一种特征用作判断。本系统将AAM算法引入，通过加入他的形状特征，来进一步精确识别。

2.4  人脸识别模块设计

根据煤矿实际情况分析，每次下井人数会在几十人至几百人之间不等，并对进出矿井人员进行定位，矿井实际情景下一般会将射频识别卡嵌入到矿井工人头盔中我们检测设备会对每位矿工的唯一标识卡进行识别，通过标识卡所对应的数据库中工人的人脸数据对比，进行人脸识别。LBPH人脸识别算法对与人脸数据出现大小、形状不同时，无需对整个人脸数据库进行训练，就可以识别且识别速度较快；但该方法无法对与人脸数据库中面部有差异的人脸精确识别。而基于PCA和LDA的Fisher face算法可以弥补这个缺点，但Fisher face 算法想要达到很好的识别率需要较多的数据，于是我们取长补短，通过算法提取人脸几何特征进行识别认证，设计出了如图5识别流程，先用LBPH算法进行人脸识别，通过算法提取人脸的几何特征进行识别认证。如果认证不通过，系统将用识别效果较好的 Fisher face 算法去进行识别。

3  数据库设计

本系统数据库使用的是MySQL数据库，根据普通的考勤需求我们设计了基础员工信息表和考勤情况统计表、考勤信息表、考勤图像表，因为煤矿需要下井的部门、工种、职务都不相同，设计了部门表、职务表、工种表等。

4  系统实现

本系统通过在矿井口安装检测装置获取人脸数据和标识卡数据，之后将数据传到服务器上做处理，并在系统上将员工数据和之前收集到的人脸数据录入到数据库中，在系统中就可以按照人员姓名、工号、权限、卡号、性别、部门、工种、职务等进行查询，人员信息界面如图6所示。

考勤管理查询可以根据人员卡号、起始、终止时间、考勤类型、卡状态、客户端编号等查询人员考勤记录，如图7所示。

5  结  论

依据煤矿实际需求和现状，我们提出了基于人脸识别的矿井人员考勤管理系统，该系统是在原有考勤管理系统的基础上增加了人脸识别功能，有效解决了矿井人员带班现象。由于矿井场景特殊，考勤人员脸上时常会有煤灰等遮挡，传统人脸识别效率差，基于此我们设计了通过LBPH和Fisher face相结合的识别流程，再加上AAM算法，通过提取人脸轮廓特征，搭建人脸模版并对比，提升人脸识别精准度。该系统在煤矿使用，使得煤矿企业更好地对矿井工作人员管理，增大企业工作效率。

参考文献：

[1] 刘宝玉，亢健铭，范树凯，等.基于FaceNet的煤矿人员考勤识别 [J].煤炭技术，2022，41（9）：189-191.

[2] 李欣，黄镕，陈哲辉，等.一种改进的MTCNN和FaceNet人脸检测及识别算法研究[J].广东石油化工学院学报，2021，31（1）：45-47+53.

[3] 翟奕隆.基于深度神经网络的视频人脸识别研究 [D].北京：北京工业大学，2019.

[4] 花德培，孙彦赞，吴雅婷，等.基于TK1的驾考人脸识别系统 [J].工业控制计算机，2019，32（9）：34-35+37.

[5] 张克军，韩娜，陈欣然，等.基于脑电图的新型情绪识别特征提取方法 [J].华南师范大学学报：自然科学版，2019，51（5）：6-11.

作者简介：肖蕊（1998—），女，汉族，山西运城人，硕士研究生在读，研究方向：图像识别。