基于深度学习的安全帽和口罩检测系统的设计

杨庭 徐桂彬 严俊 徐遥 王宇

摘要：安全帽作为生产作业中极为重要的安全防护工具之一，并且在疫情期间，佩戴口罩也是最基础最必要的防护工具。为了提高电力作业人员的安全意识，进一步保护工作人员的生命安全，该系统结合实际应用场景，设计了一种基于深度学习的电力施工场景下的安全帽和口罩检测系统。该系统将深度学习的目标检测算法应用于安全帽和口罩检测系统，通过改进CenterNet算法，使用电力施工场景标注的数据集训练目标检测模型，并部署在智能监控视频分析服务器上。初步实际应用表明，该系统的安全帽检测准确率达到87%，口罩检测准确率达到94%，在结合系统功能的情况下，能有效适应电力施工场景下的安全帽和口罩检测识别与违规管理。

关键词：深度学习; 安全帽检测; 口罩识别; 智能监控; 电力场景

中图分类号：TP391.4      文献标识码：A

文章编号：1009-3044（2022）10-0015-04

疫情期间，在特定的电力施工场景下，作业人员佩戴安全帽和口罩是符合安全规章制度的基本要求[1]。在电力作业人员施工过程中，安全帽和口罩作为常用的个人防护用品，可以避免作业人员的头部受到严重伤害以及疫情的传播风险。然而部分作业人员安全意识薄弱、无视安全规章制度、进入施工作业未佩戴安全帽和口罩，将会造成严重的安全隐患。

由于深度神经网络优化算法在视频监控系统中的广泛应用，新一代智能监控视频系统应运而生[2]。智能监控视频系统的技术性是将人工智能算法与数字视频监控系统相结合，提高了系统软件的智能系统自动解决能力，大大提高了安全施工监管的实际效果，有效地减少了安全监管人员的工作量。智能监控视频系统可以处理数字视频监控系统传回的监控视频流，分析并检测出作业人员是否佩戴安全帽和口罩，并能及时反馈此监控信息，监控人员能有效地对作业人员进行监督管理，达到利用监控视频系统对电力作业人员智能管理的目的。

在智能视频监控系统研究方面，文献[3]设计了一种基于改进YOLOV3的安全帽检测方法，此方法采用DenseNet方法处理低分辨率的特征层，在保持特征提取的前提下降低了计算复杂度;文献[4]提出了一种基于改进Faster-RCNN的安全帽检测算法，此方法采用了跳跃网络结构，结合集成学习的思想，改进了安全帽检测方法。但是上述方法都是在不同的实际场景下应用，针对电力施工场景却存在一定的不适应性。文献[5]提出了一种电力施工场景下安全帽穿戴状态检测算法，此方法采用轻量级深度学习神经网络，从图像中充分提取不同尺度特征，并生成特征图;再通过卷积预测器，进行对多尺度特征分析。但是在疫情期间，口罩佩戴也是施工人员的必备防护用品，文献[5]却不能实现电力施工场景下的口罩佩戴检测。因此，开发一种电力施工场景下的智能安全帽和口罩檢测系统是具有现实意义的。

本文结合实际应用场景，通过改进CenterNet算法，部署在电力施工场景中标注的数据集训练的目标检测模型，设计了一种智能监控安全帽和口罩检测系统，以对电力施工场景下中作业人员是否佩戴安全帽和口罩进行实时检测与处理。在提供智慧监控检测管理的同时，保障作业人员的生命安全。

1 核心算法

1.1 CenterNet检测算法

CenterNet[6]是一个无先验框的检测算法，CenterNet使用的主干特征网络有许多种，一般是以Hourglass Network[7]、ResNet[8]或者DLANet[9]为主干特征提取网络，笔者选择采用Backbone为ResNet。其中ResNet中有2个基本模块：身份模块（Identity-Block）和卷积模块（Conv-Block），最终，从此网络中选取两个Feature Map，其中，卷积模块输入和输出的维度是不一样的，此模块的作用是改变网络的维度;而身份模块的输入维度和输出维度相同，此模块作用是加深网络的深度。后续产生三个feature map，一个作为热力预测中心点的坐标，一个用于回归中心坐标的偏移值，最后一个用于预测物体的宽高值。

1.2 改进的CenterNet检测算法

虽然CenterNet具有较快的推理速度和较高的准确度，在工业场景中得到了广泛应用。然而，CenterNet类别Heatmap构建过于单一，直接将所有的目标都编码为圆形高斯核，没有考虑到目标框长宽比的变化和不同尺度的目标分布不均衡问题。另外，CenterNet的目标存在推定仅依赖于本地或者目标较近区域的特征，对于类内和类间的相距较远，但语义相关目标缺乏有效的信息挖掘。

为了优化CenterNet的上述问题，进一步提高网络性能，本系统通过改进CenterNet算法，提出了尺度自适应编码模块和类别注意力模块。尺度自适应编码模块在设定的IoU范围，根据真实目标框的大小生成目标框长宽相关的椭圆高斯核撒入类别分数图中，用于代表真实目标框的类别信息，均衡不同尺度的目标框在训练过程中的损失。类别注意力模块通过在特征图的通道内和通道间构建注意力机制，挖掘类内和类间的相距较远但语义相关的目标间的有效信息。

2 系统设计与实现

监控安全帽和口罩检测系统主要包含三个模块：用户注册管理模块、智能监控检测模块、报警信息管理模块。其中智能监控检测模块分为安全帽检测模块和口罩检测模块。系统功能模块图如图1所示。

2.1 系统功能模块设计

用户注册管理模块主要功能是用户注册人脸信息，此功能为整体系统的其他功能提供其作业人员的主要信息，在后续的检测功能中起着基础性作用。用户注册人脸信息主要填写作业人员相应的工号、姓名、性别、手机号、工种、出生日期、公司、所在小组、是否是组内领导，至此，相应录入人脸，便可以生成人脸的特征信息。

智能监控检测模块主要功能是对作业人员进入施工场景的人员数据进行监控，并且检测其作业人员是否符合安全规定佩戴安全帽和口罩。

报警信息管理控制模块包括查询报警信息内容、推送报警信息内容和解决报警信息内容。查询报警信息内容是能够查询当前和以前的报警信息内容，可以查询报警时间、报警区域、报警情况和工作处理人等相关信息，推送报警信息是推送当前未处理的报警信息内容，将报警信息的内容推送给相关负责人进行处理，解决报警信息内容是由负责解决该条报警信息的工作人员对其进行状态的更改等操作。

2.2 系统功能流程实现

系统软件整体流程图如图2所示，用户输入ID和登录密码验证真实身份，如果验证失败，则返回输入页面;如果验证成功，则进入主界面。如果是管理员，可选择进行管理方式的操作或智能安全预警信息的操作，如果是普通用户，则只能进行智能安全预警的操作。智能安防预警信息的工作流程是：先将控制模块根据rtmp协议连接到监控摄像头，获取实时视频流，然后将RTMP协议视频传输到视频监控系统控制模块，进行安全匹配检查。当发生安全隐患时，立即将报警信息内容发送至前端，提醒监控人员提高安全施工监控管理的实际效果。

（1） 用户注册模块

用户注册模块负责系统的人员注册功能，分别对作业人员和管理者等进行增删查改，并在数据库进行相应的操作，管理员可对所有对象进行管理，作业人员仅可修改自己的信息。用户注册模块的业务流程如图3所示，首先选择注册人员信息方式，本地输入或在线输入，然后判断检测人脸是否为同一个，若检测是同一个人，则将进行人脸矫正操作和人脸特征提取，输入注册人员姓名和年龄等信息，保存其注册信息。

（2） 智能监控检测模块

视频监控系统巡检控制模块是系统软件的关键控制模块，该模块封装了经过训练的安全帽监控检测系统和口罩监控检测系统软件，以上两种检测模型都是基于改进的CenterNet优化算法训练。同时设置不同的接口进行不同的目标检测，根据加载监控摄像头报警信息的主要参数，连接对应接口进行目标检测工作。视频智能监控系统检测流程图如图4所示，当获取视频帧图像后，首先将图像送入行人检测，如果没有检测到行人，则继续输入新的图像帧。如果检测到行人，则将提取行人区域，将其发送至安全帽检测模型，检测行人是否佩戴安全帽;如果没有检测到佩戴安全帽，则直接推送警报信息内容，若检测到行人已佩戴安全帽，则继续输入到后续的口罩检测模型中;若检测到工作人员佩戴口罩，则将施工人员佩戴安全帽和口罩的位置与行人进行位置对比，若检测到佩戴安全帽的位置在行人区域的顶部且佩戴的口罩位于行人的面部，则表示作业人员佩戴安全帽和口罩，符合施工安全管理条例，否则视为不符合安全管理条例，并发送报警信息。

（3） 报警信息管理模块

报警信息管理模块主要对于收集的报警信息进行处理，管理者可以通过屏幕实时观看未处理的违规记录，可以通过调取特定时间段内的违规记录，选择违规图片后对违规人员进行扣分操作，处理后的违规记录将会以绿标进行提示。本系统可以根据违规情况进行数据统计，用可视化的图片帮助管理者管理，以月为单位对违规数据进行统计，整理出人员本月的基本信息、违规情况、月考勤分值等相关信息。

3 系统开发与测试

（1） 系统开发环境

硬件环境：本系统使用PC机的处理器为Intel（R） Core（TM）i7-6500 CPU@2.6GHz，搭载64位Windows10操作系统和16G内存。使用海康威视摄像头采集并获取实时监控视频流。

软件环境：核心检测模型的训练使用Python语言，采用PyTorch深度学习框架，通过LabelImg标注所获取的图片，编辑器Intellij IDEA2017.1，数据库使用MySQL5.5。

（2） 系统功能测试

为检测该系统是否能正常进行监控管理工作，本文对此系统的智能监控预警功能进行了测试，测试主要包括用户设置检测模式后，系统是否会根据设置进行检测并报警等。智能预警功能测试的具体测试样例如图5所示[10]。

（3） 系統性能测试

在本智能视频监控检测系统的整体过程中，系统使用Visual Studio2019性能专业工具进行实时监视。根据监控视频数据信息的重复分析，同时监控系统进程的CPU和内存占用进行匹配统计分析，计算本系统平均CPU占用和内存占用情况，最后评估本系统的监控特性[11]。

在整个系统测试过程中，CPU平均占用率为50%，内存平均占用率为1GB。对于分辨率为1920×1080的30秒视频，截取的总帧数为58，总运行时间为1分20秒。在单帧视频图像中检测头盔和面罩的平均时间约为1.5秒，输出所有检测结果的时间约为80秒。整个视频的安全帽和口罩检测过程都以比较快的速度完成检测。本智能视频监控检测系统性能能达到预期标准，并且能够快速处理实际场景监控视频的输入。

（4） 系统检测准确率测试

本系统在WiderFace[12]数据集上进行准确率测试，得出在佩戴安全帽和口罩检测方面准确率分别约为90%和97%。综合所有监控场景的视频数据，通过对实际场景监控获取的视频数据系统准确率测试，系统对安全帽和口罩的检测准确率分别约为87%和94%，存在少量遮挡以及目标人物获取图像太小，导致未能识别或部分错误识别的数据。

（5） 系统实际检测结果

将训练已完成的检测算法模型部署到海康摄像头上，使用多线程处理，通过对实时视频流进行检测以及跟踪，并采用tensorRT进行前向推理。对实际施工场景下施工人员的实时监控，检测施工人员是否佩戴安全帽和口罩，并统计未符合佩戴安全帽和口罩的施工人员的违规信息，管理者对违规人员实行扣分制度，提高施工人员的安全意识，避免造成严重的安全隐患，实际检测结果如图6所示。

4 结论

本文设计实现了一个电力施工场景下的安全帽和口罩检测系统。通过改进深度学习CenterNet目标检测算法，利用此核心检测算法，设计一种面向智慧工地的视频监控检测系统。初步应用表明，本系统的安全帽模型检测准确率大约为87%，口罩模型检测准确率大约为94%，在结合系统功能的情况下，能有效适应电力施工环境下，安全帽与口罩的检测识别与违规管理。该系统可以辅助施工管理人员快速、准确处理违规事件，提高施工人员安全意识，避免出现严重的重大安全隐患。

但本检测系统仍存在一些问题有待解决，比如智能视频监控视频中施工人员会出现被障碍物遮挡的情况，或者施工人员之间的互相遮挡，这种情况下本检测系统的检测准确率会降低;另外，目前整个系统运行时占用资源较大。因此，在今后的工作中，需要对检测算法的进一步优化，提高智能视频监控系统的检测准确率和效率。

参考文献：

[1] 王沣.改进yolov5的口罩和安全帽佩戴人工智能检测识别算法[J].建筑与预算，2020（11）：67-69.

[2] 邵琪琦，唐阳，李想，等.安全帽与口罩检测管理系统设计[J].科学技术创新，2021（6）：100-102.

[3] 张勇，吴孔平，高凯，等.基于改进型YOLOV3安全帽检测方法的研究[J].计算机仿真，2021，38（5）：413-417.

[4] 赵艳芹，何东来，朱子寒.煤矿井下集成学习的安全帽佩戴检测算法[J].黑龙江科技大学学报，2021，31（2）：240-246.

[5] 梁伟，荆朝，周治国，等.电力施工场景下安全帽穿戴状态检测算法研究[C].第十四届全国信号和智能信息处理与应用学术会议论文集， 2021（05）：508-512.

[6] Duan K W，Bai S，Xie L X，et al.CenterNet：keypoint triplets for object detection[C]//2019 IEEE/CVF International Conference on Computer Vision （ICCV）.October 27 - November 2，2019，Seoul，Korea （South）.IEEE，2019：6568-6577.

[7] Newell A，Yang K Y，Deng J.Stacked hourglass networks for human pose estimation[M]//Computer Vision – ECCV 2016.Cham：Springer International Publishing，2016：483-499.

[8] He K M，Zhang X Y，Ren S Q，et al.Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition.June 27-30，2016，Las Vegas，NV，USA.IEEE，2016：770-778.

[9] Yu F，Wang D Q，Shelhamer E，et al.Deep layer aggregation[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.June 18-23，2018，Salt Lake City，UT，USA.IEEE，2018：2403-2412.

[10] 樊鈺.基于深度学习的安全帽检测系统设计与实现[D].呼和浩特：内蒙古大学，2019.

[11] 王忠玉.智能视频监控下的安全帽佩戴检测系统的设计与实现[D].北京：北京邮电大学，2018.

[12] Yang S，Luo P，Loy C C，et al.WIDER FACE：a face detection benchmark[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition.June 27-30，2016，Las Vegas，NV，USA.IEEE，2016：5525-5533.

【通联编辑：唐一东】

收稿日期：2021-12-15

基金项目：武汉工程大学第十一届研究生教育创新基金项目：基于多视角图像纹理补偿的人脸超分辨率算法研究（CX2019244） ;湖北省重大科技项目：基于边缘智能计算的多源感知信息融合关键技术研究与应用（2019AAA045）

作者简介：杨庭（1975—） ，男，贵州剑河人，本科，研究方向为电网数字化项目管理;徐桂彬（1984—） ，男，湖北武汉人，本科，研究方向为电力安全监管与电力环保;严俊（1983—） ，男，湖北武汉人，硕士，研究方向为地图制图学与地理信息工程;徐遥（1981—） ，男，湖北武汉人，本科，研究方向为点电力自动化;王宇（1996—） ，男，湖北荆州人，硕士，研究方向为图像处理。