基于视频的目标检测算法在安全生产中的应用研究

段瑞霞 张海东

（中海油信息科技有限公司天津分公司，天津 300452)

1 概述

1.1 背景

安全生产是企业发展的基础和保障，须牢固树立安全红线意识，通过人防、技防、物防等多种手段，遏制安全风险事故，控制安全隐患，保证人员安全。企业有大量安全生产管理需求，大部分企业安全生产管理依靠人员现场巡检或者抽查摄像机视频，很多违规情况未被及时发现，由此造成一定的事故发生。

海量视频数据都在“沉睡”，被查阅视频不足10%，管理部门缺乏可延展的视频分析系统，缺乏视频数据的挖掘利用，无法一目了然的通过视频发现各种人或物的不安全行为，无法实现视频资源价值利用的最大化，难以有力支撑管理现代化水平的进一步提高。

1.2 研究目的

随着人工智能技术的发展，智能视频分析在业务研发中的占比逐渐升高。卷积神经网络作为深度学习的常用方法，凭借其独特性已经广泛应用在目标检测领域。

为了满足企业的安全生产管理需求，积极引入人工智能视觉技术，基于现有的传统视频监控系统，识别人员是否佩戴安全帽为例，通过YOLOv5 目标检测算法进行安全帽的佩戴检测，实现生产工人违章的智能识别能力，并将识别结果及时推送给管理人员，管理人员可及时制止各种不安全行为，实现将事故事后整改的“亡羊补牢”模式转变为“事前预警、机器监控”的新模式。

1.3 研究目标

本文研究首先从收集素材开始，利用标注软件进行安全帽数据集标注；然后采用YOLOv5 检测算法，利用深度学习框架对训练集进行训练，取得初步模型开发，对初步模型进行推理加速，完成模型优化；最后将完成开发的模型分配给摄像机，实现摄像机能智能识别安全帽并将识别结果展示给管理人员，方便管理人员及时处理。

2 系统架构

2.1 逻辑架构

本系统逻辑架构设计为五层结构，从底部到顶部依次为数据接入层、核心算法层、业务模型层、接口服务层、业务应用层。数据接入层负责各种场景的视频采集，支持接入数据包括摄像机、硬盘录像机和下载视频。核心算法层负责集成算法工程设计、开发通用的算法模型，对模型进行参数化、模块化和接口化。业务模型层负责利用各种接口化的服务调用通用算法模块构建不同的应用组合，完成模型设计。接口服务层负责进行参数配置、参数传入业务模型层，经过业务模型的计算返回想要的结果；同时与其他系统通过SDK 或者API 进行二次开发对接，形成告警结果通过短信、对讲、声光报警器等方式告知管理人员。业务应用层负责用户使用安全生产场景。

2.2 网络架构

为保证系统安全性，系统部署在企业内网，包括智能分析服务器和应用服务器。智能分析服务器主要用于视频流解析、智能图片识别并形成告警，应用服务器主要用于管理人员登录系统进行增、删、改、查等。

3 目标检测算法实现

3.1 关键技术

3.1.1 目标检测算法技术

随着CNN 的兴起，产生了很多深度学习检测算法。以深度学习为基础的检测算法，包括双阶段检测和单阶段检测。单阶段检测主要包括YOLO 和SSD 算法。目标检测算法包括输入端、BackBone 网络和Head 输出端3个通用模块[1]。

输入端：表示输入的图片。该模块是图像预处理阶段，即将输入图像缩放到640*640，并进行归一化等操作。Backbone 网络：表示性能优异的分类器网络，该模块可以提取通用的特征。Head 输出端网络：经过上采样和三 个 卷 积 网 络 ， 产 生 三 个76*76*255，38*38*255,19*19*255 的卷积结果，用于检测目标识别输出。

3.1.2 YOLOv5 算法技术

YOLOv5 是单阶段检测算法的一种，在YOLOv4 基础上添加新的改进思路，速度与精度得到了极大提升。YOLOv5 算 法 包 括 YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x4 个版本[2]。

不同版本的YOLOv5 检测算法在COCO2017 验证集与测试集有模型输入大小、AP 指标、AP50 指标、Speed指标、FPS 指标、params 指标以及GFLOPS 指标, 对比图如图1 所示。

图1 不同版本的YOLOv5 检测算法对比

通过上图的各项指标对比，可得出以下结论：

(1)YOLOv5s 的输入图片分辨率为640*640，在COCO测试集与验证集中AP 指标为36.8，AP50 指标为55.6。该算法在GPU 芯片为V100 的推理速度仅为2.2ms、帧率为455FPS，模型大小仅为7.3M。

(2)YOLOv5x 的输入图像分辨率为640*640，在COCO测试集与验证集中AP 指标为50.1，AP50 指标为68.7。该算法在GPU 芯片为V100 的推理速度需要6.0ms，帧率为167FPS，模型大小为87.7M。

(3)在实际使用中，需要根据现实场景用户不同关注点需要选择合适的模型。在相同输入图片分辨率条件下，如果用户关注推理速度，首选YOLOv5s 算法；如果用户关注精度，首选YOLOv5x 算法。

本项目比较关注推理速度，所以采用YOLOv5s。

3.1.3 素材标注技术

LabelImg 是一个可视化的图形图像标注注释工具，python 编写，用QT 作为图形界面[3]。YOLO、SSD 等目标检测网络所需要的的数据集，都需要使用此工具进行图像中目标标注。本文采用YOLOv5 算法，亦使用此工具进行图片素材标注。

3.1.4 推理加速技术

TensorRT 是一个为深度学习提供低延迟、高吞吐率的高性能的推理优化器。TensorRT 支持TensorFlow、Caffe、Mxnet、Pytorch 等几乎所有的深度学习框架，支持提供C++ API 和Python API，对NVIDIA GPU 有快速、高效、高性能推理加速能力。

3.2 标注数据

3.2.1 标注数据集

通过摄像机，收集大量安全帽的素材。使用LabelImg进行安全帽标注，将佩戴安全帽设为hat,标签为0，将未佩戴安全帽设定为nohat, 标签为1，标注完成后保存为XML 文件。

3.2.2 划分数据集

将收集的全部数据集进行分类，分别为训练集，验证集和测试集。

3.3 模型训练

3.3.1 模型框架

2017 年1 月，Facebook 人工智能研究院基于Torch推出了PyTorch[4]。PyTorch 是以Python 优先的拥有自动求导功能的强大的深度学习框架，底层和Torch 框架相同，但是新增很多内容，如灵活性更好、支持动态图、提供Python 接口等。PyTorch 相比Tensorflow 等主流深度学习框架有其独特的优势，如支持强大的GPU 加速，支持动态神经网络。

3.3.2 模型实现

本文采用PyTorch 深度学习框架，使用已标注的安全帽素材，利用YOLOv5 检测算法进行模型训练，形成安全帽模型文件。模型训练架构如图2 所示。

图2 模型训练框架图

同时，在进行安全帽识别实际应用中，不断收集误报和漏报素材，定期对误报素材和漏报素材进行标注并重新训练优化模型，以便提升模型准确性，提升用户体验。

3.4 安全帽识别应用

首先读取摄像机中视频，使用Opencv 将视频进行抽帧处理得到图像，然后对利用TensorRT 进行推理加速，即加载安全帽模型文件进行检测，不断读取视频，以完成对视频的检测，实现在指定区域出现人员没有佩戴安全帽，系统能够自动识别该情况并抓拍预警。安全帽识别框架如图3 所示。

图3 安全帽识别框架图

3.4.1 非极大值抑制

非极大值抑制就是搜索局部极大值，以便抑制不是极大值的元素。在目标对象检测中，滑动窗口通过特征提取、分类器分类识别之后，每个窗口均可以得到一个分类和分数。滑动窗口有时出现很多窗口与其他窗口有包含关系或者大部分交叉的情况，这时就需要用非极大值抑制来选取邻域里分数最高的窗口，抑制邻域里分数低的窗口。未运行非极大值抑制的目标检测算法效果图如图4 所示。从图4 中可以看出，检测目标为人，该女生有三个重叠框。

图4 未运行非极大值抑制的目标检测算法效果图

如果想去掉重叠框，只保留一个矩形框，就需要进行非极大值抑制的目标检测。开展非极大值抑制的目标检测，首先对概率进行排序，选择概率为0.98 的矩形框，然后计算概率0.98 的矩形框与概率0.83 矩形框、概率0.75矩形框的重叠度是否大于某个设定的阈值。如果大于设定的阈值，将概率0.83 矩形框和概率0.75 的矩形框移除，只保留0.98 的矩形框。运行非极大值抑制后的目标检测算法效果图如图5 所示。

图5 运行非极大值抑制后的目标检测算法效果图

3.4.2 安全帽识别效果

利用TensorRT 检测出佩戴安全帽的人检测结果为0，如图6 所示，利用TensorRT 检测出的未佩戴安全帽的人检测结果为1，如图7 所示。

图6 佩戴安全帽检测

图7 未佩戴安全帽检测

4 数据备份

不少网站瘫痪，数据无法恢复，说明系统数据备份很重要。本系统数据备份机制为非结构化的文件备份和结构化的数据库备份。通过设置定时运行脚本任务，实现数据库增量备份和全备份，以备系统宕机，恢复数据。

结束语

智能识别是否佩戴安全帽已上线使用，达到了实时检测效果，实践证明该应用满足用户安全生产管理需求，得到用户认可。在安全生产中，可以考虑使用YOLOv5 算法进行走路看手机、限制区域违规停车、人员逗留等应用研究，进一步提升安全管理效率。