基于视频识别的直接作业环节安全管控

陈明杰

(中石化盈科信息技术有限责任公司，北京 100780)

如何消减作业人员的违章操作行为，保障直接作业现场安全，一直是石化企业安全管理的重要目标。通过在企业作业现场部署移动视频监控设备，利用4G/5G/WiFi等移动通讯网络，回传作业视频至远程监控平台展示现场作业情况，并基于作业违章图像分析模型，开展用火作业、受限空间作业、高处作业等场景识别与违章报警，对人员作业进行辅助管控，减少安全隐患[1-3]。

1 直接作业环节安全管控系统功能设计

直接作业环节安全管控系统，由移动视频终端、视频分析服务器、监控管理系统3部分组成。移动视频终端主要负责前端数据采集；视频分析服务器主要负责将前端采集的数据自动上传储存、分析，并对违章行为进行分析判断、报警提醒；管理系统主要负责对整个系统各个设备和所有数据资料的集中管理。直接作业环节安全管控系统具有视频监控与回放、作业过程监控展示、违章报警、综合管理等4个功能，见图1。

图1 系统主要功能菜单

1.1 视频监控与回放

a) 视频实时预览：第一时间了解直接作业现场情况，通过系统实时查看移动视频终端的现场画面，以便管理人员在短时间内对突发性事件做出快速反应并提出应对措施。发起视频时支持当前实时视频保存至存储服务器，确保数据的安全。

b) 历史视频回放：根据需要随时播放或下载历史媒体数据。

1.2 作业过程监控展示

a) 作业申报与审批：基层作业人员按照施工作业管控的流程进行许可证申请、JSA分析、气体分析、措施落实、票证签发、安全交底、作业监护、作业验收。其中，在票证签发时需要选择监控终端，作业监护人员可通过终端进行环境气体监测、作业视频监护。系统根据用户的基本信息筛选出需要审批的作业，并自动判定作业审批级别。安全管理人员对本单位提交的作业申请有预审和修改的权限，并对提交的作业申请进行审批。

b) 电子地图展示：在电子地图上以不同的图标和颜色标识对应作业过程的不同类型、状态以及风险等级，用户通过电子地图对作业情况有直观清晰的了解。若多个直接作业处于同一时间范围内时，根据作业优先级顺序将监控视频在大屏上循环显示，进而实现现场直接作业过程的智能化监控。

1.3 违章报警

针对动火、高处、吊装、受限空间等不同作业场景进行违章行为视频智能分析，典型场景如下。

a) 监护人员在岗检测：采用标准摄像头实时采集视频信息，并对视频数据进行分析，确定场景内的人员信息和作业情况；同时，对作业过程监护人员在岗状态持续跟踪，超过规定的时间监护人员如果不在现场，则进行报警。

b) 作业现场标识牌识别：利用OCR文字识别技术，对施工场景下的安全指示牌进行识别，判断场景的布置是否符合安全操作的规范，保证施工场所安全标识始终合规。

c) 明火识别：利用计算视觉技术，同时结合传感器信号，实现对火情的24小时监控，做到早发现早处置。

d) 受限空间作业识别：针对特定受限作业场景，通过对人员的着装识别判断人员身份，并对进出受限空间的人员进行判别和跟踪，统计空间留存人数。

e) 起重作业违章识别：对作业过程中监护人员离场、作业人员站位进行实时监控，确保施工现场的人员安全。

f) 高处作业人员安全着装识别：对施工人员着装进行识别，判断安全帽及安全带是否佩戴。

1.4 综合管理

a) 移动视频监控设备管理：实现将作业票的票号与移动视频设备编号、操作人员进行绑定，从而达到票号与视频文件一一对应。

b) 作业许可归档：实现作业许可拍照及现场视频等归档管理，方便后续查看。

c) 统计分析：设定各种维度进行统计分析，生成各种统计报表，并按检索条件或关键词进行快速查询。

2 典型违章行为图像识别算法实现

2.1 监护人员脱岗识别

为保障现场施工作业安全受控，需要监护人员在现场进行监护。监护人员与作业人员在穿戴上有区别，监护人员穿着反光背心，作业人员穿工作服，因此通过人员的穿着属性识别可以区分作业人员和监护人员，并依据该特征开展相应的着装识别模型训练。

监护人员脱岗算法判定规则为：接入摄像头的视频流进行解码后，对视频流中的人体目标进行实时检测、跟踪和人员穿着属性识别以判断人员身份(监护人、作业人员和其他类人员)，识别到监控场景中有作业人员在小范围内停留超过一段时间(如5 min)后判断作业人员在作业。识别到作业人员开始作业之后监测监护人员是否在岗，每隔30帧做一次人员检测和穿着属性识别，判断画面中是否有监护人员，若连续N次未检测到监护人员，则监护人员脱岗报警。通过设置连续检测的次数N可以设置允许监护人员脱岗的时间。

人员目标检测器采用YOLOv3[4]，多目标跟踪算法采用Deep SORT(Simple Online and Realtime Tracking with a Deep Association Metric)[5]，SORT(Simple Online and Realtime Tracking)[6]跟踪方法将目标检测算法得到的检测框与预测的跟踪框的的IOU(Intersection over Union)输入到匈牙利算法中进行线性分配后关联帧间ID。Deep SORT在SORT基础上进行改进，引入在行人重识别数据集上离线训练的深度学习模型，在实时目标追踪过程中，提取目标的表观特征进行最近邻匹配，可以改善有遮挡情况下的目标追踪效果和目标ID跳变的问题。

具体人员多目标检测跟踪步骤如下：

a) 状态估计：用一个8维空间表示轨迹在某时刻的状态，包括目标框的中心坐标、长宽比、高度以及4个变量对应在图像坐标系中的速度信息，使用卡尔曼滤波器进行目标运动状态的预测。

b) 轨迹处理：通过一定的规则实现每个目标检测器的创建与移除。

c) 在分配问题上，同时考虑目标运动信息和外观信息的关联，使用融合度量的方式计算检测目标框和跟踪轨迹之间的匹配程度。

d) 级联匹配：由小到大对消失时间相同的轨迹进行匹配，保证了对最近出现的目标赋予最大的优先权，优先考虑更常见的目标。

Deep SORT使用深度卷积神经网络提取目标的外观特征信息，网络中运用了很多残差网络结构，最终提取出128维的特征向量，表观特征采用余弦距离度量方式。

人员穿着属性识别采用ResNet50(Residual Neural Network-50 layer)[7]，人员穿着属性分为以下几类：反光背心(监护人员)、工作服1(作业人员)、工作服2(作业人员)、工作服N(作业人员)、其他类衣服、其他(人员上半身不完整或误检的情况)。

2.2 用火作业不合规识别

用火作业检测属于多目标的检测任务，在动火作业下，需要检测火焰、防护面具、灭火器、人员4类目标，以判断作业是否合规。

算法流程：对企业接入的摄像头视频流进行解码，每隔30帧抽取一帧图像进行明火检测和人员检测，并判断人员和明火区域是否满足距离关系，连续3次检测到明火和人员并满足距离关系则判断在进行用火作业。用火作业的判断目的是减少疑似明火颜色和形状的误报引起的算法干扰。人员和明火区域的距离|A-B|关系判断如式(1)，A(x1,y1)代表明火目标框中心点坐标，B(x2,y2)代表人员目标框中心点，W代表人员目标框的宽度。

(1)

识别到人员进行动火作业之后的一段时间内(时间可设置),监测用火作业是否合规，具体如下：每隔2 s检测视频帧图像中是否有防护面具和灭火器，若灭火器和防护面具均检测到，则判断为合规用火作业，若连续3次未检测到灭火器或连续3次未检测到防护面具，均判断为不合规用火作业。

用火作业不合规识别算法中使用了3个目标检测模型，即人员检测模型、明火检测模型、灭火器和防护面具检测模型。灭火器和防护面具使用同一个检测模型，减少计算资源消耗。目标检测框架采用YOLOv3，检测能力强大且预测效率高。

YOLOv3属于单步目标检测方法，首先通过骨干网络(Darknet-53)提取特征，再通过检测网络进行分类与定位。Darknet-53网络结构借用了ResNet的思想，在网络中加入了残差模块，有利于解决深层次网络的梯度问题，每个残差模块由2个卷积层和1个快捷链路构成。为加强算法对小目标检测的精确度，YOLOv3中采用类似FPN(Feature Pyramid Networks)[8]的上采样和融合做法，分别在13×13(32倍下采样)、26×26(16倍下采样)、52×52(8倍下采样)3层特征图上进行预测目标框，3条预测支路采用全卷积的结构。

3 应用效果

该系统在宁波某石化公司进行了试用，集成了近2 100个视频点对直接作业现场进行实时监控管理，通过对监控视频的检查及回放，排查出各类隐患、违章行为近200项，填补了安全管理的漏洞。通过对系统中现场直接作业数据的统计和分析，不断优化该公司日常安全管控制度，对重点环节重点问题制定针对性的管理措施。

同时，基于深度学习算法及Caffe深度学习框架，图像识别支持任务配置、实时报警推送等功能，不同视频点位支持算法灵活配置。通过对各类违章行为进行实时分析处理，人员劳保穿戴、动火作业等综合识别准确率达到80%以上，并将结果通过网页可视化输出，有效提升了现场智能化风险管控水平。

4 结语

通过现场直接作业的线上管理，对不同风险级别、不同作业区域进行划分，严格审核流程，能有效降低高危作业风险，进一步保障安全生产。在生产活动中，系统充分体现出了在日常管理、实时监控、智能报警、统计分析等方面的便利性和优越性，从多个层面、不同角度给用户展示现场直接作业情况，极大提升了企业对现场直接作业环节的安全管控能力。