视频智能分析系统在电厂输煤区域的应用

李家来 王波 陈鸿鑫 孙海然 郁成

（1.国家能源集团宿迁发电有限公司 江苏省宿迁市 223800 2.国能信控互联技术有限公司 北京市 102209）

（3.北京泰豪智能工程有限公司 北京市 100023）

火力发电厂的输煤系统由于生产区域大、战线长、类型单一、故障扩散速度快等特点，目前基于人工方式排查缺陷难度大、需要投入人力多、信息交换不及时等问题，制约了设备异常、缺陷、故障的早期识别及预警，降低了设备的可靠性，给电厂的安全生产带来了隐患，是燃煤火电厂生产管理的难题。

传统对输煤系统的人员及设备进行安全管理的系统，不足以满足现在对输煤系统安全智能化管理的要求，对人员作业、设备监控检测不准确，使得管理系统出现误报、漏报，造成对人员和设备的伤害。

随着大数据应用技术深化、人工智能技术的发展、物联网技术的普及和移动应用示范效应越来越成熟，利用大数据、物联网、人工智能、目标检测、可视化技术和移动应用技术[1]，搭建输煤系统安全智能化管理系统有着重要的现实意义。

本视频大数据智能分析系统结合物联网、人工智能、目标检测等技术，实现对人员、设备、区域、作业行为实时管控，避免因发现不及时导致设备或人身伤害，有效预防和减少事故发生，促成输煤系统本质安全的实现，从根本上提升生产系统安全性与安保措施的有效性。

1 视频智能分析架构

视频大数据智能系统主要是以火电厂输煤系统作为研究对象，根据输煤系统本质安全管理要求，利用图像识别、数据分析、深度学习、人员定位等技术，实现火电厂输煤系统的智能安全管控：实现输煤系统违章预警，及时发现违章行为和异常状态，减少和降低人员及设备风险，促进输煤系统实现本质安全。

本智能视频分析系统的技术架构如图1所示。

图1：智能视频分析系统的技术架构图

智能视频分析系统的技术架构主要包含应用服务端、Streaming Service端、算法服务管理端、算法服务端四个部分[2]。各个部分功能如下：

（1）应用服务端提供摄像头配置和算法配置的API接口，例如摄像头打开、摄像头关闭、算法打开、算法关闭。

（2）Streaming Service端主要负责两方面：拉取摄像头RTSP流，并将其转换为RTMP流，把RTMP流推送给流媒体服务器；将RTSP流拆分成帧格式图片，图片编码为JPG格式，通过HTTP协议发送给算法服务管理端。

（3）算法服务管理端提供了所有算法服务的综合API接口。主要负责接收Streaming Service端的HTTP请求，并将数据通过HTTP请求到单个算法的算法服务端。如有报警信息，通过Redis缓存当前报警信息和图片，并通过HTTP请求跟踪算法的算法服务端，达到去重报警的目的。

（4）算法服务端主要是单个AI算法提供的API接口。

2 选用数据集及数据集扩充

2.1 选用数据集

输煤系统的电厂中实际检测的目标有：口罩、安全帽、手机、明火、烟头等目标。为说明本视频大数据分析系统的有效性，本文选取口罩作为检测目标。

为训练目标检测器，构建口罩数据集。其中：口罩数据集在输煤系统工厂现场采集并人工标注而成，最终得到的数据集特性如表1所示。该口罩数据集分为训练集和验证集。其中：训练集含有7540张图像，共17422个目标；测试集含有1885张图像，共4158个目标。

表1：口罩数据集特性

2.2 数据集扩充

由于标注目标浪费巨大的人力物力，因此，在训练基于深度卷积神经网络的目标检测框架时，通常需要对训练样本进行数据扩充（Data Augmentation，DA）[3]。针对目标检测数据集，当前扩充训练样本方法主要从两方面进行扩充，主要有：

2.2.1 色域操作（Color Operations，CO）

色域操作主要对训练样本从图像的整体或局部对图像的颜色进行变化，以达到增加训练样本的目的[3]。色域操作的策略主要有：对比度（Contrast）变化、亮度（Brightness）变化、锐度（Sharpness）变化、直方图均衡化（Equalized），像素扰动（Pixels Jittering，PJ）。

著名学者Krizhevsky A率先使用主成分分析PCA（Priciple Component Analysis, PCA）来实现图像的像素扰动[4]，来实现扩增训练样本的目的。

式（1）中，voc(a,b)为向量a、b的协方差。

图2描述的是用色域操作策略来扩充训练样本。其中：图2（a）为原图；图2（b）是使用PCA算法添加像素扰动后的图像。因此，可通过色域操作，增加训练样本，使得检测网络对不同像素扰动下的场景有更高的目标检测性能。

图2：色域操作

2.2.2 几何操作

几何操作是改变图像自身和目标候选框的几何位置来增加训练样本。该操作主要有：平移（Translate）、旋转（Rotate）、错切（Shear）变换等。

3 分析与性能比较

3.1 网络的训练

为准确检测输煤区域场景中的目标，使用当前流行的目标检测算法YOLOv4。训练YOLOv4网络共分为两个阶段：

（1）未解冻训练；

（2）解冻训练。

在未解冻训练时选取DarkNet-53作为预训练模型，并按照表2的超参数进行训练，得训练模型YOLOv4_Original_Model。

表2：未解冻训练超参数设置

然后将第一阶段训练后的模型YOLOv4_Original_Model，作为预先训练模型，进行解冻训练，其超参数设置如表3所示。以上两阶段训练均在NVIDIA GeForce GRX 1080 Ti上进行训练。

表3：解冻训练超参数设置

3.2 性能评价指标

本文采用经典评价指标召回率（Recall）、检测精度（Average Precision，AP）、平均检测精度（mean Average Precision，mAP）衡量算法的性能[5]。

召回率是指预测为正样本（Truth Positive，TP）占全体标注样本的概率值，可用以下公式表示：

检测精度AP值描述的是预测样本中为正样本的概率指标，可用公式描述为：

平均检测精度mAP表示的是测试数据中所有类别检测精度的平均值，即：

式（8）中：APi描述的是类别为i的检测精度值；nT表示的是数据集中含有目标类别数目。

3.3 实验结果分析

本文主要展示视频大数据智能分析系统对目标类：口罩（mask）、未带口罩（nomask）两类目标的检测结果。该视频大数据智能分析系统使用YOLOv4作为目标检测框架，在口罩数据集上使用表2、表3的超参数设置进行训练，其目标检测结果见表4所示。

表4：口罩数据集的实验结果

表4中：检测精度AP、召回率Recall是在置信度得分的阈值为score_threshold=0.5时的结果；数据扩充策略Rotate_Bbox_Pro_01_MagR_10是以发生概率为Pro=0.1、旋转强度MagR=10旋转图像和标注框；Rotate_Bbox_Pro_02_MagR_10是以发生概率为Pro=0.2、旋转强度MagR=10旋转图像和标注框；ShearX_BBox_Pro_01_MagS_8是以发生概率为Pro=0.1、错切强度MagS=8，在水平方向上错切图像和标注框；TranslateX_BBox_Pro_1_MagT_4是以发生概率为Pro=1.0、平移强度MagT=4，在水平方向上平移图像和标注框。

在实际变换中平移量xcnt（式3）、旋转角度（式4）、和错切量xshear（式5）与平移强度MagT、旋转强度MagR、错切强度MagS的关系如下：

式（9）、（10）、（11）中：MAX_level为平移、旋转、错切变换的最大强度值，本文取为10。

在召回率Recall方面：与原始数据相比，以Rotate_Bbox_Pro_02_MagR_10策略扩充样本时，目标检测器能够有效提高口罩、未带口罩的召回率，分别提高约7%、6%，这表明：以Rotate_Bbox_Pro_02_MagR_10策略扩充样本时，能够显著降低目标的漏检率，提高目标检测器的性能。

在平均检测精度mAP方面：与原始数据相比，以TranslateX_BBox_Pro_1_MagT_4策略扩充样本时，目标检测器的平均检测精度mAP值较原始数据提高约0.4%，因此，能够提高目标检测器对口罩、未带口罩的检测准确率。

3.4 视频智能分析系统的目标检测结果

图3为视频智能分析系统的目标检测结果示意图。图3中：红色实线描述的是人员未带口罩；蓝色实线描述的是人员带口罩。

图3：目标检测结果

从图3中可以得知：本视频智能分析系统能够准确检测实际场景中是否佩戴口罩。因此，在工业场景中，使用本视频智能分析系统能够有效保证工作人员是否佩戴口罩，可有效保证工作人员的生命财产安全。

4 结论

本视频智能分析系统通过在现实场景中实时拍摄图像获取训练样本、使用数据扩充策略增加训练样本、训练目标检测模型、利用目标检测模型实时检测目标，智能报警信息反馈给现场人员及后台管理人员，辅助用户完成事件处理。本视频智能分析系统在很大程度上减少现场输煤系统事故的发生，可有效保证智慧电厂输煤区域的本质安全，保证了现场工作人员和设备的安全。