基于卷积神经网络的视频大数据智能预警分析

(国网自贡供电公司,四川 自贡 646100)

0 引 言

电力视频监控是坚强智能电网的重要基础和支撑，广泛应用于变电站、营业厅、供电所等电力生产经营场所，是国家电网公司坚强智能电网的重要组成部分[1]。现国网四川省电力公司电力视频监控系统涵盖站点2245个，每天产生PB级的视频监控数据量，形成丰富的视频大数据资源。

目前，视频记录的使用主要用在事故或违章发生后，人工查找存储的视频记录。这样不但花费人力，查找结果往往也不准确。所以，投入大量资金建设的视频监控系统目前仅起到视频记录的作用，并没有真正实现“实时监控”(即实时理解视频中的行为)。视频监控系统在主动预警方面的能力仍然没有体现，对电网的安全生产仍然没起到促进作用，变电站仍然不够“智能”。

结合监控视频缺乏智能分析、实时管控的现状，利用卷积神经网络技术提取出目标特征，并通过输入大量的训练数据进行自主学习，最终实现对变电站违章作业和营业厅不规范服务行为的视频大数据自动挖掘、实时预警以及智能推送。

1 数据来源及存储

1.1 数据来源

自贡供电公司的视频监控系统主要由营业厅视频监控系统和变电站视频监控系统组成，其中：营业厅视频监控系统由自井营业厅(沙湾)、贡井局营业厅等35个供电所视频监控系统组成；变电站视频监控系统由圆湾变电站、舒平变电站等43个变电站视频监控系统组成。截止到目前，自贡供电公司已经累积历史视频数据超过100 TB，并且每天有4 TB左右的新数据产生，形成丰富的视频大数据资源。

1.2 数据存储

在视频监控系统中，需要保持海量的视频图像记录，现有的视频存储模式分为如下3种[2]：

1)DVR/NVR前端本地存储：此种模式由于DVR/NVR存储容量相对较小，且DVR/NVR性能较低，信息孤岛现象严重，无法满足大数据需求。

2)集中存储模式：相对于DVR/NVR模式，容量大大提升，并实现了数据的集中存储；但随着大数据的来临，后续项目扩容时，需要人为配置设备的负载均衡。

3)通用云存储：为了设备的负载均衡以及空间的虚拟化设备易维护，云存储技术应运而生。通过软件运用集群技术、虚拟化技术、分布式存储技术，将网络中大量各种不同类型的存储设备集合起来协同工作，共同对外提供数据存储和业务访问功能。因其内部数据处理以结构化数据为主，云存储方式具有面向应用的特点，利于数据的分析和利用。

考虑运行实况和未来需求，充分利用视频分布式存储系统灵活性、扩展性、经济性、可靠性等优势，简化数据共享流程和降低数据统一分析的门槛，采用了针对监控行业应用推出的专业级云存储系统，其物理拓扑如图1所示。

根据视频监控系统监控记录，按照智能推送规则筛选出有效的视频记录，形成索引，写入至MySQL数据库中备用[3]。利用数据库可以从视频云存储平台获取特定时间的视频段。视频云存储平台提供专门数据接口以供数据的查询、回放和下载，如图2所示。至此，所需的原始数据文件已经就位(云存储+索引数据库)以备后续数据清洗过程使用。

图1 视频专用云存储物理拓扑

图2 视频数据接口

2 数据清洗

数据清洗一是为了解决数据质量问题，二是让数据更适合挖掘。

2.1 视频筛选

监控场所内热点的监控素材才是有价值的素材，因此首先要筛选出有效的视频段。视频筛选使用Python程序语言开发的脚本工具Detect.py，该工具基于opencv2.3开源代码库。

以变电站作业人员违章智能预警为例，可用getDefaultPeopleDetector函数实现人员行为抓取。从视频云存储系统抓取有人工作的视频片段，结合数据存储阶段整理的有人工作记录索引数据，便可直接从视频云存储系统获取有人工作视频段，流程如图3所示。

图3 获取有人工作视频段

2.2 视频转图片

视频转换成图片的目的是为了进行机器学习。机器学习过程中，人员行为判断分类器的模型训练需要输入图片素材[4]。

使用自行开发的轻量级工具video2pic(Python语言脚本)，以流转换模式从有人工作视频段文件路径读取视频数据，获得等间隔时间采样的图片(帧)，然后根据检测周期对图片进行间隔性的抽取(每秒从视频帧序列中抽取2张图片)，获得图片数据集，如图4、图5所示。

图4 video2pic工具将视频转为图片

图5 转换后的图片信息

2.3 图片标记

首先，定义项目系统将要识别的行为。这里分别以未佩戴安全帽人员头部和佩戴安全帽人员头部为例定义了两类标记。

其次，使用可视化工具setTagUI(如图6所示)对图片进行筛选，与识别内容相关的图片则进行区域圈选和行为标签标记，无关的图片则舍弃，最终得到标记好类别标签的图片数据集。筛选和标记流程如图7所示。

图6 sctTangUI

图7 筛选和标记流程

3 分析过程

3.1 卷积神经网络算法选择

机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，它主要使用归纳、综合而不是演绎[5]。根据机器学习的学习形式可分为监督学习和非监督学习。以变电站人员行为违章为例，从变电站监控系统识别已知的某种违章行为，实质上是一种分类任务，即输入未知数据输出分类结果。分类任务要求系统依据已知的分类知识对输入的未知模式(该模式的描述)作分析，以确定输入模式的类属是否违章或者是哪类违章。相应的学习目标就是学习用于分类的准则(如分类规则)。

3.2 卷积神经网络模型实现

卷积神经网络(convolutional neural networks, CNN)是一种多层的神经网络，主要由卷积层、池化层和全连接层等组成，其中每层又是由很多神经元组成[6]。卷积神经网络中层次之间的紧密联系和空间信息使得其特别适用于图像的处理和理解，并且能够自动地从图像中抽取出丰富的相关特性[7]。所采用的卷积神经网络算法是深度学习算法在图像处理领域的一个应用。

3.2.1 卷积神经网络模型结构

根据检测对象，可以设计出各种CNN架构。参照目前主流的CNN网络模型，搭建的网络模型如图8所示。

图8 CNN网络模型

该模型由2个卷积层、2个池化层、2个全连接层、1个RELU层(激励层)及1个Softmax层(网络层)组成。根据检测对象识别效果和算法效率确定2个卷积层中的卷积核数是20和50，卷积的步数是1，卷积核大小为24×24和8×8；池化层使用12×12最大池，步幅为2；全连接层使用500个神经元。

3.2.2 模型训练

卷积神经网络的训练是先搭建整个网络架构，之后从初始化的网络参数开始通过迭代的循环交替运算，逐步调整整个网络的参数，使得最后整个网络结果误差小于阈值。

训练采用的系统环境为：Ubuntu操作系统、python语言(anaconda)和Tensorflow深度学习框架。训练过程为：把定义并搭建好的CNN网络视为“黑盒子”，图像的特征由CNN网络自动提取并训练权重，将定义好类别的图像数据集(即佩戴安全帽的头像、未佩戴安全帽的头像)输入到“黑盒子”进行迭代循环训练，最终得到案例所需要的网络模型文件和权重文件，保存在checkpoint文件中(“.ckpt”)。模型训练过程如图9所示。

图9 模型训练过程

3.2.3 模型固化

为了使训练好的网络模型能在具体的工程应用环境中使用，需要保证整个模型是可移植的，需要把训练好的目标模型(“.ckpt”文件)转换为固化模型(“.pb”文件)。固化模型不关心训练过程中的CNN网络模型的具体结构。

本次CNN网络模型固化使用freeze_graph.py工具。它首先加载模型文件，然后从checkpoint文件读取权重数据并初始化到模型里的权重变量，再将权重变量转换成权重常量，最后输出固化模型文件。

4 现场应用及结果分析

4.1 现场应用

以变电站作业人员“是否佩戴安全帽”智能预警分析为例，在视频监控平台部署训练好的分类器模型，可以实时识别监控画面是否存在特定不安全行为，与分类器训练和测试过程相似，把文件处理流程整合到视频平台便可实现实时判断。现场应用流程如图10所示。硬件环境如表1所示。

图10 现场应用流程

地点摄像头信息安装信息主控室海康威视枪机1080P高度3 m、角度水平向下30、焦距6 m

软件环境为Ubuntu操作系统、python语言(anaconda)、tensorflow深度学习框架、opencv-python视觉库(用于获取摄像头实时影像)等。

测试方式为模拟测试和现场测试，如图11所示。

4.2 结果分析

在室内、作业现场等不同现场测试环境中，违章识别分类器实现了对测试人员安全帽佩戴情况的实时识别和标识，达到了预期的违章预警效果。但受限于训练数据集规模较小(约1 k数量级的图片张数)，在背景复杂、光线较暗等非理想条件下的识别准确性还有待提升。从案例“是否佩戴安全帽”这一种违章场景的验证情况看，识别准确率超过90%，但随着现场违章类别需求的细化，训练样本的种类和数据集规模将陡然增加，加之对图像进行训练时，卷积神经网络初始状态的参数选择以及寻优算法的选取均会对网络训练造成很大影响，选择不好可能会导致网络陷入局部极小、欠拟合、过拟合等问题，甚至导致训练失败。随着该领域理论方法的不断改进和开放，以及计算平台成本的不断降低，基于卷积神经网络的视频大数据智能预警分析将会有广阔的应用前景，并在预防违章领域得到广泛应用。

图11 模拟测试和现场测试

5 结 语

从成功的场景应用示例，证明通过对视频监控数据的清洗、分析和基于卷积神经网络的特征提取、模型训练、检测等，实现视频监控系统的预警功能是技术可行、效果显著、前景广阔的。安全是企业发展的根本，对于电网而言，严控各类违章行为，杜绝事故发生是各级工作人员的首要职责。利用计算机技术保障人身、电网、设备的安全，提升优质服务水平是未来的发展方向，也是智能电网建设的重要组成部分。上述场景应用大数据对安全帽进行了成功检测，建议从技术和应用两方面进行更深入的研究：

1)通过增加训练样本、优化训练模型，提升违章预警的准确度；

2)通过扩展卷积神经网络学习规则，以实现智能预警功能场景扩充；

3)研究成果可应用到更丰富的电力安全生产、经营服务等场景，有效提升电力生产安全管控能力和优质服务水平。