基于图像处理的变电站视频智能分析研究

2018-04-08朱红岷戴道清李静正

计算机工程与应用 2018年7期

关键词：压板指示灯矩形

朱红岷，戴道清，李静正

ZHU Hongmin1，2,DAI Daoqing1,LI Jingzheng2

1.中山大学数学学院，广州 510220

2.珠海优特电力科技股份有限公司博士后工作站，广东珠海　519000

1.School of Mathematics,Sun Yat-sen University,Guangzhou 510220,China

2.Postdoctoral Centre,Zhuhai Unitech Power Technology Co.,Ltd.,Zhuhai,Guangdong 519000,China

1　引言

为确保电网长期、高效、安全运行，确保无人值守或少人值守变电站现场设备的运行安全，变电站视频监控系统已经在减少人工巡视现场设备及区域的工作中扮演了重要角色[1-2]。为使监控功能更加智能化，需要利用图像处理技术在视频监控中自动识别异常事件及设备状态，以机器的方式代替人力监控工作，即变电站视频智能分析技术。让用户不仅可以远程巡视各类设备的运行情况，还能实时获得来自事故现场的报警信息，对可能或已经发生的异常现象及时处理并保存现场的图像资料，为分析事故原因提供第一手的资料。目前的变电站设备状态主要通过传感器的报警分析，遥视监控系统通过视频联动进行人工确认。此类监控方式的缺陷在于当传感器出现故障或误报时无法获得设备的准确状态信息，且由于早期部署以及部分仪表设备不具备智能传感器的原因更需要人工进行现场或通过视频画面巡视设备状态。另一方面，目前的遥视系统主要作为辅助工具[3]，提供对现场的实时画面监控预览，缺少对视频内容的自动分析功能。这就需要开发智能视频分析产品，通过自动视频分析技术，通过对摄像机的图像序列进行自动分析来对站内设备运行状态进行识别分析，减轻运行人员工作强度，提高变电站智能化管理水平。

虽然安防市场上有众多视频智能分析产品，但都侧重于安防、公共交通及社会公共安全，针对电力行业的产品屈指可数，功能单一而没有系统性产品，应用比较局限，没有充分利用相关技术为日常管理工作带来便利。比如，文献[4]利用金字塔光流法计算图像中的光流值和速度，实现输电导线舞动的自动检测。文献[5]实现了一种变电站防误操作功能，采用Hough变换、字符分割和神经网络等技术对工作间隔的标志牌进行分析识别，以避免工作人员走错间隔。文献[6]提出了一种基于图像平滑、离散小波变换和多级树集合分裂编码算法的电能质量数据压缩方法，提高了数据的信噪比。文献[7]则利用安装在杆塔上的摄像机采集的图像，通过前后图像对比、增强、分割、轮廓提取等方法计算线路和绝缘子的覆冰厚度以提供相应的预警机制。

2　变电站辅助监控系统视频智能分析概述

视频智能分析（Intelligent Video Analysis，IVA）以变电站已部署的变电站辅助监控系统为基础，对所获取的视频流数据进行分析处理，得到相关功能的结果输出值以供上层应用的展示和后续业务处理。如图1的监控系统结构组成所示，监控系统的数据源来自于各场景中部署的各类高清摄像机，包括可进行云台控制的球机和固定视角焦距的枪机。无网络功能的摄像机通过DVR（Digit Video Recorder，数字视频录像机）进行管理。而网络视频服务器通过作为中转媒介对系统内的所有DVR和网络摄像机进行集中管理，接受其他应用/服务的视频流数据请求并转发相应的视频流。如C/S监控客户端可主动调取或由遥信信号触发多个通道的视频流进行多画面浏览监控，使值班员掌握并跟踪相应区域或设备的当前状态。

IVA同样从网络视频服务器获取实时视频流数据，其包括两个功能模块：（1）智能分析配置客户端，可选择多个视频通道进行画面显示预览。经云台控制到合适视角后设置为预置位，对该预置位设置相关智能分析的参数，如智能分析类型、画面中待分析区域（Region of Interest，ROI）、画面采样率、分析结果报警信息延时以及其他和特定功能相关的算法参数等。待设置完成后将预置位路径标示与参数列表传送至IVA服务器，从而开始对该预置位的特定智能分析功能。（2）IVA服务器，接收相关配置参数并从网络视频服务器获取实时视频流，对各以配置的通道预置位进行相应的智能分析，并以接口形式向客户端提供分析结果的报警消息。如C/S客户端在多画面浏览监控的同时，可向IVA服务器请求相应的报警消息，并根据具体业务逻辑进行对应的可视化和处理。

对于可进行云台控制的摄像机（通道），可对多个视角（预置位）配置不同的智能分析功能，但任一视角某通道只进行其中一个预置位的分析。如图2显示了通道、预置位、分析功能算法以及分析结果类型之间的对应关系。变电站IVA系统主要处理两大类内容：（1）安防监控类，主要和移动目标检测有关，包括指定区域内的人员入侵/徘徊/拌线检测、危险物品遗留检测、防盗检测、值班人员脱岗检测等。（2）仪表/设备状态识别类，主要分析变电站内各类仪表和设备的实时状态，包括信号指示灯状态、翻牌器/刀闸分合开关状态、数码显示值、压板状态等。以下各章节选取几种关键IVA功能进行详细的算法实现描述。

图2　IVA中预置位和分析功能的对应关系

3　七段数码管型读数识别

七段数码管将每个数字显示为七段二极管的亮灭组合，可用于变电站内各物理量的实时显示，比如时间、电压、电流等。现场用于指示数值的多数为智能数码仪表，后台可通过通信协议等方式直接获取其读数。但仍存在某些类型及老旧式数码仪表无法进行智能化数据传输，因此需要通过视频图像的方式自动进行数值识别和记录；智能化仪表在日常运行中存在通信中断、传输失败、线路损坏等偶发情况，通过图像方式获取的数值可保证监控、记录等的完整性；同时，图像方式获取的数值也可以对后台传输的数值进行二次确认。在相关文献中对此类读数识别已有一定研究[8-11]，但都具有一定的局限性，且有些研究工作没有对识别的效率和准确性进行定量统计分析。大部分算法利用了较低分辨率的视频源（如640×480），通常无法满足变电站内高清视频的实时分析要求。在类似的图像预处理中，分析结果过多地依赖图像二值化的阈值分割操作，而阈值的选取一般和环境光照等密切相关，容易引入过多噪音或过滤过多的有效信息。本文的IVA系统中的七段数码管读数识别算法，使用1080p视频源进行分析，相应地可通过对目标区域的选取提升算法效率，同时也可降低背景干扰项带来的误识别。如图3显示了算法的主要步骤。

图3　数码管数字识别算法流程图

首先，通过高斯平滑对选取的目标区块图像（图3（a））进行预处理以减少图像中的孤立噪声点。该操作的输出图像中的每个像素点值由高斯滤波器对临近像素的卷积计算获得，使用相应的高斯内核：

其中，μ和σ分别为输入图像像素值的均值和方差。考虑到所有数字是由相应发亮二极管组成的事实，可通过对HSV颜色空间的V分量进行阈值分割筛选出图像中发亮的像素点得到前景二值图，图3（b）是相应经过图像开运算后的结果。图像开运算是由两种基本操作组成的形态学操作—图像“腐蚀”后再“膨胀”，该操作可消除二值图中的孤立噪声点并连接足够临近的区块。然后图3（b）进行迭代收缩，直到前景边缘宽度变为一个像素，即为数字骨架Sk。该骨架提取方法通过删除冗余信息简化连通域，同时保持其结构和连通性不变，如图3（c）所示。单数字分割可通过轮廓检测实现，每个轮廓按其外接矩形的中心点坐标排序，可在各数字识别后按位组合成最终的输出。

对于每个分割出的骨架轮廓，如图3（d）所示带外接矩形的数字“9”，计算矩形的宽W和高H，将矩形在其H/2处分割为七段线段组合。由于数字“1”的轮廓宽度明显小于其他数字，首先可通过高宽比阈值T判断某轮廓是否为数字“1”：

在排除数字“1”后，对其他形式的轮廓各段进行编码以反映相应的二极管亮灭状态。如图3（e）所示，对“日”型矩形各段按序标注后，从段0到段6是否水平的编码可表示为CHV=0110110，其中0表示水平段而1表示垂直段。对于第i段Si，其中心点坐标为：

其中，Vi表示第i段是否为垂直段，Bx和By为轮廓外接矩形左上角坐标。以式（3）中(Si(x),Si(y))为中心点和垂足，以如图3（e）中黄色线段所示。由此，以0表示灭，1表示亮，第i段二极管亮灭状态Ci可表示为：

按式（4）计算所有七段二极管的状态并从段6到段0反向排序，即得到该数字轮廓的编码，如图3（e）所示数字“9”表示为C6…C0=1101111=0x6F。按预定义的编码-数字映射枚举表，可识别每个分割的数字，最后按各数字原坐标顺序排序组织输出十进制数字Di。通过实验分析，存在一种帧间渐变/重影效果会导致编码映射错误或无法匹配，如图4所示。Dn+1=0018是在高速帧率渐变中捕获的一个中间结果，肉眼无法看到。通过N(N≥3)帧延迟的策略可避免该效果带来的识别错误，当Di=Di-1=…=Di-N时输出结果Di。

图4　帧间重影效果

4　保护压板投退状态识别

保护压板是一组M行N列的开关矩阵，该识别算法在现场运维人员人工进行压板投退操作后，通过视频画面的分析自动识别矩阵中被操作的压板行列位置及其当前的投/退状态。已有的基于图像处理的压板投退识别研究[12-14]主要使用节点距离阈值分割、模板匹配等方式识别压板的状态，类似方案的主要缺陷在于针对某一类压板的算法难以自适应到其他类型，且压板矩阵中出现多个压板被操作时无法通过模板匹配的方法区分对应的行列位置。压板行列矩阵的定位一般需要标定设置，在压板数量庞大的情况下将极大地增加配置工作。

本文提出的保护压板投退状态识别方案所需唯一的配置参数为矩形压板矩阵区域，意在排除矩阵外背景区域的干扰并提高分析效率，如图5（d）所示即为目标区域内的压板矩阵图I。矩阵的行列分布由扫描识别自动获取，首先图片经过灰度转换和高斯平滑处理，并进行轮廓提取，所有描绘的轮廓如图5（a）所示。可以看出每个压板的轮廓都有明显聚集现象，然而基本每个轮廓曲线都是非闭合的，而且相互重叠，有很多轮廓曲线来自非压板物体。对于每个轮廓曲线i，计算其最小的外接矩形Ri，选择相应的矩形将其填充：

图5　保护压板矩阵扫描及状态识别

其中，IRi为矩形Ri对应的图像区域，Wi和Hi为Ri的宽高，Wmin、Wmax、Hmin、Hmax分别为对应宽、高的上、下限阈值。式（5）通过排除外接矩形宽高过长或过短的轮廓，并填充剩余外接矩形使有重叠的轮廓合并，如图5（b）所示已排除压板面板上第一行上方及第二行下方的分割线和画面左上角因视频时间标签产生的大部分轮廓。然后进一步对合并后的各前景区块计算外接矩形，按宽高排序选取中间1/2矩形，结果如图5（c）所示。可以看出大部分压板位置可以正确定位，虽然有部分丢失但未识别错误的压板位置。通过连接第一行矩形最高点和最低点，自上而下平行扫描图5（c），以压板行间平分空隙处作为矩阵的行分割线。同样，通过连接每行第一列矩形左边缘的最左和最右点，自左向右平行扫描，矩阵列的分割线须满足每一列中出现的压板个数在[0.5，1+0.5]个宽度之间。最后，若某行存在相邻列间隙大于图5（c）中压板矩形平均宽度，则插入平均宽高尺寸的压板矩形并均分两侧间隙。图5（d）绘制了压板矩阵行列扫描的红色分割线。

当M行N列保护压板矩阵扫描完成后，即可实时监控分析被操作过发生变化的压板位置及其操作后的状态。首先，利用高斯混合模型前景检测方法找到操作后发生变化的图像区块，若检测的前景尺寸跨越多行/列，说明当前操作员仍在场景中，应略过当前帧的分析并暂停更新高斯背景。当操作员离开后，发生变化的压板前景可对比压板矩阵分布计算其对应的行列位置。而压板的当前状态由其拨片的倾斜度决定，通过Canny和霍夫直线检测指定行列中的最长直线段，通过该直线的斜率和阈值比较判断当前的投/退状态。如图5（d）所示绿色和蓝色压板行列中检测的压板边缘红色直线，行列单元格的边框颜色指示了该压板当前的投/退状态。

5　屏柜指示灯状态识别

对于屏柜指示灯的状态识别，需要较为准确地定位指示灯所在图片区域，实时获取指示灯的颜色种类及其亮灭状态信息。如图6（a）所示，因摄像机安装视角原因，圆形指示灯经常在视频画面中显示为椭圆。通过霍夫圆检测算法可检测到若干个和指示灯的部分边缘重合的圆形区域，如图6（a）中黄色和橙色圆形所示。可以看出各圆或包括过多背景区域内容，或只包含了指示灯的一部分区域，这些指示灯定位的偏差将影响对状态识别的判断误差。而通过如图中红色所示的椭圆定位，则能准确地定位指示灯的位置。

图6　指示灯椭圆检测及其HSV直方图

相比传统的RGB三原色表示法，HSV色彩空间将颜色表示为H（Hue色调）、S（Saturation饱和度）及V（Value亮度）3个分量。表1总结了常用基本颜色在3分量中的取值范围，∗min及∗max分别为各分量上对应颜色的上下限。从表中分析分量的互斥属性可以获知，灰度颜色（黑灰白）可由V或（S，V）分量唯一确定，排除灰度颜色后的其他颜色可由H分量唯一确定。因此指示灯的颜色识别可由HSV的直方图统计获得，亮灭状态可由V分量确定。直方图即为统计落在各值区间的像素点个数，在指示灯识别中则相应分析椭圆区域内像素点在HSV各分量上的分布。

表1　HSV基本颜色的分量范围

参考表1的基本颜色区间分布，可定义如表2所示的区间索引。3个分量的组合区间数为6×2×3=36个，其中H分量上的红色包含首尾两端区间，在统计直方图时需累加计算，而由于指示灯颜色的特性将橙/黄、绿/青分别合并统计。

表2　HSV分量值区间编号和颜色对应关系

选取直方图分布中像素点占比最大的区间索引为判断目标颜色的依据：

（1）若V区间索引=0，则为黑色；

（2）否则，若S区间索引=0，则为灰色（V=1时）或白色（V=2时）；

（3）否则，由H分量确定为红色到紫色中的一种。

如图6（b）所示HSV直方图分布，可知最大值区间索引分别为(H=2,S=1,V=2)，因S=1排除黑灰白，由H=2判断为绿色。因V分量表示亮度，椭圆内在V分量上属于V=2区间（即表1中[221，255]）的像素点个数大于某阈值（比如：椭圆面积×0.6），则该指示灯状态判断为“绿灯亮”。

6　安防区域异常事件识别

本章介绍安防区域异常事件识别的算法实现方式，此算法可应用在多个高度相关的功能中，如人员入侵识别、徘徊识别、物品遗留识别、防盗识别、值班员脱岗识别等。其核心是对场景内的移动目标进行跟踪，按业务逻辑实现具体不同的应用。场景中的前景移动物体通过高斯混合模型检测，在该模型中，每个像素被建模为K个高斯分布的集合，在第N帧上某特定像素的值为XN的概率可表示为：

其中，wj为第k个高斯内核的权重系数，η(X;θk)是对应的正态分布，表示为：

其中，μk为均值而为第k个内核的方差。K个高斯分布按值排序并取前B个分布作为背景模型，B值由以下公式决定：

其中，阈值T为背景模型的最小占比，即为场景中出现背景像素的最小先验概率。背景抠除则计算为标记距离任意一个高斯分布大于2.5倍标准方差的前景像素。

在高斯混合背景模型提取场景的前景移动目标后，目标表示为各连通图像区域。基于OpenCV的cvBlob算法可实现在图像序列中同时跟踪多个连通区域，当前帧内各连通区域所属目标由连通区域质心间距、运动方向梯度等信息决定。通过cvBlob可对各前景物体进行长时间跟踪，并标定每帧中物体的检测位置。如图7（a）所示视频画面，选定的绿色矩形框作为分析区域，图7（b）为高斯混合背景模型检测的前景检测结果，图7（c）红色目标框为利用cvBlob目标跟踪识别的前景连通域位置。

图7　运动物体检测

根据不同的分析参数设置，可实现相关的各应用功能。如入侵检测可设置为在矩形区域、多边形不规则区域内发现有移动物体进入时实时报警，或跨越拌线时报警；徘徊检测则为跟踪的目标出现在矩形/多边形闭合区域内超过一定时间后报警；物品遗留识别和防盗识别则均在闭和区域内检测到前景目标时实时报警；值班员脱岗则在闭合区域边界位置判断移动目标的运动方向判断离开/进入，当检测到离开并超过一定时间后报警。

7　实验分析和比较

本章通过实验分析和对比验证上述各章介绍的视频智能分析功能算法。首先，七段数码管读数识别使用各种不同类型的设备显示屏验证，如图8所示，数码管的颜色不同但数字组成结构一致。当前尚未自动识别如图8（b）和8（c）中的小数点，因其很容易在二值化过程中和数字连接，或在形态学处理中作为噪声点被消除，相应地当前人为设置小数点位置。另一个人为设置的参数为单位符号，如图8（b）中的“C”，因为除此以外的符号很难由数码管显示，通常直接打印在背景面板上。因此在图8（b）的例子中，目标区域ROI将单位符号的显示位置排除在外。图8（c）的例子可视为两个独立的区域进行识别，目前设置了在一个视频画面中最多可支持6个七段数码管显示器同时分析。

图8　各类七段数码管识别

对于每种数码管显示屏，使用了10段视频进行分析，每段时长10 min。经实验结果统计后得到了识别准确率为97%，识别速度为每帧40 ms，可以满足变电站监控系统的实时处理要求。如表3总结了上述实验结果和其他相关文献的对比，除部分文献未指明相关结果外，上述实验结果在识别准确率和算法速度方面都优于以往的研究工作。

表3　七段数码管分析结果比较

如图9显示了在几种不同类型保护压板上的投退状态分析结果。虽然摄像头视角原因导致画面有部分变形，压板矩形扫描的行列分割线仍能准确地将单个压板开关分离，且被操作的压板开关所在单元格内检测到和开关重叠的最长直线段倾斜度均能表征相应的投退状态。同样地，通过对每种压板进行10 min时长的分析统计计算平均结果，每段视频内操作员操作5次压板矩阵，每次随机选择2至6个压板开关进行投退状态的改变，实验结果得到被操作压板的行列位置及其状态正确的准确率为93%。该功能算法的主要时耗为压板矩阵扫描，但其只在分析功能启动时或视角改变时扫描一次，而实时的位置与状态分析效率为每帧30 ms。就目前所了解的相关文献没有指明基于统计的实验结果，比如文献[12]和文献[14]。而文献[13]中指出了算法效率为每帧15 ms但没有准确率数据。他们的算法效率优势在于视频画面分辨率为640×480，相应的本文使用1080p高清视频源且压板矩阵在画面中所占比例一般超过2/3。

图9　各类保护压板识别

图10　各类屏柜指示灯识别

同样地，图10显示多种用于指示灯状态识别的图例，其中包括数码管显示屏上的多个指示灯，该功能同样支持画面中最多6个目标的同步分析。与上述实验类似，通过采样带有状态变化的视频片段并作识别分析后得到指示灯的颜色及亮灭状态判断准确率为98%，识别效率为每帧15 ms。识别失败的原因主要为灯亮后的颜色判断，若椭圆检测未能包含指示灯边缘则灯亮时椭圆内仅有曝光的白色而非原灯色。且实验表明在不同光照条件下，因为只识别表1中明显区分的几种主要颜色，光照影响产生的HSV值偏移后基本仍可以分布到正确的直方图区间，即仍能识别为正确的颜色类别。因光照变化导致识别失败的情形包括：（1）完全黑暗环境且指示灯灭时，无法定位指示灯位置及识别其颜色；（2）光线反射或指示灯自身高亮曝光导致指示灯边缘颜色被覆盖（类似图10三灯一行的左侧灯）而无法识别颜色。此两种情形下，肉眼观察视频画面亦无法判断其颜色。在单个指示灯颜色固定不变的情况下，上述缺陷可通过在灯灭时判断颜色并固定结果来解决，后期仅需判断亮灭变化。

安防区域异常事件识别通过对每种功能应用进行测试，包括室内、室外环境。经统计得到的事件报警准确率为90%，算法效率为每帧75 ms。事件误报的情形主要包括拌线入侵和脱岗检测中相邻帧运动方向判断误差，高斯前景提取存在同一物体被分割为多个连通区域情况等。算法耗时主要集中于高斯背景模型的更新及cvBlob跟踪器的构建和更新操作。在众多目标检测和跟踪算法中，本文选取了DPM[15]和ACF[16]的Matlab开源实现及其已训练好的行人模型进行安防区域人员检测实验，结果如表4所示。从表中可知，基于DPM和ACF算法的人员检测在准确率上高于本文的高斯混合背景模型方法，但因算法复杂度较大，在处理1080p图像帧时耗时远高于本文方法。此处检测准确率是指检测目标的完整性及其轮廓位置与实际目标位置的匹配度。在变电站安防监控中，主要需求为无漏检、无误检目标，虽然高斯混合模型可能无法检测到目标的完整轮廓导致目标匹配度的准确率相对较低，但区域内的异常报警仍有98%的准确率。另一个需求是检测结果的实时性，显然DPM和ACF在处理高清视频时无法达到15或25的实时视频帧率。另外，遗留物检测和防盗检测功能针对的目标不确定，任何物体的出现/消失均为异常事件，基于模型学习的DPM和ACF无法应用于此场景。基于高斯混合背景模型的检测方法具有事件报警准确，因低复杂度而高效实时性的优势，且可适应更多的安防识别功能。

表4　安防区域人员检测结果比较

8　结束语

电力系统中利用各种计算机技术实现自动化管理，极大地减轻了大量人工操作的成本和误操作的可能性。本文在变电站的视频监控系统中实现了基于图像处理的各类智能分析功能，自动监控识别设备运行状态及发现安防区域的异常事件。通过实验分析验证了功能的正确性和有效性，并已在变电站部署中发挥了智能监控的作用。下一步，将发掘更多的视频智能分析应用业务需求，充分利用图像处理领域的相关技术，加强电力系统的智能监控方式和自动化水平。

参考文献：

[1]Pinto J K C，Masuda M，Magrini L C，et al.Mobile robot for hot spot monitoring in electric power substation[C]//Proceedings of the IEEE/PES Transmission and Distribution Conference and Exposition，2008.

[2]Rahmani A，Haddadnia J，Seryasat O.Intelligent fault detection of electrical equipment in ground substations using thermo vision technique[C]//Proceedings of the 2nd International Conference on Mechanical and Electronics Engineering，2010.

[3]梅鲁海.电力系统监控网络的智能化结构设计[J].电力系统及其自动化学报，2010，22（2）：37-40.

[4]黄新波，陶保震，冯玲.基于光流场的输电导线舞动监测方法[J].电力自动化设备，2012，32（7）：99-103.

[5]乐健，蔡伟，靳超，等.基于图像识别技术的变电站防误操作系统的研制[J].电力自动化设备，2011，31（7）：131-135.

[6]管春，周雒维，卢伟国，等.基于图像平滑算法的电能质量数据压缩方法[J].电力自动化设备，2011（8）：77-80.

[7]冯玲，黄新波，朱永灿.基于图像处理的输电线路覆冰厚度测量[J].电力自动化设备，2011，31（10）：76-80.

[8]孙凤杰，崔维新，张晋保，等.远程数字视频监控与图像识别技术在电力系统中的应用[J].电网技术，2005，29（5）：81-85.

[9]崔行臣，段会川，王金玲，等.数显仪表数字实时识别系统的设计与实现[J].计算机工程与设计，2010，31（1）：214-217.

[10]郭爽.数码管数字仪表自动识别方法的研究[J].通信技术，2012，45（8）：91-93.

[11]刘科，侯立新，卞昕.基于机器视觉的仪表示值识别算法研究[J].计量学报，2013，34（5）：425-429.

[12]任俊杰，蒋岚.电力系统继电保护压板图像识别系统[J].北京联合大学学报：自然科学版，2004，18（2）：60-64.

[13]夏志宏，罗毅，涂光瑜，等.基于视觉信息的继电保护压板投退位置的自动识别研究[J].继电器，2005，33（4）：40-44.

[14]邓应松，段秦刚，宋小松.基于图像识别的保护压板投退状态辨识方法[J].陕西电力，2015，43（10）：49-54.