基于双目视觉图像的电力设备状态识别算法

国网黑龙江省电力有限公司检修公司 胡旻昊 王海滨 王 岐 阳 薇 高 鸣

基于双目视觉图像的电力设备状态识别算法

国网黑龙江省电力有限公司检修公司 胡旻昊 王海滨 王 岐 阳 薇 高 鸣

提出了一种基于双目视觉图像的电力设备状态检测算法.利用双目相机获取电力设备的巡检图,计算巡检图中感兴趣区域的视差图,从视差图中获得距离信息分布.根据所述距离信息分布,确定所述电力设备的状态.通过双目视觉测距原理实现设备状态识别,为变电设备状态的识别提供了新方法,实现了电力设备状态的快速、准确识别.

电力设备;机器人;双目相机;视差图像

0 引言

电力设备的检测,为电力运行的安全性、可靠性提供可靠保障[1].电力设备中,通常在继电保护的回路上设计有保护压板,又称连接片,包括功能压板和出口压板,功能压板作用于继电保护功能的投退,出口压板作用于断路器跳闸或其他保护功能的启动.在运行方式改变时,往往涉及到保护压板的投退,如有漏投退或误投退,会直接影响保护功能的实现,严重时会引起保护拒动或误动,导致大范围停电事故.因此,在保护压板投退时需要对保护压板进行有效监测.

但是,现有保护压板监测方法,主要依据图像处理技术,图像分割的时候容易受到噪声干扰,影像识别结果的准确性.另外,室内屏体设备类型较多,设备的状态也是多种并存,图像处理逻辑较为复杂.设备部分与背景颜色相同或相近时,容易导致图像分割失败,无法提取特征,致使设备状态识别失败.因此,现在亟需一种对电力设备状态进行准确且快速的检测方法.

鉴于此,本文提出一种基于双目视觉的电力设备状态识别算法,实现对电力设备状态进行快速且准确的检测.

1 双目立体视觉

1.1 设备图像

在变电站屏体设备中,有些设备和背景色相同或者相近,造成目标和背景相似而无法使用图像分割的算法实现目标分割和识别,如图1和图2所示.

双目立体视觉(Binocular Stereo Vision)是机器视觉的一种重要形式[2],它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像,通过计算图像对应点间的位置偏差,来获取物体三维几何信息的方法.融合两只眼睛获得的图像并观察它们之间的差别,使我们可以获得明显的深度感,建立特征间的对应关系,将同一空间物理点在不同图像中的映像点对应起来,这个差别,我们称作视差(Disparity)图,如图3所示.在视差图中不同的颜色带着不同的深度信息,也就是距离双目相机的距离信息

图1 旋转开关

图2 平板保护压板

图3 视差图

1.2 双目视觉原理

如1.1中所述,双目视觉技术是计算机视觉技术的一个重要分支,它模仿人类双眼获取环境信息的原理,利用两台摄像机从不同位置拍摄同一物体,然后获取二维数字图像,并利用几何原理对采集到的图像进行处理,获取三维信息,从而使计算机具有认知三维世界的能力.双目视觉测距技术是双目视觉技术的重要部分,它属于光学测距中的被动式测距方法[3].图4为双目相机测距示意图.

图4 双目相机测距示意图

两台摄像机的镜头中心或光学中心之间的距离称为双目视觉系统的基线B,利用双目视觉成像系统可以确定具有像平面坐标点(x1,y1)和(x2,y2)的三维空间点W的世界坐标[4,5].

图5 世界坐标系

根据摄像机坐标系与世界坐标系重合情况下的透视变换公式,三维空间点W的X轴坐标表示为:

式中X1和Z1为三维空间点形在世界坐标系(此时世界坐标系与第一个摄像机坐标系重合)中的X轴和Z轴坐标.同理,如果将世界坐标系设置在第二台摄像机上,则W点在X轴的坐标可表示为:

因为基线长度是B且三维空间点W的Z轴坐标对两台摄像机坐标系统是一样的,所以有:

将式(3)带入式(1)和式(2),得:

式(5)减去式(4)可以解出Z,有:

式(6)把三维空间点与像平面之间的距离Z(三维信息中的深度信息)与视差D(三维点对应的坐标x2和x1之差)直接联系起来.视差的大小直接与深度有关,所以视差包含了物体的三维空间信息[6,7].通过视差图像可以求得三维空间中的点到摄像机的距离,同时,还可以确定三维空间点在世界坐标系中的坐标.

如果视差D可以确定并且已知两台摄像机之间的基线距离和摄像机的焦距,很容易计算出三维空间点W的Z轴坐标.另外Z轴坐标确定后点W的世界坐标X,Y轴坐标可用(x1,y1)和(x2,y2)借助透视变换得到,即:

同理:

这样,通过三维空间点在两台摄像机的成像视差,可求出空间点的三维坐标.因此,对于两台摄像机平面上的任意一点,只要能够在另一台摄像机平面上找到对应的匹配点(即两者是空间同一点在两台摄像机面上的像点),就可以通过视差确定出该点的三维空间点.

2 棋盘格双目相机标定

在使用棋盘格对相机标定时,只需要多次从不同角度拍摄准备好的标定棋盘格,每次拍摄的图像包括了所有的标记点.即在相机标定时,将标定棋盘格的模板放置在相机的前方的摄像范围内,并在室内光源和一定角度内做旋转运动.本文中提及的双目摄像机为Point Grey公司的双目相机,如图6所示.

图6 双目相机

为了方便相机标定,开发了相机控制的简单程序,使用相同的控制操作进行相机的标定,相机控制和棋盘格标定如图7所示.

图7 相机标定过程图

3 实验仿真

实验一:实物测距.

如上节所示,当相机标定完成后即可进行目标距离的测量.为了测试标定后的相机性能,进行了此次目标实物的距离测试.如图8所示,相机测的红色目标的距离为59.7cm.经过手动测量,相机测的结果与实际相符,证明了目前双目相机系统测距的有效性.

图8 目标距离检测结果图

室内有些电力设备是具有不规则形状的立体电力设备,例如压板和开关.参见图2.因此,立体形状的空间特征恰好可以采用双目测距得到目标区域的距离信息,通过距离分布可以有效的规避前景和背景颜色相似或相同而不能使用图像分割算法.

视差图是把可见光图像中的像素从图像坐标系转换为世界坐标系后的距离信息表示为红外热图的一张图像.因此,所有的距离值用一张红外热图来表示.红外热图中不同的颜色代表着不同的距离信息.因此,可以根据视差图得到的距离信息分布.

实验二:设备状态测试.

根据以上的介绍,图像处理的过程如图9所示,系统处理的过程图如图10所示,其中设备图像处理步骤如下:

Step1:电力设备图像采集;

Step2:感兴趣区域提取;

Step3:获取感兴趣区域视差图;

Step4:视差图中距离计算;

Step5:根据距离信息分布,确定所述电力设备的状态.

图9 图像处理过

图10 系统处理过程图

经过标定,见图11和图12中的绿色矩形框,使用双目相机得到的距离信息即可得到设备的当前状态.如图11中得到的设备开关的当前状态为"W",图12中压板的当前为"分",这与实际情况相符.

图11 开关识别结果

图12 压板识别结果

4 结论

本文在变电站巡检机器人平台上,搭建双目相机,基于双目视觉技术获取当前设备距离双目相机距离信息,根据距离信息结合设备本身特征判别设备的状态.有效的解决了目标和背景颜色相同和或相近设备无法分割和识别的难题.提高了机器人巡检过程中的巡检正确率,同时也拓宽了机器人在变电站中的使用范围.实验结果表明算法正确率高,鲁棒性强,能够满足变电站巡检机器人的需求.

[1]钟玲.电力系统及电力设备的可靠性探讨[J].数字通信世界,2016(8):231.

[2]王苏娅.双目立体视觉分析方法研究[D].西安电子科技大学,2011:1-10.

[3]宋菲.基于双目视觉的测距算法研究[D].山东科技大学,2013:1-5.

[4]戴宗贤.基于双目视觉的三维重建与测量技术研究[D].重庆大学,2014:37-40.

[5]王怡萱,张俊梅,阚江明.基于双目视觉的目标定位与测距系统硬件平台[J].计算机应工程,2013,39(7):215-216.

[6]张颖江,潘尧,吴聪.基于车载系统双目CCD相机测距[J].信息安全与技术,2016,7(1):57-56.

[7]徐姝姝,王元庆,张兆扬.新的单目立体视觉的视差图的获得方法[J].计算机应用,2011,31(2):3-342.

Power equipment state recognition algorithm based on binocular vision image

Hu Minhao,Wang Haibin,Wang Qi,Yang Wei,Gao ming
(Maintenance Company,State Grid Heilongjiang Electric Power Company)

A kind of power equipment state detection algorithm based on binocular vision image is presented,and the power equipment image is obtained by binocular camera in substation.Disparity map of region of interest in the inspection image is calculated,and the distance information distribution is obtained in the disparity map.According to the distance information distribution,the status of electrical equipment is determined.Through the principle of binocular vision ranging,equipment status identification is realized,which provides a new method for the identification of substation equipment status,and realizes the rapid and accurate identification of power equipment status.

substation;robot;binocular vision;disparity map