基于区域生长法和BP神经网络的红外图像识别

陈跃伟,彭道刚,夏 飞,钱玉良

(上海电力学院自动化工程学院,上海 200090)

1 引 言

目前在变电站巡检机器人监控系统中针对变电设备红外图像的识别问题缺少统一的技术评价指标,巡检机器人拍摄的红外图像背景复杂多样,远程监控系统针对该图像进行识别时经常存在错识、漏识、识不出等现象,设备红外诊断结果无法正确匹配到相应设备类型,影响变电站监控系统的正常运行[1]。

红外图像中设备的特征提取与识别是红外诊断技术的重要组成部分,常用的特征提取和识别方法有边缘检测法、正交矩法、神经网络法、支持向量机法等[2]。文献[3]采用SURF法将图像中绝缘子的特征向量进行提取和识别,纵向统计经角度矫正和形态学开运算后绝缘子灰度极小值的分布规律,定位出不良绝缘子,该方法在提取绝缘子特征向量时忽略绝缘子边缘模糊带来的特征向量误差。文献[4]针对110 kV线路绝缘子在不同污秽等级和湿度下的零值绝缘子红外图像识别问题,提出自适应学习法和共轭梯度法来优化BP神经网络模型,根据网络误差曲面的变化自适应调整学习步长,使得网络快速收敛到全局最优值,但由于其各层触发函数在高次数迭代中产生边缘误差,使得网络收敛时产生明显波动。

红外图像分割技术是图像特征提取的基础,其分割目标设备的完整性和准确性决定后续图像特征提取和识别的效果。文献[5]将变电站红外图像进行反转后减去原始图像以增强图像中目标设备的边缘区域,最大限度地减少背景噪声,利用Otsu分割方法分割设备目标,但该方法存在因设备边缘模糊而导致的欠分割问题。文献[6]采用半自动区域生长法对猪食管OCT图像中粘膜层进行精确分割,通过局部平均值判定法确定种子点位置,采用等比例变换缩放图像法缩短分割时间,利用最邻近差值法确定分割阈值,实现缩放后OCT图像中粘膜层的分割,最后映射到原图像中,但其在种子点选取时采用5×5区域内部取灰度平均值作为种子点像素,容易将种子点特征模糊化。

2 红外图像识别原理

2.1 红外图像分割

2.1.1 构建图像温度场

在一定测温范围内,红外图像中像素点的亮度值与温度值之间线性相关,通过线性变换可将图像中像素点的亮度矩阵映射到设备的温度场[7]。在红外图像中获取图像的三维数值矩阵,通过颜色分量的加权可将真彩色图像数值转换为图像亮度值,转换公式为:

Y=0.299R+ 0.587G+ 0.114B

(1)

式中,Y为YUV格式中Y分量,R、G、B分别是RGB格式的分量。根据变电站设备红外图像中标定最低温度Tmin和最高温度Tmax,在[Tmin,Tmax]等间隔取60个样本温度点。对每一温度值的样本点找到50个该温度值点的坐标,并记录在临时数组中,同时计算出该50个位置处的像素亮度值,统计每个亮度值出现的次数,出现次数最高的亮度值作为该温度值对应的像素亮度值,并记录在相应数组中。找到60个温度值对应的亮度值后,对样本数据进行最小二乘法拟合,得到亮度值与温度值之间的线性关系,将红外图像的亮度阵列用温度矩阵替代,记录设备温度最高点对应亮度值的位置坐标。图1为穿墙套管亮度值与温度的线性拟合效果。图2为图1(a)中方框内温度场坐标分布,其中坐标原点为方框的左上角,水平向右、向下分别为x、y轴正方向,图2中温度最高区域对应图1(a)中温度最高区域。

图1 亮度与温度的线性拟合

图2 设备温度场分布

2.1.2 改进区域生长法

区域生长法是像素级的图像分割方法,将图像中具有某些相似特性的像素点集合提取构成目标区域,实现对复杂背景进行高精确地分割[8]。选取待分割图像中满足一定要求的区域集合作为分割的种子集合,从种子点区域按照给定的规则生长,将种子集合邻域内符合条件的像素归并到种子集合,将合并后的像素集合看作新的种子集合继续按照生长规则生长,直到没有满足条件的像素存在。

种子点再生长过程中,利用Otsu法确定的阈值作为种子再生长的约束。Otsu法是基于阈值的分割方法,设红外图像的灰度范围为[0,L-1],灰度为i的像素个数为N,ni为灰度i的像素个数,灰度i出现的概率为pi=ni/N,阈值t将图像灰度级划分为C0=(0,1,…,t)和C1=(t+1,t+2,…,L-1),各灰度级的概率分别为:

(2)

式中,ω0、ω1分别表示C0、C1灰度等级的概率分布。灰度均值分别为:

(3)

式中,μ0、μ1分别表示C0、C1灰度等级的灰度均值。由式(2)、(3)可得:

μt=ω0μ0+ω1μ1

(4)

式中,μt表示整幅图像的灰度均值。则类间方差定义为:

σB2=ω0(μ0-μt)2+ω1(μ1-μt)2

=ω0ω1(μ0-μ1)2

(5)

最佳阈值为:

(6)

式中,t*为σB2的最大值。从灰度值最小到最大找出使得式(6)中t*为最大值时L的灰度值即为分割的最佳阈值。采用类间方差衡量灰度分布均匀性时,当类间方差取最大值,图像中目标设备和背景的像素差别最大,错分的概率最小,此时的L可作为分割的最佳阈值[9]。改进区域生长法的描述如下:

(1)种子点的获取

种子点代表目标区域的一个或一组像素,红外图像的亮度反映目标区域的温度信息,利用上述建立的图像温度场选择图像中设定温度范围对应的像素区域作为种子点。

(2)生长准则

设已生长合并的区域为R,R中像素点个数为N,灰度均值为μR,T1是经Otsu法确定的最优阈值,T2为灰度相似性阈值,待合并像素点(x,y)的邻域内灰度均值为:

(7)

生长准则可用如下式表示:

(8)

式中,T1为Otsu确定的3×3邻域内最优阈值,T2为图像灰度相似性阈值。对于满足式(8)的像素点,可将其作为新的种子并合并到已分割区域,此时区域R的均值可表示为:

(9)

式中,μold、μnew分别为合并前、后的图像灰度均值。如果待检测的像素点与种子点像素灰度值之差的绝对值大于设定门限值或者不满足式(8),可认为该像素不符合生长规则,终止对该像素点的合并,继续进行其他像素的合并,直至该截屏窗口内部完全分割。在区域生长过程中引入最佳分割阈值T1和灰度相似性阈值T2后,可避免因红外图像中目标设备灰度变化过大而导致的目标设备过分割,同时生长规则中加入T1的约束,也可避免因红外图像中目标设备边缘模糊而导致的目标图像欠分割。

为定量地评价分割算法性能,采用假阴性率(False Negative Ratio,FNR)、分割错误率(Ratio of Segmentation Error,RSE)、Dice相似性系数(Dice Similarity Coefficient,DSC)来检验改进区域生长法的分割精度[10]。设S1为文中方法分割得到的设备图像,S2为人工分割图像边界,则上述评价准则定义如下:

(10)

式中,N(·)为封闭区域内像素数目,FNR、RSE值越接近0,DSC值越接近1,说明分割精度越高。

2.2 设备形状特征提取

变电站电气设备的形状不因工作状态和环境变化而改变,具有较强的稳定性,可使用其形状作为分类识别的依据。根据上述方法对红外图像中目标设备进行形状分割提取后,利用Hu矩计算其形状特征向量。

Hu矩描述图像设备区域特征,具有平移、缩放、旋转和尺度不变性,是基于目标设备形状识别的重要参数[11]。设二维离散函数f(x,y)的(p+q)阶矩为:

mpq=∑x∑yxpyqf(x,y)

(11)

由式(11)可得到零阶矩m00=∑x∑yf(x,y),则图像的质心为:

(12)

式中,m10和m01为一阶矩。二维离散图像的中心矩为:

(13)

归一化的中心矩为:

(14)

式中,γ=(p+q)/2+1,则Hu矩为:

φ1=η20+η02

φ3=(η30-3η12)2+(3η21-η03)2

φ4=(η30+η12)2+(η21+η03)2

φ5=(η30-3η12)(η30+η12)[(η30+η12)2-3(η21+η03)2]+3(η21-η03)(η21+η03)[3(η30+η12)2-(η21+η03)2]

φ6=(η20-η02)[(η30+η12)2-(η21+η03)2]+4η11(η30+η12)(η21+η03)

φ7=(3η21-η03)(η30+η12)[(η30+η12)2-3(η21+η03)2]+(3η21-η03)(η21+η03)[3(η30+η12)2-(η21+η03)2]

(15)

由于Hu矩的7个特征φ1～φ7量的数量级差别较大且有正有负,工程上采用变换后的Hu矩作为图像形状特征,式(15)变换后的Hu矩为:

φ′=|log10|φ||

(16)

为描述不同设备形状的相似度,选择设备形状特征向量间的欧氏距离来表示[12],其定义为:

(17)

式中,X、Y分别为不同设备形状特征向量；xi、yi为向量内元素。设备形状特征向量间距离越小,说明设备形状差别越小,反之亦然。

2.3 BP神经网络模型

2.3.1 BP神经网络优化

针对传统BP神经网络存在的不足,广泛应用的改进算法有共轭梯度法、附加动量法、Levenberg- Marquardt法、自适应学习率法等,本文采用附加动量和自适应调整学习率来优化BP神经网络模型[13-14]。引入附加动量后,传统BP神经网络连接权值的迭代关系为:

wuv(n+1)=wuv(n)+Δwuv(n+1)

(18)

式中,mcΔwuv(n)为附加动量;mc为动量因子,进而可得:

(19)

由式(19)可得:

(20)

上式中附加动量项系数增加为η/(1-mc),BP神经网络误差在反向传播过程中,给各个权值都加上一个正比于上一次权值变化的量,可弥补传统BP网络在权值调整时易陷入局部最优的不足。同时为避免恒定学习速率带来的网络收敛误差,保证BP网络训练过程中迭代收敛稳定性,引入自适应调整学习率,其根据权值修正值是否有效降低误差函数作相应变化,如果误差函数降低过大,说明学习率较小,自适应学习速率法会自动增大学习率,反之亦然,其定义如下:

(21)

式中,kinc为学习率增长比;kdec为学习率下降比;E(k)、E(k+1)为第k、k+1迭代误差。

2.3.2 基于Hu矩的BP网络模型

在基于变电设备形状的识别过程中,将设备形状的Hu矩特征向量输入到BP网络第一层的节点中,经过隐藏层反向传播输出层的误差,修正各神经元的权值,直至迭代精度满足要求。设BP神经网络的结构为输入层-隐藏层-输出层的3层结构,所有节点的激活函数均采用S型函数。BP神经网络输入元素的个数等于识别对象特征向量的维数,针对同一设备不同类型的形状特征向量,BP网络的输入元素个数也不同,而输出元素的个数为训练样本中的设备种类的数目[15]。使用Hu矩作为形状特征向量,网络输入元素为7维,同时输入向量按照下式作归一化处理:

(22)

式中,Z、Z′为设备Hu矩归一化前、后特征向量,Zmax、Zmin为Hu特征向量中最大、最小值。隐藏层节点数目的确定是通过多次实验对比验证来确定的,取为12,输出层主要识别8种设备,可设置3个输出层,通过二进制编码确定输出设备类型。当网络输出的全局误差小于期望误差或者迭代步数达到最大时,网络迭代终止,而网络的全局误差e定义为:

(23)

式中,N为输入样本数,N取7;q为输出样本维度,q取3;k为样本序列;o为网络隐藏层到输出层的样本序列;do(k)、yo(k)分别为期望输出和实际输出。

基于优化区域生长法和BP神经网络对红外图像识别的流程如图3所示。

图3 红外图像识别流程图

3 实验结果分析

3.1 红外图像分割结果

在给定设备运行温度范围条件下采用区域生长法分割红外图像时,根据图像温度场关系确定种子点位置,作为改进区域生长法的起始点。图4(a1)中方框内部为种子点主要汇集区域,图中温度为[20,50] ℃,热点温度为48 ℃,设置温度>44 ℃区域为种子点,根据上述建立的温度场分布定位出种子点区域。截取100×100像素的窗口并使其包含导线热点区域,利用Otsu原理计算该窗口内最优阈值T1约为204,灰度相似性阈值T2设为20.5,在该窗口上按照3×3步长进行分割,再将分割的结果映射到原图像上,完成此次窗口的分割。然后再重新设定温度范围,将温度>38 ℃的像素点按上述方法进行分割,窗口大小、分割步长保持不变,重新利用Otsu计算该窗口内部最优阈值T1约为137,灰度相似性阈值T2设为23.7,最终实现此窗口的分割结果并将其映射到原图像中。如此重复分割直至分割温度设为30 ℃后停止,最终完成导线区域分割,分割结果如图4(a3)所示。图4(a2)为传统区域生长法分割结果,图中导线内部细小局部边缘存在欠分割,导线绝缘子挂柄处因污损产热而出现过分割,使得图像的特征向量存在较大干扰,而本文方法可有效地排除红外图像中目标设备与背景间的连接干扰,有效地避免传统区域生长法阈值恒定带来的欠分割或过分割的不足。同时将经本方法分割得到的导线故障区域图像与变电站运行人员人工分割的导线故障区域进行对比,求取FNR、RSE、DSC等指标定量分析本方法的分割效果,结果如表1所示。运用本方法分割图像的FNR、RSE参数比经传统区域生长法分割图像得到的参数小,而且非常接近于0,说明本方法分割错误率较传统区域生长法低,而经本方法分割图像的DSC较传统区域生长法高,而且接近于1,说明本方法分割出的导线边缘与真实导线边缘更加接近,分割精度较高。图4(b)电压互感器的温度范围为[25,70] ℃,将温度>50 ℃像素区域作为初次分割窗口的种子点,主要位于图4(b1)中方框内,分割窗口设为60×100,该窗口内Otsu最优阈值T1为213,灰度相似性阈值T2为20.5,分割步长为3×3,最后将截屏窗口分割结果映射到原图像中。按照上述分割方法继续分割,直至目标设备从原图像中完全分割出来,最终结果如图4(b3)所示。

表1 图像分割精度对比

图4 各方法分割对比

3.2 设备的特征提取

将红外图像进行种子点定位,利用Otsu优化区域生长法分割目标设备,提取出设备的二值形态图像后,取图5中(a)为导线连接触头、(b)为电流互感器、(c)为绝缘子片、(d)为电压互感器、(e)为变压器出线套管、(f)、(g)、(h)为避雷器等设备形状图像进行Hu矩运算,得到各设备的形状特征向量,表2为图5中设备形状图像的Hu矩特征向量。

图5 变电站电气设备二值图像

为比较不同电气设备形状特征向量间的欧式距离,需先对提取的设备形状特征向量作归一化处理,再计算形状特征向量间的距离,用图5(f)分别与其他图像比较,结果如表3所示。

表2 变电站电气设备二值图像特征提取

表3 不同设备间特征向量的距离

图5(f)～(h)为避雷器的旋转和缩放二值图,三种形状特征向量间的欧式距离分别为0、0.00001和0.0001,可认为Hu矩对同一设备的缩放、旋转等尺度变化具有良好的不变性。图5(f)与(a)(b)(c)(d)(e)的特征向量距离较大,其值分别为0.90517、0.81262、0.84607、0.82014和0.83176,可认为它们属于不同的设备。特征向量距离反映其形状差别的大小,可看出Hu矩具有较好的类间区分度,可将Hu矩作为图像识别的特征向量。

3.3 BP网络识别结果

选取图5中8种变电设备图像400幅,每种设备各50幅,随机对各设备图像进行旋转、缩放和尺度变化及加入随机噪声等处理后,计算各图像的Hu矩特征向量,将归一化后的Hu矩作为BP神经网络的输入,运用附加动量法和自适应调整学习率法优化BP神经网络模型,实现不同设备的识别。在400幅图像中随机选取300幅求取其Hu矩特征向量,归一化后作为BP网络的输入样本,余下图像的Hu矩作为网络测试样本。BP网络结构为7-12-3,期望最小误差e为0.01,动量因子mc为0.852,学习增长、下降比kinc、kdec分别为1.017、0.657,最大迭代次数为7000。在多次训练BP网络过程中,平均迭代次数为2950时,迭代误差约为0.00987,BP神经网络迭代误差如图6所示,BP网络对设备识别的结果如表4所示。由图6和表4可知:

(1)采用附加动量和自适应学习率优化BP神经网络并采用S型激活函数,使得BP网络以较快的迭代收敛速度达到误差允许范围内,在迭代收敛过程中有效地避免陷入局部最优值。图6中迭代误

差曲线局部出现少许尖波跳动,整体平稳收敛,说明全局最优值在局部误差曲面中以较快速度逃离该平坦区域,最终很快收敛到0.01以下。

图6 BP神经网络迭代次数与误差曲线

(2)优化后的BP神经网络能够根据归一化后的Hu矩准确识别出设备对应的二进制编码,但对于经过旋转缩放处理的避雷器图片,由于其Hu矩特征向量相同,该网络仅仅识别出第一次训练网络所用的正常避雷器图像,说明Hu矩具有良好的不变性和类间区分度。实验统计400幅设备二值图像的Hu矩特征向量识别结果中正确识别设备类型为92.74%,错误识别设备为5.78%,未识别设备仅为1.48%。

表4 部分测试数据和结果

4 结 论

针对变电站巡检机器人远程监控系统中红外图像设备识别存在的错识、漏识、识不出等问题,提出基于优化区域生长法和BP神经网络的红外图像设备分割与识别方法。利用最小二乘法拟合红外图像中图像亮度与温度之间的线性关系,建立基于像素的红外图像温度场,根据设定温度范围来确定区域生长法的种子点位置,利用Otsu法确定使得截屏窗口灰度分布均匀性最大时的最优分割阈值,结合其灰度相似性阈值,确定区域生长的分割准则；将分割后设备二值图像的Hu矩作为设备的形状特征向量,并对其进行不变性和类间区分度验证；采用引入附加动量法和自适应调整学习率的BP神经网络实现导线连接、电流互感器、电压互感器、绝缘子、变压器出线套管、避雷器等电气设备的分类识别,优化后的BP神经网络具有迭代收敛快,误差波动性小,分类准确度高等特点,实验数据表明本方法具有很强的适用性。

[1] GUO R,HAN L,SUN Y,et al.A mobile robot for inspection of substation equipments[C]//2010 1st International Conference on Applied Robotics for the Power Industry.Montreal,Canada:IEEE,2010:1-5.

[2] WANG B,GUO R,LI B,et al.Smart guard:an autonomous robotic system for inspecting substation equipment[J].Journal of Field Robotics,2012,29(1):123-137.

[3] YANG Hongmei,LIU Zhigang,HAN Ye,et al.Defective condition detection of insulators in electrified railway based on feature matching of speeded-up robust features[J].Power System Technology,2013,37(8):2297-2302.(in Chinese)

杨红梅,刘志刚,韩烨,等.基于快速鲁棒性特征匹配的电气化铁路绝缘子不良状态检测[J].电网技术,2013,37(8):2297-2302.

[4] YAO Jiangang,GUAN Shilei,LU Jiazheng,et al.Identification of zero resistance insulators by combining relative temperature distribution characteristics with artificial neural network[J].Power System Technology,2012,36(2):170-176.(in Chinese)

姚建刚,关石磊,陆佳政,等.相对温度分布特征与人工神经网络相结合的零值绝缘子识别方法[J].电网技术,2012,36(2):170-176.

[5] Jadin M S,Taib S.Infrared image enhancement and segmentation for extracting the thermal anomalies in electrical equipment[J].Electronics and Electrical Engineering,2012,4(120):107-112.

[6] 曹彪.基于区域生长的OCT图像分割算法研究[D].北京:北京理工大学,2014.

[7] SONG X,Fan S,Yang B.Implementation of infrared measuring temperature on remote image monitoring and control system in transformersubstation[C]//International Conference on Image Analysis and Signal Processing,Hong Kong,2012:1-4.

[8] 崔金涛,牛林,战杰,等.基于图像处理的变电设备异常自动识别方法:中国,CN104331521A[P].2015.

[9] GAO Song,LI Fudong.Regional joint segmentation and active contour model of the image edge extraction[J].Laser & Infrared,2013,43(1):94-99.(in Chinese)

高颂,李富栋.图像边缘提取的区域联合分割与主动轮廓模型[J].激光与红外,2013,43(1):94-99.

[10] Refael C Gonzalez,Richard E.Woods.Digital Image Processing(Third Edition)[M].Pearson Education,2010:115-200.

[11] B Vanajakshi,Dr.K.Sri Rama Krishna.Classification of boundary and region shapes using Hu-moment invariants[J].Indian Journal of Computer Science and Engineering,2012,3(2):386-393.

[12] Fadwa Al-Azzo,Arwa Mohammed Taqi,Mariofanna Milanova.3D human action recognition using Hu-moment invariants and Euclidean distance classifier [J].International Journal of AdvancedComputer Science and Applications,2017,8(4):13-21.

[13] Ming Yu,HeRong Wang,Ting Lan.The BP neural network for improvement of classification accuracy in remote sensing image [J].International Journal of Environmental Protection and Policy,2016,4(3):93-97.

[14] MingYu,He-RongWang,Ting Lan.The BP neural network for improvement of classification accuracy in remote sensing image[J].International Journal of Environmental Protection and Policy,2016,4(3):93-97.

[15] 任新辉.基于红外技术的变电站设备识别与热故障诊断[D].西安:西安交通大学,2016.