基于图像背景建模的电火花检测

王鹏飞，杨余旺，夏吉安

(南京理工大学 计算机科学与工程学院，江苏 南京 210094)

0 引 言

随着经济社会的发展，人们对于电器设备的依赖程度日益提高。虽然这些电器设备给人们的生活带来了极大便利，但如果它们发生漏电产生电火花，轻则干扰设备的正常运作，重则引发火灾，对人们的财产和生命安全造成极大的威胁。由于电火花的产生在设备运转过程中无法完全避免，因此如何及时地发现电火花显得尤为重要。

目前主流的电火花检测方法包括基于单片机算法的电火花检测方法、基于电磁感应的电火花检测方法和基于计算机视觉的检测方法。前两种方法属于接触式检测，检测范围较窄，且提供的可用信息，如电火花产生的位置、大小、周围环境等较少。基于计算机视觉的电火花检测方法可以利用视场角较大的镜头进行大范围检测，并且因为图像中包含了很多场景信息，可以通过图像分析、机器学习、人工智能等方法将它们提取出来，有利于后续对电火花的处理，因此目前基于计算机视觉的电火花检测方法使用较为广泛[1]。

基于计算机视觉的检测方法又可以分为很多种，其中使用较为广泛的有帧差法、光流法、背景减除法[2]。这几种方法各有利弊。帧差法算法简单，运行速度快，实时性好，但极易产生空洞、双影等现象，不利于后续对提取出来的对象进行分析；光流法无需知晓图像的先验背景知识，但其算法复杂，运行速度慢，实时性较差；背景减除法是通过构建一个不断更新的背景模型，将实时帧与背景模型做差得到检测目标，如何得到一个精确合理的背景模型是该方法的难点[2]。

背景减除法又可分为以下几种方法：Heikkila等提出的背景差分法，该方法需要先选定一幅图像作为背景模型；中值、均值法背景建模，该方法使用连续几帧的图像求取中值、均值建立背景模型；Kim等提出的Codebook背景建模方法，该方法为背景图像的每个像素建立了一个码元集；Wren等利用单高斯模型建模，该方法为背景图像的每个像素配对了一个高斯函数；Stauffer等在单高斯模型的基础上提出混合高斯模型建模(Gaussian mixture model，GMM)，使用多个单高斯模型建立背景图像[3]。经比较后，文中采用均值、中值背景建模，Codebook算法背景建模以及高斯混合模型建模这四种背景减除法得到初步的电火花候选区域，之后通过电火花面积特征和颜色特征分析得到最终的电火花检测结果。

1 电火花检测流程

提出的电火花检测算法流程为：

(1)使用背景建模法去除视频帧中的背景，从而进行前景检测；

(2)对前景区域进行大小判别，去除不符合电火花大小特征的前景区域，得到电火花候选区域；

(3)对得到的电火花候选区域进行颜色分析，实现对视频中电火花的检测。

1.1 前景检测

对于视频帧中的电火花进行检测时，首先需要对视频帧中的前景进行检测，将得到的前景作为电火花的候选区域，这样可以避免对整幅图像进行分析，减少了后续步骤的处理范围，从而提高检测的速率。文中分别使用了均值、中值背景建模，Codebook算法背景建模以及高斯混合模型建模这四种不同的背景建模算法进行前景检测。

1.1.1 均值背景建模

均值背景建模是利用相机采集到的视频中连续的N帧，求取对应位置像素的均值作为背景图像对应点的像素值，从而建立图像作为下一帧的背景模型[4]。

(1)

其中，B(x,y)表示建立的背景模型中点(x,y)对应的像素值；Gi(x,y)表示第i帧中点(x,y)对应的像素值。

进行电火花检测时，将检测帧与背景图像进行差分，与设定的阈值相比较，若小于阈值则该点为背景，反之为电火花。均值背景建模算法较为简单，运算速度较快，但当选取的N帧中某些帧有电火花产生时，出现电火花的位置在背景图像中对应位置的像素值会产生一定的偏差，影响后续帧电火花检测的准确率。

1.1.2 中值背景建模

中值背景建模同样是利用采集到的视频中连续的N帧，对N帧中每个位置的像素值按照大小排序，选取排序后的中值作为背景图像对应点的像素值，从而建立初始的背景模型[4]。

B(x,y)=median{Gi(x,y),i=m,m+1,…,m+

n+1}

(2)

其中，B(x,y)和Gi(x,y)同式(1)。

进行电火花检测时，方法与均值背景建模方法相同，也是将检测帧与背景图像进行差分，然后与设定的阈值相比较，若小于阈值则该点为背景，反之为电火花。中值背景建模可以较好地排除存在电火花帧的干扰，但仍存在一定的可能性将电火花的像素值作为背景对应位置的像素值，且该方法需进行多次排序，运算速度稍慢于均值建模方法。

1.1.3 Codebook算法背景建模

Codebook算法的思想是假设所有的背景像素值都分布在码元圆柱体内，码元圆柱体表面就构成了一个判别界面，落在码元圆柱体表面的即为前景像素，如图1所示。为介绍后续码元的匹配，引入两个概念：颜色失真度以及亮度函数[8]。

颜色失真度为：

(3)

其中

‖xi‖2=R2+G2+B2

亮度函数为：

brightness(I,)=‖xi‖∈

Ihi>

(4)

δ=colordist(xi,vi)≤ε

(5)

其中

Ilow=αImin

ε，α，β为先验参数。

Codebook算法背景建模的详细过程如下[6]：

(1)码本清空。

(2)计算训练视频帧中每个像素的亮度值，并根据式(7)和式(8)寻找与该值匹配的码元。

(3)若码本为空或未能成功匹配码元，则在码本中创建对应的新的码元，若匹配成功则更新对应码元的内容。

(4)训练完成后，利用每个码元未成功匹配的最大时间间隔进行冗余码元的消除，从而得到初始的背景图像码本。

进行电火花检测时，将检测帧每个点的信息与该点在背景图像中所对应的码本中的码元进行匹配，若匹配成功即表明该点为背景，否则该点为电火花[9-10]。

图1 Codebook算法示意图

1.1.4 混合高斯背景建模

混合高斯模型是在单高斯模型的基础上建立的，可以将混合高斯模型理解为多个单高斯模型的集合[11]。基于混合高斯模型的方法的基本过程如图2所示。

图2 混合高斯背景建模算法流程

混合高斯模型为每个像素建立K个高斯分布模型，通常为3～5个。假设X={x1,x2,…,xt}是背景图像中一个像素点对应的采样值，xi(1≤i≤t)，则观察到当前像素值xi的概率为：

(6)

后续将当前像素值与第i个高斯模型进行匹配时需要比较该像素值与第i个高斯分布的2.5倍标准差，如果满足|xt-μi,t|≤2.5×σi,t-1，则表明此像素与该高斯模型相匹配，反之则说明该像素不属于该高斯型[14]。对于成功匹配当前像素的高斯模型需要更新对应的参数，更新规则如下：

ωi,t=(1-α)×ωi,t-1+α

(7)

μi,t=(1-ρ)×μi,t-1+ρ×xt

(8)

(9)

其中，α为参数更新速率；ρ的计算方式如下：

(10)

对于未能成功匹配的高斯模型，其均值和方差保持不变，权值按式(11)进行调整[15]。

ωi,t=(1-α)×ωi,t-1

(11)

这样操作之后使得有较多像素相匹配的模型的权值增加，与较少像素相匹配的模型的权值减少，更新完权值后，通常还需进行归一化操作。若当前像素与现有模型均不相匹配，则根据当前像素创建一个新模型，若此时模型数已达上限K个，则用新的模型取代ω/σ最小的模型。然后将得到的K个模型按ω/σ从大到小的顺序排列，取满足式(12)的前B个高斯模型作为背景模型。

(12)

进行电火花检测时，将检测帧每个点的信息与各高斯模型逐一匹配，与任一模型匹配成功即表明该点为背景，否则该点为电火花。

1.2 面积分割

对于图像中的电火花检测仅通过背景减除法得到的前景目标还不足以准确地检测到电火花，拍摄过程中可能会有其他运动目标，如行人、动物等，经过这些运动目标均会对电火花的检测造成一定的干扰。考虑到电火花相对于大部分干扰目标而言面积较小，因此先对提取出的前景图像按照目标的连贯性划分候选子区域，之后对各子区域中目标面积大小进行分析，根据设定的阈值得到更新后的电火花候选区域。

1.3 颜色特征分析

仅根据前景目标面积大小就判定目标为电火花是不够严谨的，还需在此基础上进一步判断其颜色特征以确定目标是否为电火花。通过在RGB空间和YCbCr空间的颜色特征综合判断目标是否为电火花。

1.3.1 RGB颜色空间电火花像素规则

RGB颜色模式是通过R(红)、G(绿)、B(蓝)三个颜色通道的变化及相互混合叠加来表示自然界中的各种颜色。电火花像素在RGB颜色空间中对应的B通道的颜色值大于R通道和G通道的颜色值，R通道和G通道的颜色值近似相等。根据这些性质和大量实验分析，在RGB空间中为电火花像素建立了如下判别式：

B>G≈R

(13)

Rmean>Rt;Gmean>Gt;Bmean>Bt

(14)

其中，Rmean、Gmean、Bmean分别表示电火花候选子区域R、G、B三个通道的均值；Rt、Gt、Bt分别表示R、G、B三个通道的阈值。

满足上述公式的区域即为电火花候选区域，设置对应的Frgb为1，否则为0。

1.3.2 YCbCr颜色空间电火花像素规则

YCbCr是一种主要用于数字电视系统的颜色空间，与需要三个独立视频信号同时传输的RGB视频信号相比，YCbCr进行了一定的压缩，节约了大量的频宽。其中Y为亮度组件，Cb和Cr为色度组件，它与人类的视觉很相近，人眼对亮度变化的捕捉能力极其敏锐，而电火花的亮度远高于周围环境，因此可以利用该特性更好地分析图像，提取电火花目标。YCbCr可以通过线性变换与RGB空间进行相互转换，转换规则如下[15]：

Y=0.299·R+0.587·G+0.114·B

(15)

Cr=(R-Y)·0.713+δ

(16)

Cb=(B-Y)·0.564+δ

(17)

R=Y+1.403·(Cr-δ)

(18)

G=Y-0.714·(Cr-δ)-0.344·(Cb-δ)

(19)

B=Y+1.773·(Cb-δ)

(20)

其中，δ的取值取决于图像的深度，8位图像δ取128，16位图像δ取32 768，浮点图像δ取0.5。

因RGB空间中亮度对于R、G、B三个通道都有一定的依赖性，因此不能将亮度与色度分割开，但用色度表示电火花的颜色的鲁棒性要优于用亮度表示电火花的颜色，而YCbCr颜色空间也正好满足此特性。RGB空间中建立的电火花判断规则移植到YCbCr空间表示为[15]：

Y(i,j)>Ymean

(21)

Cb(i,j)

(22)

Cr(i,j)>Crmean

(23)

其中，Ymean、Cbmean和Crmean为图像在YCbCr空间三个通道的均值；Y(i,j)、Cb(i,j)和Cr(i,j)为位置(i,j)的像素所对应的三个通道的值。

满足上述公式的区域即为电火花候选区域，设置对应的FYCbCr为1，否则为0。

1.3.3 综合判断

在单一颜色空间下进行电火花判断存在一定的误差性，因此将RGB空间和YCbCr空间的判定结果相结合，仅当Frgb和FYCbCr均为1时，认为候选区域确实为电火花，这样可以在一定程度上提高检测的准确性。

2 实验结果及分析

对于文中设计的电火花检测算法，首先分别使用均值、中值背景建模，Codebook算法背景建模以及高斯混合模型建模这四种不同的背景建模算法提取出初步的电火花候选区域，然后对得到的候选区域进行面积分割和RGB颜色空间和YCbCr颜色空间颜色特征分析，并对四种方法得到的实验结果进行比较分析。

在Inter Core i5-2320 CPU平台上，在MATLAB R2015a开发环境中实现了该电火花检测算法，并选择了两段拍摄环境差异较大的视频进行实验测试。其中Darkroom1.avi和Darkroom2.avi是在暗室环境中录制的，视频中电火花背景较为简单，Open env1.avi和Open env2.avi是在开放环境中录制的，视频中电火花背景较为复杂。

图3和图4为部分实验结果图(为方便呈现结果，图片均经过裁剪，只保留关键部分)，方框内为经识别后标记的火花区域。图3为Darkroom2.avi中的一火花帧经四种不同方法处理后得到的火花区域，结果表明在暗室环境下，这四种方法得到的火花区域大致相同。图4为Open env1.avi中的一火花帧经四种不同的方法处理后得到的火花区域，从识别结果可以看出，在开放环境下均值背景建模与中值背景建模检测出的火花区域有一定的误差，两者均将图片右上角的非火花区域识别为火花区域，且识别出的火花范围较后两种方法小；Codebook背景建模方法与混合高斯背景建模方法识别出的火花范围较为准确。

完整的实验结果如表1所示。从表中可以获悉，当电火花检测背景较为简单时，四种方法的准确率相差无几，但使用均值背景建模或者中值背景建模方法时其每帧的处理速度要远快于使用Codebook背景建模和混合高斯背景建模方法。当电火花检测的背景较为复杂时，Codebook背景建模和混合高斯背景建模这两种方法的准确度远高于均值背景建模和中值背景建模，且混合高斯背景建模检测的准确率略高于Codebook背景建模，均值背景建模和中值背景建模的方法准确率较低，不适用于复杂环境下的电火花检测。

根据上述实验结果可得，对于背景单一的电火花检测环境可使用均值或中值背景建模的方法来进行处理，运行速度快，且精度较高；对于复杂背景下的电火花检测，为了达到较高的检测精度，则需要牺牲检测速度，使用Codebook背景建模或者混合高斯背景建模的方法，若对检测精度有非常高的要求，混合高斯背景建模的方法更为适用。

图3 Darkroom2.avi视频中电火花帧截图及各方法实验结果

图4 Open env1.avi视频中电火花帧截图及各方法实验结果

背景建模方法视频总帧数准确检测帧数漏检帧数误检帧数准确率/%平均处理时间/(ms/帧)均值背景建模Darkroom1.avi5310528761799.5717.32Darkroom2.avi6052601762999.4217.26Openenv1.avi36133289531991.0318.29Openenv2.avi42183808840290.2818.31中值背景建模Darkroom1.avi5310529351299.6818.14Darkroom2.avi6052602971699.6218.27Openenv1.avi36133387222493.7418.97Openenv2.avi42183886633892.1318.86Codebook背景建模Darkroom1.avi531052938999.6858.32Darkroom2.avi605260349999.7058.26Openenv1.avi3613355565298.3959.21Openenv2.avi4218415356098.4659.16混合高斯背景建模Darkroom1.avi531052957899.7260.57Darkroom2.avi605260378799.7560.49Openenv1.avi3613357952999.0661.23Openenv2.avi4218418163199.1260.45

3 结束语

针对检测电器漏电产生的电火花，提出了基于计算机视觉的四种检测方法，这四种方法使用不同的算法进行背景建模，然后对图像进行差分得到初步的电火花候选区域，接着对候选区域根据电火花的面积特征进行分割，最后进行颜色特征分析，从而得到检测帧中的电火花区域。实验结果表明，四种方法对于电火花检测有着各自的适用场景。均值、中值背景建模算法运行速度很快，但仅对电火花检测背景简单、单一的情况适用，对于复杂背景下的电火花检测则需要使用速度相对较慢的Codebook背景建模法和混合高斯背景建模法，其中混合高斯背景建模法的检测精度要略高于Codebook背景建模法的精度。目前如何针对不同的场景使用合适的检测方法还需要人为判断，如何利用算法识别场景，根据检测环境的复杂程度自适应地选择最为适宜的方法将是日后重点研究的方向。

[1] MARUTA H,NAKAMURA A,YAMAMICHI T,et al.Image based smoke detection with local hurst exponent[C]//Proceedings of 17th IEEE international conference on image processing.[s.l.]:IEEE,2010:4653-4656.

[2] SHON D,KANG M,SEO J,et al.Early fire detection using multi-stage pattern recognition techniques in video sequences[C]//Proceedings of frontier and innovation in future computing and communications.[s.l.]:[s.n.],2014:161-168.

[3] 刘 鑫,刘 辉,强振平,等.混合高斯模型和帧间差分相融合的自适应背景模型[J].中国图象图形学报,2008,13(4):729-734.

[4] CHENY T,CHEN C S,HUANG C R,et al.Efficient hierarchical method for background subtraction[J].Pattern Recognition,2007,40(10):2706-2715.

[5] WU M,PENG X.Spatio-temporal context for codebook-based dynamic background subtraction[J].International Journal of Electronics and Communications,2010,64(8):739-747.

[6] PAL A,SCHAEFER G,CELEBI M E.Robust codebood-based video background subtraction[C]//Proceedings of international conference on acoustics speech and signal processing.Dallas,USA:IEEE,2010.

[7] 郭春生,王 盼.一种基于码本模型的运动目标检测算法[J].中国图象图形学报,2010,15(7):1079-1083.

[8] SIGARI M H,FATHY M.Real-time background modeling/subtraction using tow-layer codebook model[C]//Proceedings of international multi-conference on engineers and computer scientists.Hong Kong,China:[s.n.],2008.

[9] 叶 勇,管业鹏,李晶晶.基于混合高斯模型与码本算法的前景目标检测[J].计算机工程,2012,38(5):1-4.

[10] 张 军,代科学,李国辉.基于HSV颜色空间和码本模型的运动目标检测[J].系统工程与电子技术,2008,30(3):423-427.

[11] ZIVKOVIC Z.Improved adaptive Gaussian mixture model for background subtraction[C]//Proceedings of 17th international conference on pattern recognition.[s.l.]:IEEE,2004:28-31.

[12] DRD R.Gaussian mixture models[J].Encyclopedia of Biometrics,2009,3(4):93-105.

[13] WANG Yanjiang.An improved adaptive background modeling algorithm based on Gaussian mixture model[C]//Proceedings of international conference on signal processing.[s.l.]:IEEE,2009.

[14] LUO Jinmian,ZHU Juan.Adaptive Gaussian mixture model based on feedback mechanism[C]//Proceedings of international conference on computer design and applications.Chengdu,China:[s.n.],2010.

[15] 余家奎.基于视频的火花和烟雾检测算法研究[D].合肥:中国科学技术大学,2015.