基于多特征融合运行期均值法的烟雾检测算法

刘　颖，顾小东，杜久玲，王　倩

(西安邮电大学　图像与信息处理研究所，陕西　西安　710061)



基于多特征融合运行期均值法的烟雾检测算法

刘颖，顾小东，杜久玲，王倩

(西安邮电大学图像与信息处理研究所，陕西西安710061)

烟雾检测能够有效预防火灾的发生，以此为出发点，解决了烟雾运动区域出现的“空洞”现象，从而实现了快速、准确地检测视频中烟雾的区域。利用烟雾的非刚体特点，融合颜色、背景模糊以及运动方向的特征对背景更新过程进行建模，然后结合连通域面积消除小干扰区域的影响，提高了基于单一特征的运行期均值法的鲁棒性。实验结果表明，改进的方法能够准确、完整地检测出视频中的烟雾区域，并且处理速度也有所提高。

烟雾区域检测；运行期均值；多特征融合

视频监控对于个人和公共安全是一种十分有效的手段，通过处理摄像机获取的视频数据，使相关人员实时监控一些重要的区域场所。目前，基于视频的火灾检测技术已成为国内外计算机视觉领域中一个很有意义的课题。它是通过对视频及图像进行处理，利用烟雾的特征，来检测有无烟雾，从而在早期及时发现火情，避免灾难的发生。视频中烟雾[1]是时刻运动的，因此将视频中所有运动区域提取出来是视频烟雾检测的首要任务。视频中运动目标的提取过程，是进行后续烟雾检测的基础，提取结果的优劣直接影响后续处理的准确程度。

运动区域检测是在视频中提取出感兴趣的运动物体(如：烟雾、行人、车辆等)，一般是基于检测图像像素的变化，学者们对此进行了很多研究工作，光流法[2-3]、帧间差分法[4-5]、背景减除法[5]是目前最成熟、应用最广泛的算法。光流法(Optical Flow)的基本原理是计算图像中每个像素的速度矢量。由于背景像素和前景像素在速度矢量上存在一定差别，所以能够将图像中的运动区域部分检测出来。光流法的优点是不受录像设备静止与否的影响，但光流法的运算复杂度以及噪声对其的影响一般都比较大，很难在实时性要求高的场所中应用。帧间差分法(Frames Difference)是将视频中相邻两帧或多帧的灰度图像做减法，再通过设定适当阈值来检测其中运动的区域。帧间差分算法的优点在于算法复杂度较小，实现较容易，能够快速提取图像中的运动区域[6]。但该算法也存在缺点，像烟雾这样的运动区域，其内部灰度值比较接近，相邻两帧变化不大，在目标区域内部会产生空洞，难以提取出完整的区域。并且此方法对所选择的帧间间隔也比较依赖，对检测结果产生一定影响。背景减除法是通过建立模型来近似地表达背景的像素值，将当前图像和不断实时更新的背景图像进行相减，与背景区域差别较大的区域判断是前景区域，否则判断是背景区域。在背景减除法中基于背景均值的差分算法比较常见，它是通过构建一段时间内几帧图像的均值作为减除的背景。此方法能比较准确地定位运动物体的位置和较完整的运动区域，较少出现空洞，并且算法同样有较低的复杂度。在实际的场景中，通常情况下都会出现环境的变化，如果在固定时间段内计算得到的背景均值不能适应环境变化的影响，会将这种干扰误当作运动区域。因此，需要一种能够实时更新的背景模型去缓解环境变化的影响。

运行期均值法是一种比较经典的背景差分方法，通过设定更新率α来实现背景图像随着输入图像的变化的更新情况。无论α调整到何值，它所更新的区域始终是背景区域。当目标由静止状态变为运动状态或由运动状态转为静止状态后，便会出现虚假运动区域。本文提出了检测效果和实时性都较好的背景差分法—改进的运行期均值法。该算法通过3个更新系数分别更新背景、非烟雾运动区域和烟雾区域，从而得到不错的检测效果。

1　背景差分法

背景差分法(Background Difference)首先需要建立一个背景模型，此模型可以是固定不变的，也可以根据情况实时更新，通过输入图像与背景图像的差来提取运动区域。应用背景差分法提取运动区域时，能得到目标较完整的形状，但其减除的背景易受到外界环境因素(如光照等)的影响。因此就要对背景图像采取自适应更新，从而降低环境变化对背景像素的干扰作用，建立适应性更强的背景模型也是该算法取得良好检测效果的关键。

在多数情况下，用于监控的摄像头是固定于一个地方，位置不发生变化。因此，背景减除法就是一个较为理想的运动区域提取方法。其基本思想是通过建立模型来近似地表达背景的像素值，用将当前图片和不断实时更新的背景图片进行相减，和背景区域差别较大的区域判断是前景区域，否则判断是背景区域。背景减除法的原理框图如图1所示。

图1　背景减除法原理框图

在背景减除法中基于背景均值的差分算法比较常见，它是通过构建一段时间内几帧图像的均值作为减除的背景。背景均值差分算法提取运动目标的过程如下：首先设置一定的帧区间，计算在此区间内所有图像对应位置处的像素平均值，将此均值作为背景模型中对应位置的像素值。然后将视频中需要检测图像和背景图像对应位置处的灰度值相减，得到差分图像。最后通过设定阈值，提取出静态区域和运动区域。背景减除法可表示为

(1)

(2)

式中：Tn为第n帧的二值化阈值。如图2所示，视频中存在车辆、行人、烟雾的运动区域提取结果。最前面图像为被检测图像，中间的是背景图像，右边为运动检测的结果。

图2　背景减除法检测图

图2所示，应用背景均值差分法提取运动目标时，可以比较准确地定位运动物体的位置和较完整的运动区域，较少出现空洞。并且算法同样有较低的复杂度，能够满足烟雾检测对实时性的要求。但是，在实际场景中，环境通常都会发生变化，所以在固定时间段内计算得到的背景均值就不能适应环境变化的影响，而会将这种干扰误当作运动区域。因此，需要一种能够实时更新的背景模型去缓解环境变化的影响。为此，不少学者提出了基于混合高斯模型的背景建模[7]、基于卡尔曼滤波的背景建模[8]、基于运行期均值法的背景建模等，使其更能适应复杂场景的技术需求。

在火灾的实时监控中，对算法的运算速度、消耗时间提出很高的要求。在烟雾发生时，只有在较短的时间内完成检测，才能及时发出警报，预防火灾的发生。光流法的计算量大就制约了其在视频烟雾检测[9]中的使用。而利用帧间差分法检测时，由于烟雾缓慢扩散的现象，又会出现大面积的空洞，造成目标区域不完整。在背景减除法中，算法实时性较好并且烟雾颜色与多数背景有明显差别。针对以上分析，本文选择了一种对运行期均值法改进的方法，具体内容将在下节中详细阐述。

2　运行期均值法及本文改进

对于视频烟雾检测，需要分析辨别视频序列中疑似烟雾的区域，而烟雾不是静止不变的，而是在发生着缓慢不规则运动，所以需要通过运动目标检测提取出视频中疑似烟雾的运动区域。然后可以在此基础上进一步对各个运动区域进行特征提取，排除非烟雾区域，达到正确检测烟雾的目的。

为了得到比较完整的烟雾检测结果，运动区域的提取需要尽量满足以下准则：1)完整性：提取出烟雾疑似区域应尽可能完整。根据烟雾的运动特性，分割尽量完整的运动区域。忽略烟雾过于淡薄的地方，以免对后续的烟雾判别造成影响。2)准确性：对于整体图像而言，分割出的疑似烟雾区域应剔除孤立的噪声点以及相对较小的干扰区域。3)实时性：算法的计算量应适中，处理时间短，满足烟雾检测对实时性要求。

2.1运行期均值法阐述

运行期均值法是一种比较经典的背景减除方法，它通过设定更新率α来实现背景图像随着输入图像的变化的更新情况。因此，背景是在不断更新的，可以提高背景图像对外界环境的适应能力。运行期均值法的更新过程可表示为

(3)

式中：更新率α满足0<α<1。背景更新的快慢与α紧密联系，α越小，背景更新得越慢，反之则更新得较迅速。利用式(3)建立背景模型，然后进行背景减除并二值化，即可得到前景图像。如图3所示，视频中存在行人、烟雾的运动区域提取结果。最前面图像为被检测图像，中间的是背景图像，两边为运动检测的结果。

图3　运动区域提取结果

在运用运行期均值法进行烟雾疑似区[10]域提取的过程中，阈值的选取成为能否完整准确地提取出烟雾疑似区域的一个关键因素。如果阈值界设定较大，则就会把过多的烟雾疑似区域判定为背景，若阈值设定过小，则会把过多的背景判定为烟雾疑似区域。并且，无论α调整到何值，它所更新的区域始终是背景区域。当目标由静止状态变为运动状态或由运动状态转为静止状态后，便会出现虚假运动区域。例如，当一个目标一段时间处于静止状态，那么该目标就会被更新到背景当中，若它由静止转为运动，在原来静止的区域内仍然能够检测出该目标，需要经过一段时间后才会从背景中消失。

2.2本文改进算法

对于运行期均值法，一般情况作如下改进：采用两个更新系数α和β，对背景像素和前景像素进行分别更新。

(4)

(5)

式中：Tn为分割阈值；Bn(i，j)代表背景点；Dn(i，j)代表前景点。

为了改善运行期均值法的运动目标提取效果，降低算法的时间复杂度，本文进一步对视频图像进行分块处理[11]，采用一种基于分块的运行期均值法提取视频图像中的运动目标。如图4所示，提取运动区域前，对图像进行分块。

图4　图像分块示意图

在提取运动区域前，首先将图像分割成大小相等的分块，每块大小为N×N(N的取值取决于视频的分辨率)。以块为单位对视频图像进行处理，既能够提高检测效率，还可以有效减少细小噪声的干扰。设Blkn为分割后的视频图像，则其可以表示为

本文中，所更新的背景由上一次获得的背景图像及当前被检测图像共同决定。因此，需要在背景更新之前先对背景进行初始化。文中的背景初始化为被检测视频的第11～15帧图像的灰度的平均值，忽略视频前10帧。这是由于在利用摄像头进行视频采集过程中，录像的开始阶段可能会产生不稳定因素，造成背景图像失真。同时又不至于遗漏过多的视频帧，造成部分烟雾图像漏检。由于初始化的背景是视频连续几帧的平均值，可能并不能真实反映背景情况，但在以后的背景更新中背景和前景的准确度会得到改善。在运动区域提取当中，对于烟雾检测来说，由于其缓慢扩散的特性，如果烟雾区域过多地更新到了背景当中，造成当前图像和背景图像在烟雾区域对比度降低，从而影响烟雾区域的提取。因此本文中作如下改进：对于已经检测到为烟雾的分块，在背景更新中赋予较小的更新率或者不更新。具体方法如下：

1)本文的背景更新在烟雾检测完成后进行，即假设烟雾检测完成后，如

(7)

式(7)中出现的3种特征为颜色特征、背景模糊特征和运动方向特征。本文中的背景图像是在对当前图像做完检测以后才做更新。

Dn+1=In+1-Bn+1

(8)

(9)

2)本文对运动区域判别中的阈值Tn做了自适应跟踪。根据当前图像灰度的平均值去更新阈值。设第n帧图像的灰度平均值是Gn，若Gn比较大，那么说明在该帧图像中出现烟雾的可能性比较大。分割阈值Tn就设定得稍大些，定为Tn=Gn/3。这样能够将烟雾区域保留，并且尽可能剔除干扰区域。如果当前帧的平均灰度值比较小，那么就以较小的固定值作为分割阈值。这样如果视频中存在较小的运动区域，也能够在分割后得到保留，不至于将烟雾区域当作噪声剔除。如图5所示，为改进的运行期均值法提取运动区域的检测结果。

图5　改进的运行期检测图

本文算法采取对满足烟雾颜色、背景模糊和运动方向3种特征的区域不进行更新，所以满足上述特征的区域还是原来的背景，这样在进行背景减除时，烟雾区域会获得很好的检测效果，如图5所示将运动目标(人、烟雾)完整准确地提取出来。

3　连通区域剔除

对于烟雾检测中，用来表示区域运动或静止的二值图，需要用像素间的连通性确定划分成的区域。通过计算所划分区域的大小排除一些干扰块，进一步排除非烟雾区域。所谓的四连通区域，是指原始位置的上、下、左、右是目标区域紧邻的位置，统计时将这4个方向的分块当作一个区域。八连通区域，指对在四连通域的基础上还包括左上、右上、左下、右下四个斜向相邻位置，共8个方向。四连通域为八连通域的子集，也就是若某区域为四连通域则肯定是八连通的。连通域标记如图6所示。

图6　连通区域标记

图6中每个方框代表图像中分块。对于四连通域，将图6a中3个颜色不相同的分块处理成不同的区域；而图6b中，八连通域指，将3个不同颜色的分块按一个区域处理。

四连通和八连通区域定义为

N4(p)=(i,j)∪(i,j+1)∪(i,j-1)∪(i+1,j)∪(i-

1,j)

(10)

N8(p)=N4∪(i+1,j+1),(i+1,j-1),(i-1,j+

1),(i-1,j-1)

(11)

本文中采用八连通区域对分块进行处理，将区域内分块数小于或等于3个运动分块的区域剔除，从而降低噪声对烟雾检测的影响。

4　实验结果及分析

图7与图8分别为运行期均值法以及改进的运行期均值法检测的运动区域。

图8　改进的运行期均值法检测的运动区域

运行期均值法(图7)进行烟雾疑似区域提取的过程中，把烟雾过多地判定为背景，使得烟雾检测的效果很不好。图8中则大大改善运行期均值法提取运动目标的效果，将运动区域完整准确地检测出来。阈值的选取成为能否完整准确地提取出烟雾疑似区域的关键因素。如果阈值界设定较大，则就会把过多的烟雾疑似区域判定为背景，若阈值设定过小，则会把过多的背景判定为烟雾疑似区域。

5　小结

本文介绍了基于运行期均值的背景差分法，并对此作出改进，应用3个参数去更新背景，同时结合连通域面积消除小干扰区域的影响。算法通过把图像适当分块，降低后续烟雾特征提取中的复杂度。然后应用本文提出的方法进行背景更新、阈值分割，并应用形态学方法处理降低噪声影响。最后，讲述了连通区域分割，通过利用八连通域进行区域分割，将分块个数小于某个阈值的区域剔除。实验结果表明，该方法得到的疑似烟雾区域检测效果较好，为后续进行烟雾检测以及特征分析处理做好准备。

[1]罗胜，YUZHENG J.视频检测烟雾的研究现状[J].中国图象图形学报，2013，18(10)：1225-1236.

[2]BARRON J L. On optical flow[C]// Proc. AIICSR. Bratislava，Slovakia：IEEE，1994：3-14.

[3]YA-DONG Y. Theory and application of optical flow method in the moving target identification[J]. Electronic design engineering，2013,21(5):24-26.

[4]LIPTON A， FUJIYOSHI H， PATIL R. Moving target classification and tracking from real-time video[C]//Proc. IEEE Workshop in Applications of Computer Vision. Princeton， New Jersey： IEEE Computer Society，1988：8-14.

[5]郑璐，陈俊周.基于运动和颜色的视频烟雾检测算法[J]. 计算机工程与设计，2010， 31(21)：4650-4652.

[6]SONGLIN W， HAODONG L， TAIFANG W， et al. Moving target detection algorithm research based on background subtraction method[C]//Proc. 3rd International Conference on Multimedia Technology(ICMT-13).[S.l.]：IEEE，2013：1179-1186.

[7]STAUFFER C，GRIMSON W.E.L. Adaptive background mixture models for real-time tracking[C]//Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Florence，Italy：Springer，1999：246-252.

[8]CHRISTOF R，MUNKELT O，KIRCHNER H. Adaptive background estimation and foreground detection using Kalman-filtering[C]//Proc. the International Conference on recent Advances in Mechatronics， Istanbul， Turkey：UNESCO Chair on Mechatronics，1995：193-199.

[9]何大超，娄小平，唐辉. 基于动态特性的实时视频烟雾检测[J]. 计算机应用与软件， 2014 (2)：201-204.

[10]章巧娟. 基于图像处理的室内视频火灾烟雾识别方法[D]. 武汉：华中科技大学， 2011.

[11]李文辉，肖林厂，王莹，等. 一种基于块的视频烟雾检测算法[J]. 吉林大学学报(理学版)， 2012(50)：979-986.

刘颖(1972— )，女，高级工程师，博士，主要研究方向为图像与视频检索；

顾小东(1988— )，硕士，主研视频图像处理；

杜久玲(1989— )，女，硕士生，主研基于局部特征的刑侦图像检索；

王倩(1983— )，女，讲师，博士，主要研究方向为图像与视频的智能分析。

责任编辑：闫雯雯

Fire smoke detection method based on multi-feature running average method

LIU Ying ，GU Xiaodong， DU Jiuling，WANG Qian

(CenterforImageandInformationProcessing，Xi’anUniversityofPostsandTelecommunications，Xi’an710061，China)

For detecting smoke which is sign of fire， the “hole” phenomenon which is in the task of smoke detection is resolved in this paper. Considering the non-rigid nature of smoke， the color， blurred background and motion direction are all included to model the process of renewing background. And then the small noise regions are eliminated based on connected area. The improved run-average method is more robust than the one based on single feature. The experimental results show that the proposed method can accurately and efficiently detect the smoke area in video.

smoke region detection； running average； multi-feature fusion

TN911.73

A

10.16280/j.videoe.2016.09.019

国家自然科学基金青年项目(61202183；41504115)；陕西省百人计划项目；公安部科技强警基础工作专项项目(2015GABJC50)；陕西省自然科学基础研究计划项目(2015JQ6223)

2015-11-28

文献引用格式：刘颖，顾小东，杜久玲，等. 基于多特征融合运行期均值法的烟雾检测算法[J].电视技术，2016，40(9)：95-99.

LIU Y，GU X D， DU J L，et al. Fire smoke detection method based on multi-feature running average method[J]. Video engineering，2016，40(9)：95-99.