森林背景下基于自适应区域生长法的烟雾检测

2016-06-29张炜程高陈强

重庆邮电大学学报(自然科学版) 2016年1期

关键词：支持向量机

张炜程，李　佩，高陈强

(重庆邮电大学信号与信息处理重庆市重点实验室，重庆 400065)

森林背景下基于自适应区域生长法的烟雾检测

张炜程，李佩，高陈强

(重庆邮电大学信号与信息处理重庆市重点实验室，重庆 400065)

摘要：森林背景下，有效的烟雾检测在避免大规模森林火灾方面具有极其重要的意义。当前的研究对烟雾移动得很慢或没有清晰背景的情况下往往表现较差的性能，提出一种针对烟雾检测的自适应区域生长法。采用改进的卡尔曼滤波检测出运动区域，假设烟雾的亮度与视频照度之间存在线性关系，采用支持向量机(support vector machine, SVM)线性回归方法得到烟雾亮度的近似范围，并定义亮度约束，基于检测得到的运动区域，同时考虑亮度约束和纹理约束，蔓延出烟雾区域的主要部分，提取基于区域的特征来做SVM分类。对比实验结果表明，该方法优于传统的方法，并具有更强的鲁棒性。

关键词：烟雾检测；自适应区域生长法；亮度约束；支持向量机

0引言

烟雾检测是火灾预警系统中的一个重要环节，这是因为在监控录像中，烟雾通常出现在火焰之前。由于森林火灾一直是备受关注的问题，通过视频分析来有效地检测烟雾已经引起了广泛的关注。

近年来，国内外研究人员提出了许多烟雾检测方法。Yu Cu[1]使用灰度共生矩阵(gray level co-occurrence matrices, GLCM)来研究烟雾的纹理特性，但只针对单张图片上是否存在烟雾。Toreyin[2]研究了烟雾在小波空间中的特性，在此基础上，Jiaqiu Chen[3]进一步改进了他们的方法，通过一个简单的红绿蓝(red green blue, RGB)颜色约束，排除了纯色物体在小波域中对烟雾检测的干扰。Hongda Tian[4]主要研究了烟雾在灰度空间的特性，通过提取局部二进制模式(local binary patterns, LBP)特征来识别烟雾。Angelo Genoves[5]通过提取基于整个运动区域的多样特征进行融合来检测烟雾。B.C.Ko[6]通过提取烟雾的方向梯度直方图(histogram of gradient, HOG)特征来识别烟雾，并且专门针对森林背景下的烟雾情况进行了研究。

一般来说，烟雾检测分为2个步骤：①检测出运动区域；②识别检测得到的运动区域是否是烟雾。对于第一步，主要方法是利用改进的卡尔曼滤波[2-3，5]或者高斯混合建模(gaussian mixture model, GMM)[4]来估计出背景，然后通过对当前图像与背景的差分得出运动区域。但当视频中出现烟雾运动过慢的情况时，改进的卡尔曼滤波会由于运动区域太小，很难分离出完整的烟雾区域；高斯混合建模又对视频背景有要求，如果视频的第一帧就存在烟雾，则需要大量的学习时间才能估计出干净的背景。对于第二步，主要方法是提取相适应的区域特征进行进一步分析，可分为针对块的特征和针对区域的特征。对于块的特征一般比较单一，主要有小波特征[2-3]，纹理特征[1]，LBP[4]和HOG[6]；对于区域的特征更为多元化，如Angelo Genovese[5]就提取了运动、颜色、边缘、生长的区域、上升的区域、边界无序性6个特征进行融合。这些特征提取之后一般用来训练一个合适的分类器，利用分类器来识别烟雾。

总体上，当前的研究对烟雾移动得很慢或没有清晰背景的情况下往往表现较差的性能，为此，本文提出一种基于自适应区域生长的烟雾检测方法。该方法在于更完整地分离出烟雾区域。首先对烟雾亮度和视频亮度的统计特性进行研究，得出烟雾亮度与视频亮度之间的关系；然后采用改进的卡尔曼滤波检测出运动区域；最后以估计得到的烟雾亮度范围以及烟雾本身的纹理特性作为约束条件，基于已检测的运动区域自适应地进行区域生长，直到蔓延出大部分烟雾区域。该方法不仅克服了烟雾运动过慢时检测不出烟雾区域的问题，同时也不存在视频第一帧必须不存在烟雾的要求。在分离出较为完整的烟雾区域后，针对每个区域提取纹理、颜色、边界无序性这几个我们认为更能突出烟雾特征的特性来训练支持向量机(support vector machine, SVM)分类器，从而能使用分类器来识别出该区域是否是烟雾。实验结果表明，该方法优于传统的方法，并具有更强的鲁棒性。

1本文方法的算法流程图

本文提出的烟雾检测算法流程如图1所示。首先，输入视频图像序列，采用改进的卡尔曼滤波检测得到运动区域；然后，采用提出的自适应区域生长法进一步分离出较为完整的候选烟雾区域；接着，对候选烟雾区域提取显著的烟雾特征，用来训练SVM分类器，训练好的SVM分类型可以用来对分离出的候选烟雾区域进行烟雾识别，判断该区域是否是烟雾；最后，决定是否报警。

图1　算法流程图Fig.1　Flow chart of algorithm

2基于区域生长的潜在烟雾区域检测

2.1运动区域检测

考虑到图像中的烟雾可能存在不动的情况(如大块烟雾中的中心区域)，本文没有选择常用的GMM来估计背景，而是选择Collins[7]提出的背景估计方法。但正如引言中所述，该方法实质上是一种卡尔曼滤波，原理框图如图2所示。

图2　卡尔曼滤波原理框图Fig.2　Block diagram of Kelman filter

这种卡尔曼滤波可以进一步改进以适应本文的算法。设视频第一帧为背景帧，通过简单的差分得到运动区域。

(1)

(1)式中：Mk表示运动区域的像素点的位置，Ik表示当前帧，Bk表示当前背景帧，k表示帧数；Thb是一个预先设定的阈值，取值一般是[20,40]，本文中取值为35。当Mk(i,j)等于1时，这个位置的像素就属于运动区域。接着，可以利用(2)式来更新背景。

(2)

(2)式中：Bk+1表示更新后的背景；gk表示更新因子；β表示背景因子；α表示运动因子。α和β的取值为[0,1]。在本文中，α取值为0.05，β取值为0.12。

2.2自适应区域生长法

2.2.1亮度约束

根据Narasimhan和Nayar[8]提出的2个基本的大气散射模型(衰减和空气光模型)，当烟雾存在时，将作为介质衰减背景反射的光线。同时，烟雾也会产生空气光，类似于在大气中存在一个散射的光源。假设视频中不存在特定点的光源以及烟雾的散射系数在可见光波长下改变得不明显，那么可以推测烟雾区域的亮度信息跟整个图像的亮度信息之间存在着联系。为了找出两者之间的关系，需要先将当前帧Ik从RGB色彩空间转换到YUV色彩空间。

(3)

然后，设f表示图像亮度的平均值，它可以由(4)式建模成s和b的线性组合。

(4)

(4)式中：n表示模型噪声；b表示背景亮度的平均值；s表示前景中烟雾区域亮度的平均值；σ1和σ2是拟合系数。可以重写(4)式成

(5)

(6)

(6)式中：y,u,v分别是像素点分别在YUV三通道中的值；Tu和Tv是实验所得的经验阈值。(6)式将在2.2.3节中作为亮度约束来同时约束种子点的选取和生长。

2.2.2纹理约束

一般来说，烟雾总是灰色的，而且亮度具有一致性和平滑性。采用基于亮度直方图的统计属性来对检测到的区域进行纹理分析[9]。在YUV空间中的Y空间，均值的第n阶矩表示为

(7)

(7)式中：zi表示像素值的一个随机变量；p(z)是一个区域中的灰度级的直方图；L是可能的灰度级数，这里L=255。而

(8)

则是均值灰度值。进一步选取基于这两者得到的平滑度和一致性作为纹理的描绘子。

(9)

(10)

(9)—(10)式中：R代表区域中亮度的相对平滑度度量；σ2表示区域中亮度的方差；U表示一致性的度量。平滑度R和一致性Con将由(11)式在2.2.3节中作为纹理约束来约束自适应区域生长法的停止规则。

(11)

(11)式中，TR和TU是实验所得的经验阈值。

2.2.3区域生长法

区域生长的基本思想是将具有相似性质的像素集合起来构成区域。首先，对每个需要分割的区域找出一个种子像素作为生长的起点；然后，将那些预定义属性类似于种子的邻域像素附加到每个种子上。而新的象素继续做种子向四周生长, 直到再没有满足条件的像素可以包括进来, 一个区域就生长而成了。

本文中所使用的自适应区域生长法主要有以下几个步骤。

1)在运动检测分割出的运动区域中，找到符合(6)式亮度约束的像素点区域，并通过形态学腐蚀操作选出种子点。

2)以这些像素为中心，检查相邻像素，如果相邻像素与种子点满足(6)式，同时两者之间的亮度值差异小于预设的阈值，则将它们合并。

3)检查新合并的区域的纹理特性是否满足(11)式纹理约束。满足，则以新合并的像素为中心，继续进行步骤2)，直到区域不能进一步扩张；不满足，则终止生长。具体过程如图3所示。

图3中的每一个小方块代表一个像素点，其中“+”代表生长种子点，“*”代表候选像素点，黑色的方块代表确定下的生长区域，“-”代表不符合生长准则的像素点。最后黑色方块的区域就是蔓延出的潜在烟雾区域的像素点。

3烟雾识别

3.1特征表达

基于分离出的候选烟雾区域，我们将为每个区域自适应地生成一个块，并对每一个块提取如下几个较为显著的特征。

3.1.1纹理特征

在2.2.2节中平滑度和一致性作为区域生长法的终止准则，在一定程度上约束了烟雾区域的纹理。但为了更完整地描述烟雾区域的纹理特征，进一步提取了如下特征。

1)熵是图像的随机性度量，能表达图像的复杂度，表示为

(12)

2)三阶矩可以衡量直方图的偏斜，表示为

(13)

3)标准偏差可以度量平均对比度，表示为

(14)

再加上2.2.2节中的(8)—(10)式，最后进行统一的归一化处理作为纹理特征。

由于烟雾总是灰色的，JiaqiuChen[10]利用了多个视觉通道来描述烟雾的颜色特征。同样地，我们也选择Walther[10]提出的红绿约束(RG)和蓝黄约束(BY)作为颜色特征，他们可由(15)，(16)式得到

(15)

(16)

(15)—(16)式中：Ω为区域中像素的集合；SΩ为区域中像素点个数的总和；ri,gi,bi分别为对应像素点的RGB三通道中的值。

3.1.3边界无序性特征

考虑到烟雾边界的无序性比较突出，选择AngeloGenovese[5]文中所使用的边界无序性作为特征，每个区域的边界无序性可由(17)式获得。

(17)

(17)式中：Ri是第i个区域的边界无序性数值；Pi和Ai分别是第i个区域的周长和面积；而N则是检测出的区域的总数。

3.2烟雾识别分类器

当上述基于区域的特征提取完成后，这些特征向量通过归一化处理融合成一个特征向量，并作为正样本和负样本来训练一个分类器，进而可以用来分类新的区域。我们选择SVM分类器来做烟雾检测，因为SVM是一种小样本学习方法，大大简化了通常的分类和回归等问题，且对于核函数的选择使得SVM能满足各式各样的实验要求。本文中选择的是径向基函数(radial basis function, RBF)。

4实验结果和讨论

本文中提出的方法采用MATLAB R2013a开发环境。使用7个视频序列来测试提出的算法，并与Toreyin[2]和Hongda Tian[4]提出的算法进行了对比实验。实验中采用的视频序列分别来自2个开放的数据库。图4展示了提出算法的实验结果，其中视频1,2和3来自Toreyin[2]的数据库，其余视频来自B.C. Ko[6]的数据库。从图4中可以看出，本文方法可以有效地检测不同森林背景下，不同尺度的烟雾。

受断层构造分割错断，区内第1含矿带自东向西可分为3个区段：白水牛石断层以东区段(白水牛石铁矿北采区)发育2，3号两个含矿层，区内长0.8km；白水牛石断层—东石门断层区段(李山根矿区幸福岭矿段北翼、草主山铁矿)发育2，3号2个含矿层，长2.8km；东石门断层以西区段(石门铁矿走马岭矿区、太平村铁矿区)发育着1，2，3号3个含矿层，区内长5.2km。

图4　森林背景下烟雾检测的结果(图中的红色方框就是检测到的烟雾区域)Fig.4　Smoke detection results in forest background (red box in the picture is the detected smoke region)

图5　基于本文方法分离烟雾区域的结果(视频中第一帧存在烟雾)Fig.5　Results of proposed method separating smoke area (first frame of the video exist smoke)

实验中，使用了来自5个视频序列共500幅图片作为训练集，提取出每一幅图像的s，f，b和n组成500维数的列向量[s500,f500,b500,n500]，利用线性SVM进行线性回归，得到了2.2.1节中(5)式的拟合参数。如图5—7所示，其中的运动检测区域都是采用改进的卡尔曼滤波检测出的区域；候选烟雾区域是本文提出的自适应区域生长法分离出的烟雾区域。与改进的卡尔曼滤波检测方法比较，提出的方法不仅能更完整地分离出烟雾区域，且对于烟雾运动缓慢以及背景不干净的情况有更好的鲁棒性。图5显示的视频的第一帧存在烟雾，即前文所述的背景不干净的情况。从图5c中可以看出改进的卡尔曼滤波只能检测出整个烟雾区域的部分，从图5f中可以看出完整地分离出了烟雾的主体部分。图6显示的视频中，烟雾运动十分缓慢。从图6c中可以明显看出改进的卡尔曼滤波只能检测出烟雾缓慢运动的边缘，从图6f中可以看出完整地分离出了整个烟雾区域。图7显示的视频中存在运动的车辆等干扰，从图7c中可以看到改进的卡尔曼滤波检测到了车辆的运动区域，即街道上的小绿块，这为识别带来一定干扰。从图7f中可以看到本文提出的方法相当于在此基础上做了一次简单的过滤，滤除了车辆带来的干扰，只检测出了烟雾区域。最后可以明确看出，本文提出的方法能更精确并完整地分离出烟雾区域。

图6　基于本文方法分离烟雾区域的结果(视频中烟雾移动缓慢)Fig.6　Results of proposed method separating smoke area (smoke is moving very slow in the video)

图7　基于本文方法分离烟雾区域的结果(视频中存在运动的车辆)Fig.7　Results of proposed method separating smoke area (moving vehicles exist in the video)

为了客观评估本文的方法，还使用了由Jakovcevic[11]提出的全局评估指标来评估方法的性能。这个指标包括真阳性率(true positive rate, TPR)，真阴性率(true negative rate, TNR)，假阴性率(false negative rate, FNR)和假阳性率(false positive rate, FPR)。由于TNR=100-FPR且FNR=100-TPR，本文只使用TPR和FPR来进行评估，计算公式为

(18)

(18)式中：TP(真阳性)是烟雾被正确识别的帧数；FN(假阴性)是有烟但没有被识别的帧数；FP(假阳性)是无烟但被识别成有烟的帧数；TN(真阴性)是无烟被正确识别的帧数。同时还考虑到每个测试视频的帧数不一样，进一步评估了平均真阳性(average true positive rate, ATPR)和平均假阳性(average false positive rate, AFPR)。

实验中使用100个正样本和200个负样本来训练SVM分类器。在模型训练阶段，采用交叉验证选择SVM的最佳参数。本文方法和其他方法的实验结果如表1所示，其中的“-”表示对应方法没有在该测试视频上做过实验。从3种方法的ATPR和AFPR中，可以看到本文的方法性能明显优于Toreyin的方法，较优于Hongda Tian的方法。实验的总帧数有13 000帧，明显多于另2种方法。特别地，在视频1中方法的TPR比Toreyin的方法高出33.35%，这可能是由于视频1中的烟雾运动过于缓慢。而在视频7中，本文方法比Hongda Tian的方法更有效，TPR提高了6.79%，这是由于视频7中第一帧就存在烟雾，背景不干净，以至于Hongda Tian的方法在视频7中需要用前265帧来估计背景。而在视频7中，本文方法出现了1.77%的FPR，这是因为视频中存在明亮的白色房屋。本文方法在一些视频帧中由于光照出现剧烈变化而将白色房屋误识别成了烟雾。

表1　本文方法与其他方法对比的实验结果

5结论与展望

在森林背景下的烟雾检测中，实际情况是多变的。有可能因为监控镜头的转动导致背景不是很清晰。烟雾也有可能因为没有风而导致移动十分缓慢。本文介绍的针对烟雾检测的自适应区域生长模型能有效地应对这些情况，从而可以分离出更完整的烟雾区域以提高检测方法的鲁棒性。基于分离出的烟雾候选区域，采用SVM分类器对其进行分类识别。从实验结果可以看出，本文的方法取得了较好的检测效果。在未来的研究中，我们将自己采集一些更复杂的视频作为实验数据并进一步研究天空背景的干扰问题。

参考文献：

[1]CUI Y, DONG H, ZHOU E. An early fire detection method based on smoke texture analysis and discrimination[C]//Image and Signal Processing. Hainan: IEEE, 2008: 95-99.

[2]TOREYIN B U, DEDEOGLU Y, CETIN A E. Wavelet based real-time smoke detection in video[C]//European Signal Processing Conference.UK:EUSIPCO,2005:4-8.

[3]CHEN J, WANG Y, TIAN Y, et al. Wavelet based smoke detection method with RGB Contrast-image and shape constrain[C]//Visual Communications and Image Processing (VCIP). Malaysia: IEEE, 2013: 1-6.

[4]TIAN H, LI W, OGUNBONA P, et al. Smoke detection in videos using non-redundant local binary pattern-based features[C]//Multimedia Signal Processing (MMSP). Hangzhou: IEEE, 2011: 1-4.

[5]GENOVESE A, LABATI R D, PIURI V, et al. Wildfire smoke detection using computational intelligence techniques[C]//Computational Intelligence for Measurement Systems and Applications (CIMSA). Canada: IEEE, 2011: 1-6.

[6]KOBC,KWAKJY,NAMJY.Wildfiresmokedetectionusingtemporospatialfeaturesandrandomforestclassifiers[J].OpticalEngineering, 2012, 51(1): 017208-1-017208-10.

[7]LIPTONA,KANADET,FUJIYOSHIH,etal.Asystemforvideosurveillanceandmonitoring[M].Pittsburg:CarnegieMellonUniversity,theRoboticsInstitute, 2000.

[8]SRINIVASAGN,SHREEKN.VisionandtheAtmosphere[J].InternationalJournalofComputerVision, 2002, 48(3): 233-254.

[9]冈萨雷斯, 伍兹, 埃丁斯, 等. 数字图像处理:MATLAB版[M]. 北京:电子工业出版社, 2005.

GONZALES,WOODS,EDDINS,etal.Digitalimageprocessing:MATLABversion[M].Beijing:PublishingHouseofElectronicsIndustry, 2005.

[10]WALTHERD,KOCHC.Modelingattentiontosalientproto-objects[J].Neuralnetworks,2006,19(9):1395-1407.

[11]JAKOVCEVICT,SERICL,STIPANICEVD,etal.Wildfiresmoke-detectionalgorithmsevaluation[C]//VIInt,Conf,ForestFireRes.Aust:ISSNPublisher, 2010: 1-12.

Smoke detection based on adaptive region growing method in forest background

ZHANG Weicheng, LI Pei, GAO Chenqiang

(Chongqing Key Laboratory of Signal and Information Processing, Chongqing University of Posts and Telecommunications,Chongqing 400065, P.R. China)

Abstract:An effective smoke detection is very important to avoid large-scale forest fire in forest background. The current study has poor performance in the following situations where the smoke is moving very slow or there is no clear background. In order to solve these problems, a specific smoke detection with adaptive region growing method is proposed. Firstly, we use the improved Kelman filtering to detect the motion region. Secondly, the contact between smoke brightness and intensity of illumination is assumed as a linear relation, and we use SVM as a linear regression to obtain the approximate range of smoke brightness, and define this as a luminance constraint. Then we can spread out the main part of smoke region by considering the combination of luminance constraint and texture constraint based on detected motion region. Finally, some features based region has been extracted for SVM classification. Experimental results show our method outperforms the conventional methods, and have more robustness.

Keywords：smoke detection; adaptive region growing method; luminance constraint; support vector machine

DOI：10.3979/j.issn.1673-825X.2016.01.015

收稿日期：2014-11-17

修订日期：2015-10-30通讯作者：张炜程m18883863118@163.com

基金项目：国家自然科学基金(61102131)；重庆市科委自然科学基金(cstc2014jcyjA40048)；重庆邮电大学文峰创业基金(WF201404)

Foundation Items：The National Natural Science Foundation of China(61102131); The Natural Science Foundation Project of CQ CSTC(cstc2014jcyjA40048); The Cooperation of Industry Education and Academy of Chongqing University of Posts and Telecommunications (WF201404)

中图分类号：TP391.4

文献标志码：A

文章编号：1673-825X(2016)01-0100-07

作者简介：