基于Surfacelet变换和动态纹理的烟雾检测

叶 威,赵俭辉,2,赵 洋,2,王 勇

(1.武汉大学计算机学院,武汉430072;2.武汉大学苏州研究院,江苏苏州215123)

基于Surfacelet变换和动态纹理的烟雾检测

叶 威1,赵俭辉1,2,赵 洋1,2,王 勇1

(1.武汉大学计算机学院,武汉430072;2.武汉大学苏州研究院,江苏苏州215123)

鉴于烟雾检测对火灾预警的重要作用,提出一种基于Surfacelet变换的动态纹理烟雾检测算法。先对图像序列进行Surfacelet变换,再对变换后的系数进行广义高斯建模,获得与系数相对应的模型参数作为特征,最后使用KL距离做相似性度量。与其他3种基于Surfacelet变换的烟雾检测方法进行对比,包括:使用均值和方差作为特征,支持向量机进行分类;使用均值和方差作为特征,欧式距离进行相似性度量;使用广义高斯模型参数作为特征,欧式距离进行相似性度量。实验结果表明,该算法可以提高烟雾检测准确性,降低误检率,有效去除类烟运动物体的干扰。

Surfacelet变换;动态纹理;广义高斯模型;KL距离;支持向量机;欧氏距离

1 概述

火灾是一种多发性的灾害[1],不仅会给人类的社会生产和生活带来巨大损失,而且严重威胁了人身财产安全,因而世界各国都十分重视火灾的预防和警报,“烟为火始”,火灾发生的前期通常会产生烟,因此,基于计算机视觉的烟雾识别在火灾的快速检测中十分重要。

目前国内外学者在基于图像处理的烟雾检测方面取得了许多研究成果,这些方法所采用的特征主要包括颜色、形状、运动、纹理。文献[2]提出了使用普通CCD摄像机传感器的烟雾探测系统,先通过一个背景模型来提取烟的区域,然后通过贝叶斯方法进行检测,使用颜色信息和小波变换系数来分析图像能量;文献[3]提出使用背景估计和颜色特征确定烟的候选区域,通过Lucas Kanade方法来计算候选区域的光流场,Back Propagation神经网络方法则被用来划分区域特征;文献[4]提出基于积分图像的运动累积模型来快速估计烟的运动方向;此后,文献[5]又提出使用双映射框架和AdaBoost相结合的方法来检测烟;文献[6]提出了检测隧道环境中烟的方法,颜色和运动特征被用来减少隧道环境中的错误检测,通过检测,测试和验证程序可以获得事件早期阶段的准确位置;文献[7]使用基于灰度共生矩阵的纹理分析方法来实时检测烟雾;文献[8]使用小波和支持向量机来刻画烟;文献[9]用纹理分析和SVM检测烟,首先提取运动区域作为候选烟区域,然后通过纹理分析方法获得图像的特征向量,最后用SVM来区分烟和非烟;文献[10]提出算法用于检测户外森林中的烟,首先用双三次插值算法对图像进行预处理,再使用平稳小波变换去除垂直、水平、对角方向的高频细节,最后使用烟雾验证算法确定ROI区域是增加还是减少。

从对以上方法的描述中可以发现,纹理是烟雾检测使用最多的图像特征,主要分为单帧纹理和连续帧纹理。基于单帧纹理的方法只考虑了烟雾的静态特征,但在火灾燃烧过程中,烟雾具有持续变化的特性,这些变化在单帧图像中是无法体现的,只有在连续图像序列中才能表现出来。而传统的基于连续帧纹理的方法,虽考虑了帧间的关系,但对连续帧间变化的实质性描述仍不够充分,尤其是难以区分与烟雾静态及动态特征都相似的对象,例如白色火焰、喷泉、浪花、瀑布等。

相较而言,动态纹理是传统纹理在时间域的扩展,它是指描述某种动态景观的具有时间相关重复特征的图像序列,是一类比较特殊的视频数据[11];现有的动态纹理识别方法主要有4类[12],包括基于光流场的方法、基于时空几何属性的方法、基于局部时空滤波的方法和基于模型参数的方法。动态纹理是描述三维数据的一种方法,而Surfacelet变换[13-14]是一种可以表征多维度的多分辨率变换,同时能够捕捉信号的奇异性变化的模型,这种特性使其比较适合于处理动态纹理数据。

动态纹理数据在经过Surfacelet变换之后,可获得视频的三维系数子带,但Surfacelet变换往往产生大量系数,并不适合直接用于分析比较。考虑到Surfacelet变换域各系数子带近似服从高斯分布,用广义高斯模型[15]可以较好地拟合各子带系数,然后再用高斯模型参数进行动态纹理特征的描述。这样,一段视频可以通过一系列广义高斯模型加以表达,在进行视频区分时,KL距离可以衡量出这些模型之间的差异。

基于Surfacelet变换和广义高斯模型,本文提出了一种新的动态纹理烟雾检测算法。

2 图像序列的Surfacelet变换

由于烟雾的逐渐扩散会导致图像中背景的纹理和边缘信息变得模糊,纹理和边缘对应着图像中的高频信息,而Surfacelet变换可以很好地捕获这些信息的变化,因此用Surfacelet变换非常适合于表征烟一类的动态纹理数据,进行烟的识别。该变换主要包括2个过程:多尺度分解和三维方向滤波器组(3D-DFB)分解。多尺度分解是用塔形结构从信号生成高频和低频部分;而方向滤波器组则是将信号分成不同方向的方向子带。

2.1 多尺度分解

因为3D-DFB只能处理信号的高频部分,所以在信号通过3D-DFB之前,需要先进行多尺度分解。在Contourlet变换中,图像的多尺度分解由拉普拉斯金字塔实现,而在Surfacelet变换中,则采用一种的新的塔式结构来实现对图像序列的多尺度分解(如图1所示),具体步骤如下:

(1)将图像序列分别通过高通滤波器H()和低通滤波器L(),分解得到对应信号的高频成分和低频成分;

(2)判断信号是否已经分解至用户预先设定的层数,是则得到多尺度分解后的三维信号;否则转至步骤(3);

(3)对信号的低频部分进行2倍的上采样操作U(2);

(4)通过反混叠滤波器S()减弱上采样操作带来的频谱混叠现象;

(5)进行3倍的下采样操作D(3)以获得1.5倍的下采样;

(6)将步骤(5)中获得信号作为新的图像序列,转至步骤(1)迭代执行。

图1 多尺度分解

2.2 多方向分解

通过三维方向滤波器组对从多尺度分解中所获得的每一尺度的高频信号实现多方向分解(如图2所示),具体步骤如下:

(1)基于n1n2平面,通过2D-DFB分解三维高频信号获得楔形子带;

(2)基于n1n3平面,通过另一个2D-DFB分解三维高频信号同样获得楔形子带;

(3)由以上2个楔形子带重合形成一个沿n1轴方向的塔形子带,通过2个2D-DFB构造了一个3D-DFB;

(4)用同样的方式获得沿n2轴和n3轴方向的塔形子带;

(5)将不同尺度不同方向的分解子带作为Surfacelet变换后的系数矩阵,也即图像序列经Surfacelet变换后的结果。

图2 图像序列的多方向分解

实验中,对于输入一个大小为272×480×64的烟视频信号,选择对其进行两层分解,每层分解方向统一为4方向,分解后各个子带的详细信息如图3所示。

图3 烟视频信号两层分解后的子带信息

2.3 Surfacelet变换后的系数特点

Surfacelet变换后的各个层系数之间存在着一定的关系,Surfacelet变换和小波变换相类似,是一种很好的时频分析工具,它具有三级特性:“初级特性”,“二级特性”,“三级特性”。初级特性表明Surfacelet变换具有能量紧支性和去相关性;二级特性表明Surfacelet变换具有非高斯性、聚集性和尺度间的持续性;三级特性是持续性的进一步观察的结果,反映的是信号所固有的自相似性。

Surfacelet变换可以被视为是在多个方向上表达影像各尺度的奇异性的一种多尺度边缘检测器,在平滑区域,Surfacelet变换后的系数具有较小的幅值,而具有奇异点的位置则具有较大的幅值。在小波变换当中,给定尺度上相邻的4个小波系数与相邻的较低分辨率尺度上的一个小波系数相对应,这样就会形成小波系数的四叉树结构。而对于Surfacelet变换,给定尺度上的系数的数目是相邻的较低分辨率尺度上的系数数目的8倍,这一点可以从图4中看出,对比第一层分解方向组1中子带272×240× 32与第二层分解方向组1中子带136×120×16,可以发现前者刚好是后者的8倍。同时,Surfacelet变换后,给定尺度上相邻的8个系数是与相邻较低分辨率尺度上的一个系数相对应,这样就可以形成一个八叉树结构,如图4所示。

图4 八叉树结构(某一层的情况)

八叉树上的每一分支上的节点表示Surfacelet变换后不同尺度同一方向子带中的系数,体现了尺度间的持续性。从当前节点出发沿着八叉树的某一分支一直到根节点,这条路径上经过的所有节点都是当前节点的祖先节点,子节点的分布特性由父节点所决定。

3 广义高斯建模和KL距离度量

3.1 广义高斯建模

广义高斯分布是一类以高斯分布、拉普拉斯分布为特例的对称分布,它在信号处理和图像处理领域都有广泛的应用。在有关广义高斯的应用中,相关参数的估计是一个关键问题,同时关于估计的收敛性质的探讨也十分有意义,本文采用矩估计方法来讨论广义高斯分布的参数。

通过观察Surfacelet变换的系数分布情况可以发现,变换后的系数大部分分布在零点左右,只有少量系数的绝对值比较大,也就是说变换后的系数能量多集中于有限的变换域系数上,所以这种系数的分布特点会在零点处产生一个尖峰,并且会有一个很长的拖尾,这种分布特性是由Surfacelet变换的能量紧支性所决定的,它和广义高斯分布特点非常接近。因而本文采用广义高斯模型对Surfacelet变换分解后的系数子带如136×120×16子带进行建模。广义高斯模型由尺度参数α和形状参数β来完成,广义高斯分布的概率密度函数(PDF)定义如下:

由上式可以得到β的矩估计为:

而α的矩估计为:

其中:

3.2 基于KL距离的相似性度量

KL距离是Kullback-Leibler的简称,也被叫作相对熵,它是信息论中的一个重要概念。它可以衡量相同事件空间里2个概率分布的差异情况,所以也能够计算2个广义高斯分布的差异。

假设有2个数据样本(在本文中就是对动态纹理进行Surfacelet变换的某一子带系数矩阵)X1= (x1,x2,…xN)和Y1=(y1,y2,…yN),建立的广义高斯模型参数分别为θ1=(α1,β1)和θ2=(α2,β2),则两者的概率分布可以表示为p(X1;α1,β1)和p(Y1;α2,β2),则两者之间的KL距离计算公式如下:

4 基于Surfacelet变换的动态纹理烟雾检测

首先要构造2个标准动态纹理库DB正(存放烟视频样本)和DB负(存放白色火焰,喷泉,瀑布,浪花等非烟样本),然后,建立标准模型参数库DB来存储标准库中动态纹理模型的各个子带系数的广义高斯模型参数α和β。假定选择L段动态纹理作为标准动态纹理,其中每个动态纹理经过Surfacelet变换后都被分解为N个子带,则每个动态纹理的特征向量包含的是这N个子带的广义高斯模型的参数,其中第i个动态纹理的特征向量θi=[M1M2,…,MN],其中,Mi=[αi,βi],因而此时模型参数库DB=[θ1,θ2,…,θL]。结合第2部分和第3部分,基于动态纹理的烟检测算法包括以下步骤:

(1)首先对某一个输入的种类未知的动态纹理进行Surfacelet变换,获得变换后的系数子带;

(2)对每一个子带建立广义高斯模型,将得到的所有子带的模型参数合为一个向量M表征该类动态纹理;

(3)计算M和标准模型参数库DB中所有类别的广义高斯模型的KL距离,假定有2个特征向量分别为:

则这2个特征向量基于KL距离的相似性度为:

这一步计算时有2种方法:平均距离法(AD)和最小距离法(MD)。使用MD方法时,距离最小的那个动态纹理的类别便是输入的待判定的动态纹理的种类,使用AD方法时,与某类动态纹理所有模型间的平均距离最小的那个类别便是输入待判定的动态纹理种类。

5 实验结果与分析

为了进一步评估算法的性能,本文在相同的正负标准库下,用以下2种基于Surfacelet变换的方法进行实验,并和该文提出的算法进行了对比,3种算法的描述如下:

算法1使用Surfacelet变换后的各个系数子带的能量均值和方差作为特征,使用已用正负样本训练好的svm分类器来识别测试样本中是否有烟。

算法2使用Surfacelet变换后的各个系数子带的能量均值和方差作为特征,同时使用欧式距离作为相似性度量。

算法3使用广义高斯模型对Surfacelet变换后的各子带的系数进行广义高斯建模,并使用模型的参数作为特征,然后使用欧式距离进行相似性度量。

算法4即是本文算法。

实验中,该文选取了一些和烟相类似的动态纹理如喷泉、瀑布、白色的火焰、白色的浪花等来进行实验,这样可以更好地反映算法的性能。视频分辨率为480×272,Surfacelet变换分解层数为2层,每段视频样本经Surfacelet变换后可获得不同尺度不同方向的24个系数子带。本文用于测试的视频段数目为200个,包括100个烟样本和100个非烟样本。部分烟样本视频截图如图5所示,部分非烟视频样本如图6所示,从左往右,第1行分别为白色火焰、喷泉,第2行分别为浪花、瀑布。

图5 烟雾样本视频截图

图6 非烟雾样本视频截图

使用3个指标来评价算法的性能:误检数,漏检数,识别率。误检数是指测试样本中的非烟样本被判定为烟样本的数目;漏检数是指测试样本中的烟样本被判定为非烟样本的数目;识别率是指测试样本中被正确识别的样本占总的测试样本的比例。具体的实验结果如表1和表2所示。

表1 基于AD方法的实验结果比较

表2 基于MD方法的实验结果比较

算法1和算法2直接选用系数子带的能量平均值和方差作为特征过于粗糙,因为通过前文介绍可以发现图像序列在经过Surfacelet变换以后,系数大部分都在0左右,这些系数所包含的能量很少,所以用能量平均值对动态纹理特性进行刻画必然不会很深刻。而且这种方法是把分解后的每个系数都看成了同等的地位,而Surfacelet变换后的系数的主要特征基本都集中在少数绝对值比较大的系数上面。所以算法1和算法2中的特征提取算法不太合理,主要原因就是没有对Surfacelet变换的系数结构特性进行分析。算法3对前两种算法做出了改进,选择对Surfacelet变换后的系数进行广义高斯建模,用模型来描述变换系数的分布特点与结构,这主要是由于Surfacelet变换后的各系数子带中的系数分布和广义高斯分布非常接近,用广义高斯模型可以较好拟合子带系数,进而可以使用模型参数来表征动态纹理,同时使用欧式距离做相似性度量,但欧式距离多用于反映多维空间中2个点之间的距离,存在一定的缺陷。因此,实验选用KL距离替代欧式距离(即算法4)做相似性度量工具,KL距离和欧式距离相比,可以更好地衡量相同事件空间里2个概率分布的差异,因而可以有效表征出不同广义高斯模型间的差异。KL距离越小,2个动态纹理越相似;反之,2个动态纹理间的相似度越小。

实验结果也表明,无论是基于AD方法还是MD方法,本文提出的烟识别算法准确率均为最高,同时AD方法略好于MD方法,因为使用平均距离可以比较好地消除误差,和其他3种方法相比,漏检数和误检数也最低,效果比较明显。

6 结束语

本文提出了一种新的动态纹理烟雾检测算法。与实验中其他算法不同,本文算法使用广义高斯模型来表征Surfacelet变换后的系数结构,同时使用KL距离来反映不同种类动态纹理模型参数间的差异。除了基于纹理的检测方法之外,本文算法还可以与其他特征结合,如颜色、形状、运动等,以获得更高的烟识别率。

Surfacelet变换是一种新的多维多尺度几何分析方法,具有很好的方向选择性和多层分解性,能够稀疏地表示图像视频信息。但广义高斯模型存在着一定的不足,它没有反映出Surfacelet变换后不同尺度系数子带之间的关系,即尺度间系数所具有的隐马尔科夫性。因而下一步将对以下方面进行更深入的研究:(1)使用隐马尔科夫树模型来建模Surfacelet变换后的系数;(2)加强对小波变换的学习,进一步挖掘Surfacelet变换的潜力,探索新的动态纹理变换方法,以得到更好的检索效果;(3)基于Surfacelet变换的方法通常会增加算法的时间复杂度,因此,将考虑使用并行计算来提高算法的效率。

[1] 姜明新,王洪玉,蔡兴洋.基于码本模型和多特征的早期烟雾检测[J].中国图象图形学报,2012,17(9): 1102-1108.

[2] Calderara S,Piccinini P,Cucchiara R.Vision Based Smoke Detection System Using Image Energy and Color Information[J].Machine Vision and Applications, 2011,22(4):705-719.

[3] Yu Chunyu,Fang Jun,Wang Jinjun,et al.Video Fire Smoke Detection Using Motion and Color Features[J]. Fire Technology,2012,46(3):651-663.

[4] Yuan F.A Fast Accumulative Motion Orientation Model Based onIntegralImageforVideoSmokeDetection[J].Pattern Recognition Letters,2008,29(7): 925-932.

[5] Yuan Feiniu.ADoubleMappingFrameworkfor Extraction of Shape-invariant Features Based on MultiscalePartitionswithAdaBoostforVideoSmoke Detection[J].Pattern Recognition,2012,45(12): 4326-4336.

[6] Han D,Lee B.Flame and Smoke Detection Method for Early Real-time Detection of a Tunnel Fire[J].Fire Safety Journal,2009,44(7):951-961.

[7] Yu Chunyu,Zhang Yongming,Fang Jun,et al.Texture Analysis of Smoke for Real-time Dire Detection[C]// Proceedings of the 2nd International Workshop on Computer Science and Engineering.Qingdao,China: [s.n.],2009:511-515.

[8] Gubbi J,Marusic S,Palaniswami M.Smoke Detection in Video Using Wavelets and Support Vector Machines[J]. Fire Safety Journal,2009,44(8):1110-1115.

[9] Maruta H,Nakamura A,Kurokawa F.A New Approach for Smoke Detection with Texture Analysis and Support Vector Machine[C]//Proceedings of IEEE International Symposium on Industrial Electronics.Bari,Italy:IEEE Press,2010:1550-1555.

[10] Gonzalez-Gonzalez R,Alarcon-Aquino V,Rosas-Romero R, et al.Wavelet-based Smoke Detection in Outdoor Video Sequences[C]//Proceedingsofthe53rdIEEE International Midwest Symposium on Circuits and Systems. Seattle,USA:[s.n.],2010:383-387.

[11] Soatto S,Doretto G,Wu Y N.Dynamic Textures[C]// Proceedings of the 8th International Conference on Computer Vision.Vancouver,Canada:[s.n.],2001: 439-446.

[12] Zhao Guoying,Matti P.Dynamic Texture Recognition Using Local Binary Patterns with an Application to Facial Expressions[J].IEEE Transactions on Pattern Analysis andMachineIntelligence,2007,29(6): 915-928.

[13] Lu Y,Do M N.Multidimensional Directional Filterbanks andSurfacelets[J].IEEETransactionsonImage Processing,2007,16(4):918-931.

[14] Huang W,Wang Y,Rosen D W.Inverse Surfacelet TransformforImageReconstructionwithPrior Knowledge[C]//Proceedings of 2013International Design Engineering Technical Conferences&Computers and Information in Engineering Conference.Portland, USA:[s.n.],2013:1-11.

[15] 陈 文,方向忠.图像中广义高斯噪声形状参数的近似估计[J].计算机工程,2011,37(22):204-206.

编辑 金胡考

Smoke Detection Based on Surfacelet Transform and Dynamic Texture

YE Wei1,ZHAO Jianhui1,2,ZHAO Yang1,2,WANG Yong1
(1.Computer School,Wuhan University,Wuhan 430072,China;
2.Suzhou Institute of Wuhan University,Suzhou 215123,China)

Smoke detection plays an important role in early warning of fire,so one dynamic texture recognition algorithm is proposed in this paper.Firstly,the surfacelet transform is performed on image sequences.Then a generalized Gaussian model is built for the coefficients from Surfacelet transform.The obtained model parameters are regarded as feature vector,and finally the Kullback-Leibler(KL)distance is used as the similarity measurement method.In experiments,three kinds of Surfacelet based smoke detection methods,including the use of mean and variance as feature and SVM classifier for classification;the use of mean and variance as feature and Euclidean distance as the similarity measurement method;the use of generalized Gaussian model parameters as feature and Euclidean distance as the similarity measurement tool,are implemented and used for comparison.Experimental result shows that,compared with other smoke detection methods,the new algorithm has excellent performance and lower false detection rate.

Surfacelet transform;dynamic texture;generalized Gaussian model;Kullback-Leibler(KL)distance; Support Vector Machine(SVM);Euclidean distance

叶 威,赵俭辉,赵 洋,等.基于Surfacelet变换和动态纹理的烟雾检测[J].计算机工程, 2015,41(2):203-208.

英文引用格式:Ye Wei,Zhao Jianhui,Zhao Yang,et al.Smoke Detection Based on Surfacelet Transform and Dynamic Texture[J].Computer Engineering,2015,41(2):203-208.

1000-3428(2015)02-0203-06

:A

:TP391.4

10.3969/j.issn.1000-3428.2015.02.039

湖北省自然科学基金资助项目(2009-514);苏州市国际科技合作计划基金资助项目(SH201115)。

叶 威(1989-),男,硕士研究生,主研方向:图像处理,模式识别,计算机仿真;赵俭辉(通讯作者),副教授;赵 洋、王 勇,硕士研究生。

2014-03-18

:2014-04-19E-mail:jianhuizhao@whu.edu.cn