粗糙集与区域生长的烟雾图像分割算法研究*

张 娜，王慧琴，胡 燕

西安建筑科技大学 信息与控制工程学院，西安 710055

粗糙集与区域生长的烟雾图像分割算法研究*

张 娜，王慧琴+，胡 燕

西安建筑科技大学 信息与控制工程学院，西安 710055

针对图像型火灾烟雾分割算法不能同时提取白色、灰白色和黑色烟雾的问题，提出了一种粗糙集和区域生长法相结合的烟雾图像分割算法。在RGB颜色空间提取图像的R分量，根据R分量的统计直方图构造粗糙度直方图，选取粗糙度直方图中合适的波谷值作为分割阈值，对图像进行粗分割。相对背景图像，烟雾属于运动信息，采用帧间差分法提取运动区域，排除静态干扰。烟雾具有独特的颜色特征，在RGB颜色空间建立烟雾颜色模型，去除颜色相近的运动干扰，获得疑似烟雾区域。在该区域内选择种子点，在粗糙集粗分割的结果上进行区域生长，提取出烟雾区域。实验结果表明，该算法能够同时分割出白色、灰白色和黑色烟雾，烟雾边缘不规则信息保存比较完整，与已有算法的平均分割准确率、召回率以及F值相比，分别提高了19％、21.5％、20％。

烟雾图像分割；粗糙集；区域生长；粗糙度直方图

1 引言

火灾严重威胁人类生命和财产安全，及时准确地探测到火灾的发生，能为灭火与人员疏散提供宝贵的时间，减少火灾带来的各种危害。而火灾发生初期，烟雾的出现早于明火，且不易被障碍物遮挡，更能实现火灾的早期预警。视频烟雾探测是通过分析烟雾的图像特征判断火灾是否发生。其中，疑似烟雾区域的分割是特征提取和识别的前提。目前，主要利用烟雾的运动特征、颜色特征以及能量分析进行疑似烟雾区域的分割。常用帧差法[1]、三帧差分法[2]、改进的卡尔曼滤波[3]以及高斯混合模型（Gaussian mixture model，GMM）[4-5]检测出烟雾图像中的运动区域。文献[6]利用运动历史图像（motion history image，MHI）计算当前帧中的运动区域。将烟雾的运动特征和颜色特征结合起来也是烟雾图像分割常用的一种方法。文献[7]通过烟雾的颜色和动态特征建立了显著性烟雾检测模型，提出了一种基于显著性检测的烟雾分割方法，由计算出的运动前景构造运动能量函数，对显著性谱进行估计，得到疑似烟雾区域。文献[8]提出在Lab色彩模式下进行烟雾静态特征的识别，采用背景差分法提取运动区域，通过自适应阈值生成的自适应背景进行背景更新。文献[9]利用烟雾的运动特征和能量特征，通过烟雾飘动的质心移动以及小波变换得到图像的能量，并参考烟雾的颜色特征，使用CSAdaboost算法识别烟雾区域。

火灾发生时，烟雾的颜色受燃烧材料的影响，主要表现为白色、灰白色和黑色。以上方法能解决白色、灰白色或黑色烟雾的分割问题，但均无法同时分割出不同颜色的烟雾，只研究其中一种颜色烟雾图像的分割显然是不全面的。为此，本文提出一种结合粗糙集和区域生长的烟雾分割算法，以达到同时分割出白色、灰白色和黑色烟雾的目的。将图像视为一个知识系统，利用粗糙集理论中上、下近似的概念，根据图像的粗糙度直方图，完成对烟雾图像的粗分割。同时，利用帧差法检测运动区域，然后在RGB颜色空间建立烟雾的颜色模型去除运动区域中的干扰物，在此烟雾区域中选取合适的种子点，在粗糙集分割的结果上进行区域生长，得到最终的烟雾分割结果。实验结果表明，本文算法能够有效解决不同颜色烟雾的分割问题，所分割出来的烟雾区域较完整且准确。

2 基于粗糙集的烟雾图像分割

粗糙集理论（rough sets theory）是1982年由波兰数学家Pawlak提出的一种能够定量处理不精确、不一致、不完整信息与知识的数据分析理论[10]。在该理论中，将所研究的对象组成的非空有限集合称为论域，记作U。将论域U中的任何子集X(X⊆U)称作U中的一个概念或范畴。论域U中的任何概念簇则被称作知识。粗糙集从模式分类的角度描述知识，把知识看作对对象进行分类的能力，不需任何附加的先验信息，只需集合本身所具有的信息便可完成对有用信息的提取。

2.1 粗糙集基本概念

定义1设等价关系R的等价类在论域U上形成的一个划分为{X1,X2,···,Xn}，记作U/R，其中包含的等价类记作[x]R。R={R}是论域U上的一个等价关系簇，构成信息系统即知识库K=(U,R)。若P⊆R且P≠∅，则P中的全部等价关系的交集也是一个等价关系，称为P上的不可分辨关系，记作ind(P)，且有：

定义2下近似集表示肯定属于X的对象集合，X⊆U是U上的子集，则X的R下近似为：

上近似集表示可能属于X的对象集合，则X的R上近似为：

定义3精度反映对于集合X所代表的知识认知的完全程度，精度定义如下：

用粗糙度度量对集合X的不精确程度，反映集合X所表达的知识的不完全程度，粗糙度定义为：

从以上粗糙集的基本概念可以看出，集合的不确定程度通过知识本身就可以计算出来，不需任何附加的先验信息。在图像分割中，整幅图像可以认为是个知识库，利用粗糙集不可分辨关系，上、下近似等思想，使图像分割变得简单，并具有更强的鲁棒性。

2.2 彩色图像的粗糙性度量

粗糙度直方图[11]是用图像的直方图作为下近似，Histon直方图作为上近似，计算其粗糙度而得到的。设I是一幅大小为 M×N的RGB图像，则I在R、G、B三基色分量上的统计直方图即下近似可表示为：其中，0≤g≤L-1且i∈{R,G,B}；δ(·)表示脉冲函数；I(m,n,i)表示像素I(m,n)在i分量上的灰度值；L为最大灰度级。

P×Q为像素I(m,n)的邻域，I(m,n)与该邻域内的所有像素之间的距离总和为：

其中，d(I(m,n),I(p,q))表示像素I(m,n)和像素I(p,q)之间的欧式距离：

设定一个阈值，如果该像素与邻域中的其他像素在颜色特征空间中的距离总和小于该阈值，则认为此邻域内的像素在颜色上具有同质性。同质性计算公式如下：

其中，T是给定的阈值。此时，Histon直方图即上近似定义为：

其中，0≤g≤L-1且i∈{R,G,B}。

根据粗糙集的相关概念，结合基本直方图和Histon直方图，可以求取相应灰度级的粗糙度，从而得到粗糙度直方图，粗糙度为:

其中，0≤g≤L-1且i∈{R,G,B}。基于阈值的分割算法中，直方图的波峰代表不同区域，波谷代表不同区域之间的边界。与此思想类似，粗糙性度量可以被应用到图像的分割中，即位于粗糙度直方图波峰的像素点可能位于颜色变化比较小的区域，也就是图像中的各个区域的中心，位于粗糙度直方图波谷的像素点可能位于颜色变化比较大的区域，也就是各个区域之间的边界。因此，通过选定有效的峰值，对各颜色分量的灰度划分波段，找到合适的分割阈值，就可以完成对图像的分割。

白色烟雾和黑色烟雾的上、下近似以及粗糙度直方图如图1和图2所示。

Fig.1 Rough representation of white smoke image图1 白色烟雾图像的粗糙表示

2.3 烟雾图像粗分割

对于烟雾图像，由于烟雾缺乏色调，无论是白色、灰白色或黑色烟雾，R、G、B分量的值差别均不大，即R≈G≈B。因此，本文利用彩色烟雾图像中单个R分量来度量邻域像素间的同质程度，然后构造基于R分量的粗糙度直方图，使得计算量大幅减少。

通过2.2节粗糙度函数的性质得知，需要找出粗糙度直方图中有效波峰与波谷的位置，对红色分量灰度划分波段，以便找到分割图像的阈值，从而完成对烟雾图像的分割。

本文利用波峰的分布信息，自适应选取分割阈值，具体步骤如下[12]：

步骤1由粗糙度统计直方图计算出所有峰值Pk:Pg1,Pg2,···,Pgk，gi表示峰值Pgi所属像素的灰度值，且g1＜g2＜···＜gk。

步骤3设定高度阈值Th=μ-σ，根据此阈值淘汰掉部分不重要的波峰，形成一个新的波峰序列。

步骤4设定宽度阈值Tw，通过对大量含烟雾图像的统计分析得到一个合适的宽度阈值范围，即Tw的范围为50～70。当相邻两个峰值所属灰度值的宽度小于设定的阈值时，保留较大者，淘汰另一个，这样就选出了最终的有效峰值。

步骤5选定波谷，取每两个峰值间的最小值即得到波谷。

步骤6根据所选波谷，把烟雾图像红色分量上的灰度域分成不同的波段，将每个波段内的灰度加权值作为该波段内像素的灰度平均值，从而完成对烟雾图像的粗分割。

对图1（a）中的各图像进行基于粗糙集的R分量烟雾图像粗分割，结果如图3所示。

Fig.2 Rough representation of black smoke image图2 黑色烟雾图像的粗糙表示

3 基于区域生长的烟雾图像分割

对图像R分量进行粗糙集粗分割后，可以得到若干个R分量颜色类，每一个颜色类都具有相同的灰度值。而区域生长法[13]的基本思想是以种子像素作为生长起点，将具有相似性质的像素集合起来构成一个区域。因此，可以在粗糙集粗分割的基础上进行区域生长，从而完成烟雾图像前景目标的提取。

3.1 选择区域生长的种子点

针对所要分割烟雾区域的特点，提出了一种依据烟雾的运动特性和颜色特性来自动选取种子点的方法。

Fig.3 Smoke image coarse segmentation results based on rough set图3 基于粗糙集的烟雾图像粗分割结果

（1）原始图像运动区域检测

火灾发生时，受热气的影响，烟雾的运动性明显。运动区域检测通过对图像中发生变化区域的分析提取运动目标。其中帧间差分法不仅计算简单，实时性好，而且受环境变化影响较小，因此本文使用此法提取运动区域，即：

其中，T是设定的阈值，由OSTU（最大类间方差法）确定；Fi(x,y)表示当前帧图像；Di(x,y)表示运动提取结果，运动的前景图像标记为1，背景标记为0。

（2）建立烟雾颜色模型

由于燃烧材料和燃烧条件的不同，烟雾的颜色主要表现为白色、灰白色和黑色。通过分析不同环境下，不同燃烧材料所产生的不同颜色烟雾的视频图像，在RGB颜色空间下建立适用不同颜色烟雾的颜色模型，对相邻两帧图像做差后的真彩图像做进一步处理。烟雾颜色模型为[14]：

式中，rule1、rule2表示烟雾的颜色规则，根据烟雾的颜色特性，rule1中的T1一般取15～30；rule2中的T2和T3是烟雾的亮度范围，灰白（白）色烟雾亮度范围是80～220，黑色烟雾亮度范围是20～80，因此T2取20～80，T3取80～220；如果运动区域的像素满足rule1和rule2，则将此像素标记为1，否则标记为0。

（3）确定种子点

经过（1）和（2）处理后得到疑似烟雾区域，进行形态学腐蚀处理，以缩小种子点的选择范围。腐蚀后的二值图像中，白色即为烟雾区域，在白色区域中随机选取一点，作为区域生长的种子点。本文将白色区域中的第一个像素点作为区域生长的种子点。

3.2 区域生长

根据粗糙集的烟雾图像粗分割结果，制定生长准则：

（1）在粗糙集粗分割的结果中，根据4.1节的方法选出区域生长的种子点，比较其周围4邻域中与它有相同或相似颜色特征的像素点，如果灰度差小于预先确定的阈值，则合并到种子点所在的区域中。

（2）以新合并的像素为中心，返回上一步骤，检查新像素的邻域，直到区域不能进一步扩张，当所有像素点都有了归属，则结束整个生长过程，将种子点生长出的区域标记为1，其他区域标记为0。

最后，对区域生长的二值分割结果进行形态学处理，使用开运算去除散点和毛刺。

4 实验结果与分析

本文使用Matlab 2015a开发环境，对6组不同环境下的烟雾视频进行仿真实验，验证本文算法的有效性。目前火灾视频识别还没有标准的视频数据库，本文所使用的视频来源于互联网和课题组自行拍摄的视频，视频环境描述如表1所示。

Table1 Video environment description表1 视频环境描述

Fig.4 Comparison of segmentation results by different methods图4 分割算法的分割结果对比

烟雾分割的目的是为了得到相对完整的疑似烟雾区域。本文及文献[7]、文献[8]均是将烟雾的运动特征和颜色特征结合起来进行烟雾图像分割，因此将本文与文献[7]、文献[8]的分割结果进行对比，结果如图4所示。其中，文献[7]利用烟雾的颜色特征和运动特征对图像进行非线性增强，使图像具有更好的显著性，但此种方法同时也增强了与烟雾颜色相近的非烟雾的运动区域。由于火灾发生环境以及燃烧材料的不确定性，当环境复杂或烟雾浓度较低时，无法得到完整的、不同颜色的烟雾区域，分割结果如图4（b）所示。文献[8]建立了烟雾图像在Lab颜色空间下的检测模型，分割出疑似烟雾区域，然后通过自适应阈值构造自适应背景，使用背景差分法提取出运动区域。但是由于监控环境的复杂性、燃烧材料的不确定性以及计算量较大，背景更新的速度不能根据烟雾产生的速度自适应，分割出的烟雾区域存在较大的空洞，也难以得到完整的不同颜色的烟雾区域，分割结果如图4（c）所示。本文基于文献[7]、文献[8]中的结合烟雾的运动特征和颜色特征的思想，提出将烟雾分割中常用的帧差法和烟雾RGB颜色模型分割出的烟雾区域中的一点作为种子点，而种子点区域越小，所选种子点为烟雾像素点的概率就越高。因此结合烟雾运动特征和颜色特征的分割思想得到的烟雾区域恰好可以作为种子点区域。最后，在粗糙集粗分割的结果上进行区域生长，分割结果如图4（d）所示。从分割结果可以看出，提出的算法可以分割出相对完整的烟雾区域，边界不规则信息保留也较完整，解决了文献[7]及文献[8]不能同时分割出较为完整的白色、灰白色、黑色烟雾的问题。

使用准确率（precision）、召回率（recall）和F值的平均值与文献[7]及文献[8]的分割结果进行定量比较。在烟雾图像分割中，以手动分割的二值化烟雾区域作为真实数据集合，记为A，算法分割出的烟雾区域并且从属于A的像素集合为B，不从属于A的像素集合为C。假设集合A、B、C中的像素数分别为a、b、c，则准确率、召回率和F值分别为：

F值是结合了召回率和准确率的综合评价指标，取 β2=0.3[15]。图5是将6段视频用本文算法和文献[7]、文献[8]分割结果的准确率、召回率和F值的平均值定量比较图。从图5中可以看出，本文烟雾图像分割算法的准确率、召回率和F值均高于文献[7]和文献[8]，证明了本文算法的有效性和先进性。

在分割的准确率、召回率和F值方面，本文算法优于文献[7]、文献[8]的主要原因是：利用粗糙集中知识对对象的分类能力，将“团聚”的白色、灰白色、黑色烟雾均能较为完整地分为一类；使用烟雾分割中准确性较高的帧差法，并建立烟雾的RGB颜色模型，可以较为准确地分割出烟雾区域，然后使用区域生长算法，在该区域中选取合适的种子点，在粗糙集分割的结果上进行区域生长，得到最终的烟雾分割结果。即粗糙集粗分割保证了烟雾分割结果的完整性，区域生长法中种子点的选取方法保证了分割结果的准确性。因此，将粗糙集与区域生长法结合使得烟雾分割的准确率、召回率和F值均有所提高。

Fig.5 Comparison for mean precision，recall and F value图5 平均准确率、召回率、F值比较

5 结束语

本文提出了一种粗糙集和区域生长法相结合的烟雾图像分割算法。粗糙集分割方法可以将图像分割成若干个颜色类，然后用帧差法和颜色模型分割出烟雾区域，在此区域中选取种子点，在粗糙集分割的结果图上进行区域生长，得到最终较为完整的烟雾区域的分割结果。实验结果表明，本文烟雾分割算法能够同时分割出较为完整的白色、灰白色和黑色烟雾，算法的准确率和召回率以及F值也有所提高。

[1]Yu Chunyu,Mei Zhibin,Zhang Xi.Areal-time video fire flame and smoke detection algorithm[J].Procedia Engineering,2013,62:891-898.

[2]Shi Yukun,Zhong Zhen,Zhang Dexin,et al.Astudy on smoke detection based on multi-feature[J].Journal of Signal Processing,2015,31(10):1336-1341.

[3]Zhang Weicheng,Li Pei,Gao Chenqiang.Smoke detection based on adaptive region growing method in forest background[J].Journal of Chongqing University of Posts and Telecommunications:Natural Science Edition,2016,28(1):100-106.

[4]ZenR I M,Widyanto MR,Kiswanto G,et al.Dangerous smoke classification using mathematical model of meaning[J].Procedia Engineering,2013,62:963-971.

[5]Wu Aiguo,Du Chunyan,Li Ming,et al.Smoke detection method based on mixed Gaussian model and wavelet transformation[J].Chinese Journal of Scientific Instrument,2008,29(8):1622-1626.

[6]Ho C C.Machine vision-based real-time early flame and smoke detection[J].Measurement Science and Technology,2009,20(4):045502.

[7]Jia Yang,Yuan Jie,Wang Jinjun,et al.Asaliency-based method for early smoke detection in video sequences[J].Fire Technology,2016,52(5):1271-1292.

[8]Lin Hong,Liu Zhigang,Zhao Tonglin,et al.Improved algorithm for smoking identification of the forest fire based on the video survey[J].Journal of Safety and Environment,2013,13(2):210-214.

[9]Zhao Yaqin,Li Qiujie,Zhou Gu.Early smoke detection of forest fire video using CS Adaboost algorithm[J].Optik-International Journal for Light and Electron Optics,2015,126(19):2121-2124.

[10]Lizarragamorales RA,SanchezyanezR E.Integration of color and texture cues in a rough set-based segmentation method[J].Journal of Electronic Imaging,2014,23(2):1709-1717.

[11]Cai Shidong,Yang Fang.Color image segmentation based on HSV space and rough-set theory[J].Optoelectronic Technology,2011,31(1):5-9.

[12]Xie Qi.Research on image segmentation based on rough set theory[D].Changsha:Central south University,2011.

[13]Wu Jian,Ye Feng,Ma Jianlin,et al.The segmentation and visualization of human organs based on adaptive region growing method[C]//Proceedings of the 8th International Conference on Computer and Information Technology Workshops,Sydney,Australia,Jul 8-11,2008.Washington:IEEE Computer Society,2008:439-443.

[14]Zhao Yaqin.Candidate smoke region segmentation of fire video based on rough set theory[J].Journal of Electrical and Computer Engineering,2015:11.doi:10.1155/2015/280415.[15]Ren Zhixiang,Gao Shenghua,Chia L T,et al.Region-based saliency detection and its application in object recognition[J].IEEE Transactions on Circuits&Systems for Video Technology,2014,24(5):769-779.

附中文参考文献:

[2]史玉坤,仲贞,张德馨,等.利用多特征判别的烟雾检测方法研究[J].信号处理,2015,31(10):1336-1341.

[3]张炜程,李佩,高陈强.森林背景下基于自适应区域生长法的烟雾检测[J].重庆邮电大学学报:自然科学版,2016,28(1):100-106.

[5]吴爱国,杜春燕,李明,等.基于混合高斯模型与小波变换的火灾烟雾探测[J].仪器仪表学报,2008,29(8):1622-1626.

[8]林宏,刘志刚,赵同林,等.基于视频的林火烟雾识别算法研究[J].安全与环境学报,2013,13(2):210-214.

[11]蔡式东,杨芳.一种基于HSV空间和粗糙集的彩色图像分割方法[J].光电子技术,2011,31(1):5-9.

[12]谢琪.基于粗糙集理论的图像分割研究[D].长沙:中南大学,2011.

Smoke Image SegmentationAlgorithm Based on Rough Set and Region Growing*

ZHANG Na,WANG Huiqin+,HU Yan
School of Information and Control Engineering,Xi'an University of Architecture and Technology,Xi'an 710055,China
+Corresponding author:E-mail:hqwang@xauat.edu.cn

ZHANG Na,WANG Huiqin,HU Yan.Smoke image segmentation algorithm based on rough set and region growing.Journal of Frontiers of Computer Science and Technology,2017,11(8)：1296-1304.

In view of the problem that existing image fire smoke segmentation algorithms cannot extract white,gray and black smoke at the same time,this paper proposes a new smoke image segmentation algorithm based on rough set and region growing method.It constructs the roughness histogram according to the statistical histogram ofR component extracted from RGB color space of image.And it selects appropriate wave valleys as the segmentation threshold to segment the image in a coarse way.As smoke belongs to motion information compared with background image,the frame difference method is used to extract moving region,excluding static interference.Asmoke color model in the RGB color space is established with the unique color characteristics of smoke,to remove the movement interference and obtain the candidate smoke region.The seed points are selected in the region,and region growing method is used to segment image on the results of rough set and extract the smoke region.The results show that the proposed algorithm can segment white,gray and black smoke at the same time,and the edge information of smoke is completed.Compared with the existing algorithms,the mean precision,recall and F-beta of the segmenta-tion are respectively increased by 19％,21.5％,20％.

smoke image segmentation;rough set;region growing;roughness histogram

in was born in 1970.She

the Ph.D.degree from Xi'an Jiaotong University in 2002.Now she is a professor and Ph.D.supervisor at Xi'an University of Architecture and Technology.Her research interests include digital image processing,multimedia communication,digital architecture and information safety,etc. 王慧琴（1970—），女，山西长治人，2002年于西安交通大学获得博士学位，现为西安建筑科技大学教授、博士生导师，主要研究领域为数字图像处理，多媒体通信，数字建筑，信息安全等。

ZHANG Na was born in 1991.She is an M.S.candidate at School of Information and Control Engineering,Xi'an University ofArchitecture and Technology.Her research interest is digital image processing.张娜（1991—），女，陕西兴平人，西安建筑科技大学信息与控制工程学院硕士研究生，主要研究领域为数字图像处理。

HU Yan was born in 1981.She is a Ph.D.candidate and engineer at School of Information and Control Engineering,Xi'an University of Architecture and Technology.Her research interests include pattern recognition and information safety,etc.胡燕（1981—），女，河南杞县人，西安建筑科技大学信息与控制工程学院博士研究生、工程师，主要研究领域为模式识别，信息安全等。

A

：TP391.41

*The Research Project of Ministry of Housing and Urban-Rural Development of China under Grant No.2016-K3-014(住房和城乡建设部研究开发项目);the Science and Technology Project of Beilin District in Xi’an under Grant No.GX1605(西安市碑林区科技计划项目);the Foundation Fund Research Project of Xi’an University of Architecture and Technology under Grant No.JC1514(西安建筑科技大学基础研究基金项目).

Received 2016-06,Accepted 2016-09.

CNKI网络优先出版:2016-09-08,http://www.cnki.net/kcms/detail/11.5602.TP.20160908.1045.010.html

ISSN 1673-9418 CODEN JKYTA8

Journal of Frontiers of Computer Science and Technology 1673-9418/2017/11(08)-1296-09

10.3778/j.issn.1673-9418.1606018

E-mail:fcst@vip.163.com

http://www.ceaj.org

Tel:+86-10-89056056