一种基于码本背景建模和多特征融合的火灾烟雾检测算法*

赵 亮 骆炎民 黄德天 欧阳怡 徐志通



一种基于码本背景建模和多特征融合的火灾烟雾检测算法*

赵 亮1骆炎民1黄德天2欧阳怡1徐志通1

1.华侨大学计算机科学与技术学院 2.华侨大学工学院

该文提出一种基于码本模型和多特征融合的火灾烟雾检测算法。主要步骤是：首先，利用码本模型提取出视频中运动的前景像素；然后，结合暗通道先验知识对前景像素进行过滤，消除部分干扰像素；最后，统计疑似烟雾区域的颜色直方图、纹理直方图和边缘方向直方图特征，利用多特征融合的方式加以分类识别。多个视频场景测试结果表明，该算法具有良好的烟雾检测能力和抗干扰能力，可以基本满足实时性的要求，具有一定的实际推广价值。

码本模型 暗通道先验 直方图 多特征融合 烟雾检测

1 概述

传统的火灾探测器大多是通过检测燃烧物产生的颗粒、火焰周围温度的升高或者周围环境湿度变化等原理进行工作的，这类探测器因价格便宜而被广泛采用。由于这类探测器必须靠近火源才能正常工作，在很大程度上限制了其应用范围。基于视频的火灾检测可以很好地解决类似缺陷，相比于传统的火灾探测器，基于视频的检测设备不受空间范围的影响并且可以迅速响应。此外，还可以为安全人员提供火灾现场的实时信息[1]。近年来，随着模式识别和计算机视觉等领域的发展，基于视频的火灾检测得到快速发展，可以分为基于火焰检测和烟雾检测两类，本文主要针对后一类进行论述。

火灾发生早期一般火焰较小，但这时候烟雾却很明显，所以基于视频的烟雾检测方法被广泛提出。Toreyin等[2]提出了一种基于小波变换的视频烟雾检测算法，通过融合烟雾的运动、闪烁和边缘模糊等特征实现判别，但是该方法在复杂场景下容易丢失边缘信息，误检率会明显上升。Gubbi等[3]提出了一种基于小波和支持向量机的视频烟雾检测算法，通过提取三层小波变换图像的统计信息加以分类识别，统计信息包含算术平均值、几何平均值、标准差、偏度、峰值和熵，但是小波变换非常耗时。Fujiwara等[4]根据自相似分形理论，从图像中直接提取烟雾区域。这一方法的缺点是，对于对比度较低和分辨率较低的烟雾图像，提取的分形特征不够稳定，效果有限。Yuan[5]提出一种利用累积量估算主运动方向的方法检测视频烟雾，同时采用分块的算法。该算法根据烟雾的运动特征，分析烟雾主运动方向向上运动特性，提高了检测效率；在大风等恶劣天气条件下，该算法不能保证检测的准确率。Ko等人[6]提出了一种基于时空特征的BoF模型提取直方图特征，该方法实现了静态与动态特征的结合，然后通过随机森林分类器做判别，检测效果较好，具有一定的参考价值。Luo等[7]提出了一种较新颖的烟雾检测方法，该方法通过时间压缩图像将烟雾视频沿时间分别向x方向和y方向投影、累加，得到x-t和y-t图像，然后根据时间压缩轨迹，利用色彩、半透明、纹理和形状等特性做综合判断。该算法环境适应能力好，但对于较远或者扩散缓慢的烟雾将无法检测。

由于各种烟雾的差异比较大，现有基于视频的检测方法依然存在误检率较高或者检测率较低的问题，对烟雾准确检测依然面临着很大的挑战。其主要原因是[8]：（1）很多非烟雾物体具有和烟雾一样的颜色特征；（2）烟雾的纹理和形状总在不规则地改变；（3）由于分辨率问题，在某些场景下很难提取出可靠的特征；（4）前景物体的遮挡。为此，本文提出了一种基于码本模型和多特征融合的火灾烟雾检测算法，该算法利用码本模型提取出前景像素，然后根据烟雾的暗通道像素值偏高的特点，从前景像素中筛选出疑似烟雾区域。综合烟雾的颜色直方图、纹理直方图和边缘方向直方图特征进行分类识别，实现烟雾的检测。结果表明，算法在室外光照强度大、存在多种干扰的复杂环境下，该方法对较典型的烟雾检测算法有较高的识别率。

2 运动前景检测

火灾烟雾检测的监控设备，多数情况是静止的，本文提出的算法也是只针对静止条件。在监控设备静止的情形下，运动前景的检测方法目前很多，主要有背景减除法、帧差法和光流法以及相应的改进算法等。这些算法大多对于刚性物体都有一定的检测能力，但是对于无外力作用缓慢扩散的烟雾检测效果明显下降，容易出现空洞的现象，不能提取出比较完整的烟雾区域，对疑似烟雾区域的特征提取和识别产生严重影响。

本文采用码本模型对烟雾区域进行提取，码本模型是Kim[9]提出来的，模型针对每一个像素点连续采样值的颜色距离和亮度范围为每个像素点生成一个码本，然后对视频图像序列中每一个像素点进行学习，根据前景点和背景点在码本序列中的变化特性分离出背景码字，构建出码本背景模型，再利用常见的背景减除法提取出运动的前景像素。该算法抗干扰能力强，不仅对快速扩散和缓慢扩散的烟雾有一定的检测效果，实时性也较好。

2.1 码本背景模型

颜色失真度定义为：

亮度函数定义为

码本的训练过程也是每个像素点的采样过程，具体的步骤可以描述为：

(4)

(6)

那么该码字更新为：

4）训练结束后，计算每个像素点的码字的最大时间间隔，对于每个码字，

(8)

2.2 基于码本模型的前景检测

(10)

从码本M中找出与当前像素x相匹配的码字c，如果匹配，则设置相应的，否则置为0，对应的前景像素可以表示为：

图1(b)为通过码本模型检测出的前景像素，可以看出，码本模型可以很好地检测出运动前景像素，其中包括运动的行人，可以根据烟雾的暗通道像素值偏高特性做进一步的筛选以确定疑似烟雾区域。

（a）原始图像     （b）前景像素

图1 码本模型前景检测结果

3 疑似烟雾区域确定

3.1 暗通道先验

暗通道的概念由He[10]提出，大量实验结果表明，在绝大数非天空的局部区域中，图像在RGB颜色空间中总有一个颜色通道的灰度值很低，接近于0。换言之，该区域光强度的最小值很小。上述先验知识在自然场景中表现为：颜色鲜艳的物体，比如树叶、行人、汽车等的暗通道像素值很低；而类似烟雾、天空或者白色物体的暗通道像素值偏高。根据这个先验知识，在很大程度上可以在前景像素中过滤掉多数干扰像素。首先给出暗通道的公式定义：

（a）暗通道图像     （b）疑似区域

图2 疑似烟雾区域

3.2 疑似烟雾区域

从暗通道图像可以看出，穿蓝色上衣和黑色裤子的行人在图像中灰度值变成0，而烟雾区域保持为255，对比码本模型提取的前景像素，可以达到过滤效果，得到图2（b）所示的结果。当然图1（a）是一个特例，过滤后只剩下烟雾区域，在某些特殊场景下会出现类似烟雾颜色的白色运动物体，上述提到的过滤方法会失效，因此需要进一步的特征提取和判断。

4 烟雾特征分析

4.1 颜色直方图

烟雾的颜色特征是区别于其它物体的重要特性，Chen[11]通过大量实验统计分析烟雾像素点的颜色特征建立了烟雾的色彩模型，结果发现烟雾图像在RGB颜色空间中三个通道的灰度值较平均，大致分布在80～220之间，而其它物体的颜色灰度值则没有规律，分布比较随机。因此，本文通过分别统计三个颜色通道的灰度直方图来描述烟雾的颜色特征，具体描述为，，。

4.2 纹理分析

纹理分析在烟雾检测中是一种有效的方法，但是大多数方法对于旋转和光照较敏感。灰度共生矩阵是一种对旋转不敏感的纹理分析方法，但容易受到光照的影响。通过直方图均衡化在一定程度上可以消除部分影响，可同时会减少图像本身的信息。

Ojala等人[12]提出了局部二值模式（LBP），LBP是一种灰度纹理算子，对旋转和光照不敏感，它是通过比较一个像素与其领域像素的灰度值计算该像素的模式值，然后统计每个像素模式值的直方图，达到对纹理特征的描述。计算方法为：

(14)

其中，g为区域灰度图的中心像素，g代表邻域像素灰度值，表示邻域像素点个数，表示邻域半径，即中心像素到邻域点的欧氏距离。图3所示为两种LBP算子。

     

Ojala等提出了3种不同模式，分别为等价模式、旋转不变模式和等价旋转不变模式，本文选择等价模式（ULBP）。Ojala等认为，在实际图像中，绝大多数LBP模式最多只包含两次从1到0或从0到1的跳变。因此，Ojala将ULBP定义为：当某个LBP所对应的循环二进制数从0到1或从1到0最多有两次跳变时，该LBP所对应的二进制就称为一个等价模式类。如00000000和11111111有0次跳变，而00000111、10001111和10010111分别有1、2和4次跳变，U分别为1、2和4。U可定义为：

当满足U≤2的模式称为等价模式，这样模式值个数会被压缩到59，即纹理直方图可以表示为。

4.3 边缘方向直方图

梯度特征是用来检测图像边缘的，一般出现在物体的边缘，或者灰度值跳变较大的分界处，从表面观察，烟雾具有明显的边缘轮廓。HOG是用于梯度特征提取的常见方法。HOG特征提取较复杂且特征向量多长，本文采用边缘方向直方图（EOH）特征进行边缘特征提取[13]。对图像提取EOH特征，首先利用Sobel算子对图像进行滤波操作，得到梯度图像，其中是水平分量，是垂直分量；然后将梯度图像转换为极坐标形式，分别得到梯度大小和方向：

(17)

4.4 特征直方图

将上述提取的烟雾颜色直方图、纹理直方图和边缘方向直方图串联（首尾连接）起来，得到特征直方图序列，特征直方图长度为，然后通过计算机视觉库提供的最近邻分类器进行分类识别。

5 实验结果

（a）视频1     （b）视频2

（c）视频3     （d）视频4

（e）视频5     （f）视频6

为了比较同类算法之间的性能，将Yuan[14]提供的算法记为算法1，本文算法记为算法2；为了更好地比较算法本身的性能，不考虑算法1中的动态分析，实验详细结果如表1、表2所示。从中可见，算法2对于稀薄烟雾检测效果较好，在烟雾较浓时，两个算法的性能相当，总体而言算法2适用范围更广。综合表2可以看出，算法1和算法2对树枝摇摆所产生的干扰有良好的抗干扰能力；对于夜晚灯光的影响，算法2表现更好；在视频5中由于雾气的影响，算法1会一直报警，而算法2则不会出现。由此可见，算法2的综合性能更优。

表1 有烟雾视频的检测结果

表2 无烟雾视频的误检结果

6 结束语

为了提高烟雾检测的准确率，本研究首先利用码本模型提取前景像素，然后依据暗通道先验知识对前景像素进行筛选，以确定疑似烟雾区域，最后得到烟雾的多特征直方图，采用最近邻分类器进行分类识别。实验结果表明，该算法可以在多种场景下准确检测出烟雾区域，而且对于各种干扰具有较低的误检率，由于码本模型运行速度较快，一定程度上提高了算法的处理速度。但本文提出的算法对于黑色烟雾的处理效果较差，今后的工作重点需要放在建立更加本质的烟雾特征模型上。

参考文献：

[1] 罗胜, Yuzheng J. 视频检测烟雾的研究现状[J]. 中国图象图形学报, 2013, 18(10): 1225-1236.

[2] Toreyin B U, Dedeoglu Y, Cetin A E. Wavelet based real-time smoke detection in video[C]//European Signal Processing Conference, 2005: 759-763.

[3] Gubbi J, Marusic S, Palaniswami M. Smoke detection in video using wavelets and support vector machines[J]. Fire Safety Journal, 2009, 44(8): 1110-1115.

[4] Fujiwara N, Terada K. Extraction of a smoke region using fractal coding[C] //IEEE International Symposium on Communications and Information Technology, 2004: 808-814.

[5] 袁非牛, 张永明, 刘士兴. 基于累积量和主运动方向的视频烟雾检测方法[J]. 中国图象图形学报, 2008, 13(4): 808-813.

[6] Ko B, Park J, Nam J-Y. Spatiotemporal bag-of-features for early wildfire smoke detection[J]. Image and Vision Computing, 2013, 31(10): 786-795.

[7] Luo S, Yan C, Wu K, et al. Smoke detection based on condensed image[J]. Fire Safety Journal, 2015, 75: 23-35.

[8] Yuan F, Fang Z, Wu S, et al. Real-time image smoke detection using staircase searching-based dual threshold AdaBoost and dynamic analysis[J]. Iet Image Processing, 2015, 9(10): 849-856.

[9] Kim K, Chalidabhongse T H, Harwood D, et al. Background modeling and subtraction by codebook construction[C]//International Conference on Image Processing, 2004: 3061-3064.

[10] He K, Sun J, Tang X. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2011, 33(12): 2341-2353.

[11] Chen T-H, Wu P-H, Chiou Y-C. An early fire-detection method based on image processing[C]//International Conference on Image Processing, 2004: 1707-1710.

[12] Ojala T, Pietikäinen M, Mäenpää T. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2002, 24(7): 971-987.

[13] 李红娣, 袁非牛. 采用金字塔纹理和边缘特征的图像烟雾检测[J]. 中国图象图形学报, 2015, 20(6): 772-780.

[14] Yuan F. A double mapping framework for extraction of shape-invariant features based on multi-scale partitions with AdaBoost for video smoke detection[J]. Pattern Recognition, 2012, 45(12): 4326-4336.

* 华侨大学研究生科研创新能力培育计划资助项目阶段性成果之一。