基于视觉特征的火焰探测技术

顾立春 汪兴 侯其立

摘要：机器视觉的识别算法在火灾识别领域取得了一些成就，但是由于稳定性等问题并没能取代传统感温感烟探测器的地位。而烟温传感器需要在火灾发展到一定的规模才能实现预警，这时可能已经造成了极大的人身危害和财产损失。文章提出了一种基于多特征融合的视频图像火灾探测技术。基于视频火焰的颜色、形状、边缘和运动扩散等特征，对火灾进行综合研判，在早期实现对火灾的预警。在各类数据集测试的过程中，多融合的探测算法对火焰有较高的识别率，且有效排除了灯光、环境光影扰动等干扰。

关键词：HSI/RGB/YcbCr;颜色空间;Canny边缘;圆形度;纹理特征

中图分类号：TP391      文献标识码：A

文章编号：1009-3044（2022）22-0005-03

1 概述

火灾是当前社会中突发频率较高且危害重大的灾害，每年全世界火灾造成了大量的人员伤亡和财产损失，因此火灾的探测和预防成为全社会关注的话题。燃烧会产生烟雾和火焰，通常以烟雾、热、光、热辐射、声音等特征呈现，因此火灾的探测技术也是主要基于伴随火灾发生过程一系列现象的研究。早期的火灾识别和探测方法有感光探测、感烟探测、感温探测、气体探测和复合探测等方式，其中烟感、温感技术较为成熟，也成为当前社会广泛应用的方法。但是随着现在建筑结构越来越复杂，类型越来越多，上述的各种探测器采集数据容易受到空间大小、空间复杂结构、气流速度、粉尘等多种因素的影响，难以做到准确及时的早期预警。而火灾的有效防止扑救时间一般都在早期，当火灾一旦大规模发生，目前的手段很难有效降低危害。

近些年，随着计算机图像处理技术的发展，图像检测技术已经逐步应用到了各类灾害的预防和探测中。视频图像火灾探测器通过图像识别、模式匹配对火灾图像特征进行分析提取，达到识别早期火灾的目的。与传统的探测器相比，图像型火灾探测器具有以下优点：

1） 利用图像探测，不需要火灾发生到一定规模，可以在早期及时发现火灾;

2） 不受空间、建筑结构等影响，只要图像覆盖区域，均能实现实时探测;

3） 火灾的回溯，一般视频数据会保存在存储数据库，方便人们查询检索，还原火灾过程;

4） 利用火焰或者烟雾图像特征进行识别，不需要像传统火灾探测器通过火焰的烟尘、气体或热辐射等有害产物进行识别;且消防控制室人员可以通过视频图像直接确认火灾现场的情况。

视频图像处理中，图像通常分为前景和背景部分，利用图像分割技术提取出图像中的感兴趣区域，火焰区域的分割效果直接影響后续特征提取和火焰识别。目前火焰探测的主要方法有基于火焰颜色特征，火焰纹理特征和形状，动态特征和能量信息等识别算法。Chen[1]等利用图像的颜色特征，基于HSV颜色空间建立了高斯混合模型，分析提取火焰特征区域的运动信息，进行ROI区域的图像分割，实现了较好的火焰识别效果。Celik[2]等采用RGB的颜色空间特征，利用统计学数据建立高斯分布的统计模型，再通过图像帧间差分和背景减除提取火焰的ROI区域，运算速度快且在试验的数据集上到了99%的识别率。Phillips[3]等手工提取出图像的火焰疑似区域，利用火焰RGB颜色空间，计算颜色通道直方图的分布并与设定阈值比较，最终确定火焰的区域。Healey[4]等最先利用了图像的火焰颜色信息与火焰形状相结合的方式，利用颜色信息提取出火焰的轮廓特征，为后面火焰的形状和纹理特征识别提供了方向。Jiang[5]等使用了图像处理的自适应Canny边缘检测算子分割出火焰特征的边缘信息，提取出ROI区域，然后结合了火焰的物理特性包括边缘轮廓的圆形度、面积和周长等，有效识别出图像的火焰区域。Toreyin [6]等采用了多特征融合的识别方法，颜色空间和运动检测的方法确定疑似火焰区域，再通过小波变换计算出火焰的边缘能量特征，利用提取的火焰区域颜色 R 通道分量小波系数的变化来表征火焰的闪烁规律，达到了95%以上的识别率。Celik [7]等提出了将图像转换到颜色空间CIE L*a*b，利用前景背景减除确定火焰的疑似区域，再通过帧间差分得到火焰的运动变化特征，通过数据统计的方式，用颜色空间CIE阈值的判别式确定火焰位置，该算法在大量的实验数据集上均得到了良好的效果。基于图像的火灾探测技术也在多种场合得到应用和推广[8-9]。

综上，目前这些算法在特定的数据集上都取得了较好的识别结果，但不同的算法机理各异，使用场景也不同，因此火灾探测系统的稳定性受到很大的考验。实际应用中为了防止漏报，常常对选取的火焰特征参数采用降低阈值的方法，又导致了误报率的上升。本文采用了多特征融合特征识别图像中的火焰信息，将图像依据背景和火灾类型进行分类识别，取得了良好的效果。

2 多特征融合的火焰探测

火灾早期阶段，一般火焰从无到有，图像在颜色空间、面积与周长比、边缘变化、整体运动等方面有一定的规律。本文通过提取火焰的这些特征并设定阈值，满足多特征的判别规则时我们判断为火焰，并与其他干扰图像区分开来。

2.1 颜色特征

最为常见的颜色空间是RGB，也就是自然界的三基色，目前几乎所有的显示设备和图像都采用RGB三基色。它的优点是显示直观，肉眼可以清晰分辨，但是三基色的相关性在复杂背景的情况下，很容易出现误识别。HSI颜色空间同样符合人的色彩判断，并且亮度与色调独立符合火焰的高亮度特性，色度可直接用于颜色的区别，但是在图像低饱和度下有识别不稳定的情况。YCbCr同样将色彩的亮度信息进行了分离，三通道信息与三基色的原理一致，但是识别效果更好，复杂度略高。CIE lab可直接进行色彩比较，并分离了色彩和亮度信息，与HSI类似有不稳定特点。火焰在不同颜色空间下特征取值如表1所示。

上面的颜色空间在不同的数据集上有各自的优势，但是针对不同类别的火焰图像和常见干扰图像，各颜色空间有一定的差异。本文通过4种颜色空间的综合比对效果，对不同颜色空间的参数设定不同的权重阈值进行火焰识别。

2.2 边缘特征

图像的边缘提取基于图像像素的微分算子，包括一阶梯度、二阶拉普拉斯算子等。图像的运算就是得到图像中各相邻像素的特征变化程度，一般的边缘提取特征取灰度值。灰度值变化剧烈的计算微分后的图像值较大，反之较小，在通过一阶二阶运算之后得到了灰度值变化大的区域，笔者认为是图像的局部特征边缘，得到的图像也就是边缘图像。

最常用的是Canny边缘检测，边缘检测的过程：首先对图像进行高斯滤波处理，滤除噪声得到平滑图像。

[Gx，y=fx，y*e-x2+y22δ2]              （1）

其中，f为原图像，G为高斯卷积滤波后的图像。

再对图像G计算局部梯度g（x，y） 和边缘方向α（x，y） 。

[gx，y=（G2x+G2y）12]            （2）

[αx，y=tan-1（Gx/Gy）]            （3）

其中，[Gx和Gy]使用sobel算子。

根据上述公式得到图像计算灰度不为0的像素点，并计算邻域的值，将相邻的像素点连接起来，并不断重复这个过程，最后得到图像中所有的边缘信息。

另外，火焰的燃烧变化过程中，对原视频序列产生了背景的改变，图像中增加了火焰的纹理特征。笔者利用小波变换，图像背景的邊缘高频信息降低，低频信息增加，而随着火焰的扩散变化，图像边缘高频低频信息也呈现一定规律的变化。这种图像纹理的特征变化也作为火焰判别的一个特征参数信息。

2.3 形状特征

圆形度是描述图形或图像的不规则程度一个数学表达，其定义为：

[circularity=4π*AL]             （4）

其中A为图形的面积，L为图形区域的边缘周长。根据数学经验，正方形的圆形度为0.79，等边三角形为0.6，图形越不规则圆形度的值越小。在疑似图形中，如车灯、飘扬的红旗等圆形度相对较大，火灾发生时火焰形状不受控，依据上面的边缘提取情况，圆形度的值通常低于0.3，笔者可以标记为重点ROI区域。

火焰还有尖角特征，火焰的边缘剧烈抖动是其一个重要表现，且会跳动无规则。对比光源，亮红色物体，反光等一般不会出现尖角跳动现象。尖角识别是通过火焰的顶部三角形和顶点判定。

2.4 运动趋势

火焰的闪烁频率约为8 Hz～12Hz，且这种频率与燃烧类型、空间大小、环境温度风速等关联不大，因此可作为火焰判定的一个重要特征。

火灾的发生时，一般在火灾早期是相对较微弱的火焰，常伴随一定的烟雾，然后火焰慢慢蔓延，火势逐渐增大，火焰的面积也逐渐扩大。火灾初期，火焰面积逐帧增大，是最显著的一个特征。在火灾发生时，伴随着可燃物的燃烧殆尽和周围其他物质的燃烧，火焰的位置会发生一定的变化，并且室外有风的环境，火焰的中心位置通常沿着一个方向不断变化。火灾时火焰在整体移动的过程中是连续变化的，一般不会发生跳变，根据该特征可排除一些固定的疑似区域。

2.5 算法识别结果

笔者选取室内、室外、灯光、森林火灾等环境对算法进行了测试，依据场景和火灾类型的不同，多火焰特征参数做了适当的调整。用上述图像特征提取算法判断出火焰的疑似区域，再加以适当权重，综合评判火焰的位置。

实验室的棉条燃烧和灯光干扰试验，如图1所示。图1（a） 实验室棉条燃烧由于高温火焰呈现亮白色，依据其边缘、频率、运动区特征两团火焰得到了有效识别，并排除了远处的一个灯光反射干扰，但是离火焰较近的灯光由于火焰的运动特性会形成连通区域，识别的火焰面积有了一定范围的扩大;而图1（b） 晚间路灯和车灯，通过多特征的参数对比，算法实现了有效的屏蔽。

森林火灾采用公开数据集的测试数据，如图2所示，算法对林火识别较为准确，下方个别区域由于树木的遮挡，火焰特征不满足阈值要求，为了算法的稳定性，不产生过多误报，过小的火焰区域未判定为火焰区域。

室外环境同样采用了公开数据集的火焰图像，其中图3（a） 白色围墙存在火焰的运动和反光等干扰，后方公路由于树木和天空的光影扰动，利用颜色特征容易出现误报。我们采用火焰的边缘运动特征和运动特性有效排除干扰，对火焰区域实现了准确识别;图3（b）火焰区域较小，但是整体视频画面扰动较少，算法采用颜色和形状的图像特征，并使用了纹理高频能量的信息识别火焰区域。

3 结论

综上所述，笔者采用了多特征融合的视频处理算法实现对火灾火焰特征的识别。根据使用的公开数据集和设计的实验数据，算法在大空间，室外有光影等干扰，各类灯光干扰、森林火灾等环境下均有不错的识别率。但是随着场景的变化，算法的特征参数需要自适应调整，算法的鲁棒性需要进一步提升。

参考文献：

[1]Chen Lianghua， Huang Weicheng. Fire Detection Using Spatial-temporal Analysis[J].Lecture Notes in Engineering & Computer Science，2013（3）： 1-4.

[2] Celik T，Demirel H，Ozkaramanli H，et al.Fire detection using statistical color model in video sequences[J].Journal of Visual Communication and Image Representation，2007，18（2）：176-185.

[3] Phillips W，Shah M，da Vitoria Lobo N.Flame recognition in video[C]//Proceedings Fifth IEEE Workshop on Applications of Computer Vision.Palm Springs，CA，USA.IEEE，2000：224-229.

[4] Healey G，Slater D，Lin T，et al.A system for real-time fire detection[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.New York，NY，USA.IEEE，1993：605-606.

[5] Jiang Q，Wang Q.Large space fire image processing of improving canny edge detector based on adaptive smoothing[C]//2010 International Conference on Innovative Computing and Communication and 2010 Asia-Pacific Conference on Information Technology and Ocean Engineering.Macao，China.IEEE，2010：264-267.

[6] T?reyin B U，Dedeo?lu Y，Güdükbay U，et al.Computer vision based method for real-time fire and flame detection[J].Pattern Recognition Letters，2006，27（1）：49-58.

[7] Celik T.Fast and efficient method for fire detection using image processing[J].ETRI Journal，2010，32（6）：881-890.

[8] 周璟軍.城市道路隧道点型红外火焰与图像型火灾探测比较分析[J].交通科技，2020（6）：128-129，134.

[9] 杜志伟.基于红外图像动态特征的早期火焰探测方法研究[D].天津：天津大学，2019.

【通联编辑：唐一东】