基于多特征融合的视频火灾检测方法

何爱龙 陈美娟

摘 要：相较于传统单点传感器检测火灾的方法，采用视频检测火灾更快、更可靠，而且可以提供火灾大小、增速等直观的图像信息。结合图像处理技术，设计一种可以同时检测火焰和烟雾的视频火灾检测方法。首先，通过提取移动区域的方式，并利用改进的火灾颜色模型提取出疑似火灾区域;然后，选出抗干扰能力强的火灾特征并对提取各特征的方法进行设计;最后，将火焰特征输入支持向量机进行火焰判别，将烟雾各特征与阈值比较后的结果输入可调节检测灵敏度的逻辑运算器进行烟雾判别，结合火焰与烟雾判别结果决定是否进行火灾预警。大量实验结果表明，该方法不仅可以检测明火，而且可以检测阴燃火，在检测准确率、误报率及反应时间上都有更好的表现。

关键词：图像处理;特征提取;多特征融合;火焰检测;火灾预警

DOI：10. 11907/rjdk. 192429 开放科学（资源服务）标识码（OSID）：

中图分类号：TP317.4 文献标识码：A 文章编号：1672-7800（2020）007-0198-06

Video Fire Detection Method Based on Multi-feature Fusion

HE Ai-long， CHEN Mei-juan

（College of Telecommunications & Information Engineering，

Nanjing University of Posts and Telecommunications， Nanjing 210003， China）

Abstract： Compared with the traditional method of detecting fires by point sensors， video fire detection holds the promise of detecting fire incidents more quickly and reliably， and can also provide intuitive image information such as fire size and growth. Combined with image processing technology， a video fire detection method is designed that can detect flame and smoke at the same time. Firstly， the suspected fire area is extracted by the moving region extraction and improved fire color model. Then， the fire characteristics with strong anti-interference ability are selected and the methods are designed for extracting each feature. Finally， the flame feature is input into the support vector machine and the result of comparing the characteristics of the smoke with the threshold is input into a logic operator that can adjust the sensitivity of smoke detection. Results of flame and smoke detection determine whether to perform the fire warning. A large number of experiments have been completed and the results show the proposed method can not only detect open flame， but also detect smoldering fire， and has better performance in detection accuracy， false alarm rate and reaction time.

Key Words： image processing; feature extraction; multi-feature fusion;flame detection; fire warning

0 引言

火災是威胁公众安全与社会发展的主要灾害之一，2014年的火灾发生率是10年前的两倍多[1]。然而，目前广泛采用的火灾检测设备是具备感温、感烟功能等较为传统的传感器，且只有传感器周围温度或烟雾浓度达到一定阈值才会触发警报，反应较慢[2]。此外，这类传感器在室外或仓库、体育场等空旷场所易受空间及气流影响，检测效果不佳。随着视频监控在大街小巷普及，以及计算机性能与图像处理技术的迅猛发展，采用视频检测火灾的方法不仅检测速度更快，而且不会受到温度、气流等环境因素干扰，还可以减少传感设备铺设的额外成本[3]。

已有的视频火灾检测方法以分析火焰颜色分布及各种动静态特征为主。如Chen等[4]设计一种基于RGB的火灾颜色模型，并结合火灾增长率和变化无序度对火灾图像进行分析检测;Chou等 [5] 根据YCbCr火焰颜色模型以及纹理、无序度特征进行火焰检测;Wang等[6]结合RGB与火焰图像连续帧的相似性进行火焰判别;Lei等[7]则根据火焰中心位置变化特征进行火灾判别;Li等[8]对光流法进行改进，以降低计算量;Wahyono等[9]设计了一种可同时对多个通道火焰进行检测的系统。

尽管很多方法的火焰检测准确率较高，但常忽略了烟雾检测。烟雾作为火灾早期特征以及阴燃火的主要特征，对于火灾及时检测与预警起着关键作用。除具有较好的准确率外，很多方法难以兼顾非火灾情况下的误报率以及火灾检测反应时间。因此，本文设计一种可同时检测火焰与烟雾的方法，并且为了提高该方法的可靠性以及缩短反应时间，做了以下工作：

（1）火灾发生前，烟雾往往早于火焰出现。为了更快地检测到火情，本文在火焰检测基础上加入烟雾检测，该方法同时也适用于对阴燃火情形下的火灾检测。

（2）对图像进行中值滤波去除噪声后，采用基于运动历史图的方法提取视频中的移动区域，以去除图像中大部分无用像素，提升检测速度。

（3）通过改进现有RBG颜色模型，分离亮度和颜色信息，在更多颜色空间及分量上对像素进行筛选，以提升像素筛选精确度，最后经形态学闭运算去除噪声后得到疑似火灾区域。

（4）选择抗干扰能力强的特征，并对提取这些特征的计算方法进行设计。

（5）通过支持向量机判断图像中是否存在火焰，同时将各烟雾特征与阈值比较结果输入可调节烟雾检测灵敏度的逻辑运算器，判断图像中是否存在烟雾，最后结合两者检测结果决定是否进行火灾预警。

基于多特征融合的视频火灾检测方法检测流程如图1所示。

1 疑似火灾区域提取

获取视频图像序列后，首先要提取出疑似火灾区域，通过该步骤可达到提升图像质量、减少计算量、初步确定火灾范围的目的。

1.1 去噪预处理

受光线强度、光线变化、镜头参数及其它随机噪声的影响，导致摄像头采集的图像质量降低。因此，在获取图像序列后，先对图像进行去噪预处理，可以减少干扰、保留有用信息，更有利于图像识别。本文采用的中值滤波[12]可以很好地消除椒盐噪声，并保留图像边缘信息，具体过程为：遍历并计算初始图像每个像素点的灰度值，然后计算每个像素點3×3邻域内灰度值的中值，以替代该像素原灰度值。

1.2 移动区域提取

改善视频图像质量后，需要排除掉绝大部分无用像素，以减少计算量、提升检测速度。火焰和烟雾受气流影响，会一直处于运动状态，所以可以只提取出图像中发生变化的像素进行计算。其中，高斯混合模型（GMM）[13]被广泛应用于移动区域提取，而BRADSKI等[14]提出一种基于时限运动历史图的方法，可以简便、快速地提取出运动区域。CHI等[15]在文献[14]基础上，结合对轮廓变化更加敏感的二值梯度图作为历史模板，并验证了其提取效果优于GMM，该方法主要计算过程如下：

（1）计算二值梯度图BGI（x，y），计算方法如式（1）所示。

其中，BGIx（x，y）、BGIy（x，y）分别是对x轴与y轴方向梯度图进行二值化处理后的图像，而梯度图由相应灰度图计算而来。

（2）计算梯度运动历史图GMHI（x，y），其可以记录每个像素的运动历史信息，具体方法如式（2）所示。

这里的t是当前时间，用帧表示，且只记录最近T帧内像素运动历史信息。

（3）计算有效运动图EMI（x，y），如式（3）所示。

其中，MAX（x，y）、MIN（x，y）分别是梯度运动历史图中像素点（x，y） m×m领域的最大和最小GMHI值，min、max为预先设置好的常量。当MAX（x，y）和MIN（x，y）的差值在min与max之间时，表示像素点（x，y）为运动的像素，否则为静止的像素。因此，有效运动图记录了视频中的移动区域。

1.3 火灾颜色模型筛选

颜色是火灾最重要的特征之一，在提取出的移动区域内对像素进行火灾颜色筛选，可排除绝大多数干扰，如行人等处于运动状态但颜色不符的目标，以进一步缩小计算区域。这里分别对火焰和烟雾建立颜色模型，完成对各像素的筛选。

1.3.1 RGB-HSV-YCbCr火焰颜色模型

CHEN等[4]根据该特征建立基于RGB颜色空间的颜色模型对火焰颜色特征进行描述，但是RGB颜色空间中各通道相关性很强，不利于进行实验分析与研究[16]，且颜色提取易受光强影响[17]，而YCbCr[18]可将颜色信息与亮度信息解耦。因此，本文在RGB与HSV颜色空间基础上，结合YCbCr颜色空间为火焰建立更加可靠的颜色模型，模型中具体规则定义如下：

规则1：R（x，y） > RT

规则2：R（x，y） ≥ G（x，y） > B（x，y）

规则3：S（x，y） ≥ （255-R（x，y））*ST/RT

规则4：H1 < H（x，y） < H2， S1 < S（x，y） < S2，

V1 < V（x，y） < V2

规则5：Y（x，y） ≥ Cr（x，y） ≥ Cb（x，y）

规则6：Y（x，y） > Ymean， Cb（x，y） < Cbmean，

Cr（x，y） > Crmean

规则7：Cr（x，y）-Cb（x，y） ≥ λ

火焰早期温度较低，颜色主要集中在红、橙、黄三色区间分布，且红色为主要分量，因此有规则1-规则3，而该特征在YCbCr颜色空间中体现为规则5-规则7。规则4则由实验中火焰在HSV各分量上的分布特点得来。规则中，R（x，y）、G（x，y）、B（x，y）分别表示像素点（x，y）在RGB空间中的红色、绿色、蓝色分量，RT为红色分量的阈值，H（x，y）、S（x，y）、V（x，y） 分别为像素点（x，y）在HSV颜色空间的色调、饱和度、亮度3个分量，ST表示当红色分量为RT时对应于HSV空间中饱和度的值。H1、H2、S1、S2、V1、V2是分别为色调、饱和度、亮度预先设置的阈值，Y（x，y）、Cb（x，y）、Cr（x，y）分别为像素点（x，y）在YCbCr空间中的亮度、红色分量与蓝色分量，λ为Cr（x，y）、Cb（x，y）两个分量差值的非负阈值，Ymean、Cbmean、Crmean分别为当前图像中所有像素在Y、Cb、Cr 3个分量上的均值。只有当像素同时满足上述7个规则，该像素才会被认为符合火焰颜色特征。

1.3.2 RGB-HSV烟雾颜色模型

烟雾是早期火灾及阴燃火的主要标志，常表现为灰色，因此RGB颜色空间中的R、G、B 3个分量值大致相等，亮度也在一定范围内。根据该特征，基于RGB与HSI颜色空间建立烟雾颜色模型，具体规则包括：

规则1：|R（x，y）-G（x，y）| ≤ δ1

规则2：|R（x，y）-B（x，y）| ≤ δ2

规则3：|G（x，y）-B（x，y）| ≤ δ3

规则4：L1 ≤ I（x，y） ≤ L2

其中，δ1、δ2、δ3为像素（x，y）在R、G、B 3个分量间绝对差值的阈值，I（x，y）为像素（x，y）在HSI中的亮度分量，L1、L2分别为烟雾像素在亮度变化上的上下限常量。

1.3.3 形态学处理

在经过颜色模型筛选后的二值化图像中存在许多噪点或其它一些干扰因素，因此需要对其进行形态学处理，以达到消除图像中的噪声与阴影、增强被提取特征的效果。本文采用先膨胀、再腐蚀的闭运算，可将小孔与小缝填平，得到平滑、较连续的疑似火灾区域，包括疑似火焰区域和疑似烟雾区域。

2 火灾特征提取分析

提取到疑似火灾区域后，仍有可能存在一部分非火灾干扰因素，如橘红色的行车尾灯。因此，需要选择抗干扰能力强的火灾特征进行特征提取上的计算设计，通过提取出更多火焰和烟雾特征作进一步融合判断，以提升火灾检测方法的可靠性。

2.1 火焰特征

2.1.1 边缘复杂度

火焰边缘各不相同且变化剧烈，其边缘复杂程度与其它干扰物体有明显不同，可作为一个区分其它物体的特征，定义如式（4）所示。

其中，E是当前帧疑似火焰区域平均边緣复杂度，E越大表示边缘复杂度越高;Pj是该帧第j个连续的疑似火焰区域相应周长;Aj是该区域面积;k是该帧图像中连续疑似火焰区域个数。其中，本文涉及到的周长与面积计算均用像素量表示。

2.1.2 随机度

火焰从一帧变化到另一帧会保持一定随机性，因此从统计连续两帧间差值的角度表示该特征，计算方法如式（5）所示。

其中，At、At-1分别表示第t帧和t-1帧的候选区域面积，△A为连续两帧候选区域的绝对面积差。

2.1.3 相似度

火焰在较短时间间隔内会表现出一定相似性，相邻两帧间的火焰区域会在一定空间范围内变化，这是与其它移动光源或拥有相似颜色干扰物的不同之处，描述方法如式（6）所示。

其中，Ft、Ft-1分别表示第t帧和t-1帧的疑似火焰区域，Ft∩Ft-1为计算相邻两帧中疑似火焰区域的重合区域面积，Ft∪Ft-1为计算相邻两帧中疑似火焰区域取并集后的区域面积。

2.1.4 抖动频率

抖动频率是火焰特征中可靠性高、抗干扰能力强、易描述的特征。抖动频率检测主要思路是统计一定周期内相邻两帧的帧差结果，抖动频率计算方法如式（7）、式（8）所示。

其中，T 是统计周期，Di（t）为第t帧疑似火焰区域中第i个像素的值，N为疑似火焰区域内的像素量，pi为区域内第i个像素在T帧内像素值的累积差，p为抖动频率。

2.2 烟雾特征

2.2.1 面积增长分析

烟雾出现后会不断增多，因此烟雾区域的像素量会表现出增长的特性，计算方法如式（8）所示。

其中，T 是统计周期，St、St-1为第t帧与第t-1帧的疑似烟雾区域面积，g为平均增长率。只有当g在规定范围gt内，该特征分析输出才为真，否则为假。

2.2.2 圆形度分析

圆形度描述了物体形状复杂程度，当物体为圆形时，其圆形度最低，且值为1。物体形状越复杂，其圆形度越大。圆形度计算公式如式（10）所示。

其中，Lt为第t帧中疑似烟雾区域周长，St为第t帧中疑似烟雾区域面积，只有圆形度c在设置范围ct内，该特征分析结果输出才为真，否则为假。

2.2.3 位移度分析

烟雾出现后，其主体同样会在一定空间范围内，两帧间面积重合度较高。对于同一疑似目标区域在相邻帧间的面积重合程度，如式（11）所示。

S（t，j）、S（t-1，j）分别表示第t与t-1帧中第j个连续的疑似烟雾区域面积，Sm表示包含这两帧中第j个连续疑似烟雾区域的最小外接矩形面积。当d大于阈值dt时，该特征分析输出为真。

3 火灾判别

获取火灾特征后，将进一步判别疑似火灾区域是否含有火焰或烟雾。当图像中含有火焰或烟雾时，则判定视频现场含有火情，并进行火灾预警。

3.1 基于支持向量机的火焰判别

支持向量机[19]以系统结构风险最小化为优化目标，利用惩罚系数平衡模型的学习能力和推广能力，将回归问题转化为二次规划问题的分类模型。其克服了局部最优的弊端，比其它分类器及神经网络检测速度更快，而且在小样本训练集上能得到更好的检测效果，泛化能力优秀。因此，本文采用支持向量机对火焰图像进行分类，并选择径向基（RBF）核函数[19]进行实现。

实现火焰判别具体步骤如下：①将提取到的特征组成特征向量并归一化，即将特征值从较大范围映射到[-1，1]，制作成训练集和测试集;②利用一部分训练样本，采用网格搜索法和k折交叉验证法[20]进行参数寻优，在惩罚系数C∈[2-5，210]、核函数参数γ∈[2-10，25]范围内按步长1进行搜索，找到最好的支持向量机惩罚系数C及核函数参数γ;③通过获取的C和γ，用训练集进行训练，建立支持向量机分类识别模型;④用测试集对该模型进行测试，获取该分类模型的火焰分类结果。

3.2 基于阈值与可调灵敏度的烟雾判别

根据固定阈值判断一个特征是否符合火灾，往往不能广泛适用于各场景变化，通过引入可调的特征判别灵敏度，以改善场景适用性问题。

将烟雾平均增长率、圆形度、位移度分别与其设定的阈值比较后得出的真假结果输入逻辑运算器，从而判定图像中是否含有烟雾。逻辑运算器可以灵活选用与、或、非等逻辑运算组合方式对3个结果进行组合计算。根据不同检测场景，则采用不同运算组合调节烟雾检测的灵敏度，增强算法泛化能力。例如：对于石化仓储等高度敏感区域，可以使用或门，疑似烟雾区域有一个特征满足条件即判断含有烟雾;对于一般生产与生活区域，则需要至少任意两个特征满足，才判定图像中含有烟雾;对于非敏感场所，可用与门对3个特征分析输出结果进行逻辑运算，必须同时满足3个特征条件才判断含有烟雾。

4 实验结果

4.1 实验环境与参数

在配置为Win7操作系统、英特尔i5 CPU、4GB RAM的计算机上搭建实验环境。在利用C++编程实现检测方法的过程中采用了OpenCV2.4.11视觉库、LIBSVM软件包和gnuplot软件。实验所用视频来自Bilkent大学火灾视频库、NIST等[18]，其中包括训练视频36个，测试视频18个，测试视频中火灾视频与非火灾视频比例为5∶1。

通过对多个火灾视频进行实验，确定了移动区域提取的参数n、min、max分别为10、0、10。然后通过分析视频中火灾区域在颜色模型中的各个分量以及烟雾各特征值分布情况，确定各特征参数数值如表1所示。最后，通过对支持向量机中的参数进行寻优，确定了最佳惩罚系数C为0.5，以及核函数参数γ为0.008。

实验中使用算法1[21]、算法2[22]与本文方法进行对比，其中本文方法在检测各阶段处理结果示例如图2所示。图2（a）是测试视频中第一帧的原图，图2（b）和图2（c）为二值化后的图，其中，图2 （b）中白色区域为移动区域，黑色为背景区域，而图2 （c）中白色区域为提取出的疑似火灾区域。最后，图2（d）为该视频被检测出含有火焰，并用矩形框标定出火灾区域。

4.2 评估指标

本实验从可靠性和反应时间两方面评估火灾检测方法的性能，其中可靠性包括火灾视频检测准确率与非火灾视频检测误报率，计算方法分别如式（13）、式（14）所示。

[准确率=检测正确的帧数火灾视频总帧数×100% ] （12）

[误报率=错检为火灾的帧数非火灾视频总帧数×100% ] （13）

视频火灾检测不仅需要很高的可靠性，检测速度也很重要，检测方法的火情反应时间对火灾预警起着关键作用。实验中用各方法初次检测出火灾第一帧位置的速度表示检测快慢，第一帧数值越小，说明检测反应时间越短。

（1）准确率。分别对编号为video1～5、video9、video10共7个火灾视频进行检测，统计得到的准确率结果如表2所示。其中，由于video9和video10为阴燃火类型火灾，即视频中只有烟雾，而算法1只能识别火焰，所以未能检测到火灾存在。

（2）误报率。利用算法1、算法2和本文方法对编号为video6～8共3个非火灾视频进行误报率检测，结果如表3所示，可见本文方法误报率最低，且该数值均为零。

（3）反应时间。实验统计了本文方法针对火灾视频video9～18检测出火灾的第一帧位置，然后与视频中火灾出现的实际第一帧位置进行比对，并与在可靠性上表现较好的算法2进行比较。具体结果如表4所示。

实验结果显示，在可靠性方面，本文方法比算法1和算法2平均表现更好;在反应时间方面，本文方法也比算法2总体花费时间更短，兼顾了检测的可靠性与反应时间。算法1使用较为传统的模式识别方法，且只对火焰目标进行检测，因此表现稍差，而算法2虽然能同时识别火焰和烟雾，但火焰和烟雾颜色模型只使用了易受干扰的RGB模型，在特征判别中使用的固定阈值判断方法在普适性上较差。本文方法不仅采用了较为健全的图像处理手段，对颜色模型、特征設计以及火灾融合判断方面也进行了相应改进，获得了更好的检测效果。

5 结语

为了实现火灾检测，本文通过改进颜色模型以及移动区域提取与判别机制，在火焰检测基础上整合烟雾检测，对视频火灾检测准确率、误报率及反应时间方面进行了优化。但考虑到火灾自身以及环境的复杂性，在以后研究中将加入更多有效火灾特征，同时将火焰和烟雾特征均作为支持向量机输入，将两类分类器改进为多类分类器，以进一步细分火灾类型。为了达到更好的火灾检测及预警效果，也可考虑结合烟雾、温度等类型传感器，将其部署在因遮挡造成的视频采集盲区，以提升整个监控区域的火灾预警可靠性与及时性。

参考文献：

[1] IACOVO A D，VENETTACCI C，COLACE L，et al. PbS colloidal quantum dot visible-blind photodetector for early indoor fire detection[J].  IEEE Sensors Journal， 2017， 17（14）： 4454-4459.

[2] ZHOU X，YU F，WEN Y，et al. Early fire detection based on flame contours in video[J].  Information Technology Journal，2010，9（5）： 899-908.

[3] SEEBAMRUNGSAT J， PRAISING S， RIYAMONGKOL P. Fire detection in the buildings using image processing[C].  The Third ICT International Student Project Conference （ICT-ISPC），2014： 95-98.

[4] CHEN T， WU P， CHIOU Y. An early fire-detection method based on image processing[C].  International Conference on Image Processing， 2004： 1707-1710.

[5] CHOU K， PRASAD M， GUPTA D， et al. Block-based feature extraction model for early fire detection[C]. IEEE Symposium Series on Computational Intelligence， 2017： 1-8.

[6] WANG T， SHI L， YUAN P， et al. A new fire detection method based on flame color dispersion and similarity in consecutive frames[C].  2017 Chinese Automation Congress， 2017： 151-156.

[7] LEI S， FANGFEI S， TENG W，et al. A new fire detection method based on the centroid variety of consecutive frames[C].  The 2nd  International Conference on Image， Vision and Computing （ICIVC）， 2017： 437-442.

[8] LI K， YANG Y. Fire detection algorithm based on CLG-TV optical flow model[C].  The 2nd IEEE International Conference on Computer and Communications，  2016： 1381-1385.

[9] WAHYONO W， FILONENKO A， JO K. Designing interface and integration framework for multi-channels intelligent surveillance system[C]. The 9th International Conference on Human System Interactions， 2016： 311-315.

[10] FILONENKO A， HERNANDEZ D C， JO K. Smoke detection for static cameras[C].  International Conference on Frontiers of Computer Vision， 2015： 1-4.

[11] FILONENKO A， JO K. Visual surveillance with sensor network for accident detection[C]. 39th Annual Conference of the IEEE Industrial Electronics Society， 2013： 5516-5521.

[12] GUNAY O， TASDEMIR K， TOREYIN B U， et al. Fire detection in video using LMS based active learning[J].  Fire Technology， 2010， 46（3）： 551-577.

[13] STAUFFER C， GRIMSON W E L. Learning patterns of activity using real-time tracking[J].  IEEE Transactions on Pattern Analysis and Machine Intelligence， 2000， 22（8）：  747-757.

[14] BRADSKI G R， DAVIS J W. Motion segmentation and pose recognition with motion history gradients[J].  Machine Vision and Applications，200，？13（3）：238-244

[15] CHI R， LU Z， JI Q. Real-time multi-feature based fire flame detection in video[J].  IET Image Processing， 2017， 11（1）： 31-37.

[16] REINHARD E， ADHIKHMIN M， GOOCH B， et al. Color transfer between images[J].  IEEE Computer Graphics and Applications， 2002， 21（5）： 34-41.

[17] CELIK T， DEMIREL H. Fire detection in video sequences using a generic color model[J].  Fire Safety Journal，2009，44（2）：147-158.

[18] PHUNG S L， BOUZERDOUM A， CHAI D. A novel skin color model in YCBCR color space and its application to human face detection[C]. International Conference on Image Processing，2002： 289-292.

[19] YUANBIN W. Smoke recognition based on machine vision[C].      Xian International Symposium on Computer， Consumer and Control，2016.

[20] ZHANG Y， CHEN S， WAN Y. An intelligent algorithm based on grid searching and cross validation and its application in population analysis[C].  International Conference on Computational Intelligence and Natural Computing， 2009.

[21] XUAN TRUONG T， KIM J. Fire flame detection in video sequences using multi-stage pattern recognition techniques[J]. Engineering Applications of Artificial Intelligence， 2012， 25（7）： 1365-1372.

[22] QURESHI W S， EKPANYAPONG M， DAILEY M N， et al. Quickblaze： early fire detection using a combined video processing approach[J].  Fire Technology， 2016， 52（5）： 1293-1317.

（責任编辑：黄 健）