基于多特征融合的动态火焰识别算法

叶子涵

（浙江工商大学 浙江 杭州 310018）

0 引言

随着人类社会的发展进步，火灾成为了不可忽视的多发性问题。随着安防监控科技的不断发展，越来越多的火灾场景通过视频进行探测，视频火焰检测适用于多种火灾场景的同时能准确检测出火焰的相关信息，该方法比较适合于早期的火焰检测。

火焰动态特征检测方法主要有背景差分法[1]、帧间差分法[2]和光流法[3]等。其中光流法算法的复杂性较高，实时性也较差。同时，由于实际火灾场景总是复杂多变的，且存在各种干扰，这会造成背景差分法的背景建模过程难度增加。相比较而言，帧间差分法有计算简单、容易实现的特点。

火焰的静态特征包括颜色特征、轮廓特征和结构特征等。其中火焰的颜色特征比轮廓特征和结构特征更直观，因此本文将针对火焰的颜色特征进行讨论与分析。火焰有着显著的颜色特征，从焰心到外焰的颜色不同，一般由亮白色逐渐过渡到暗红色。利用这一特性，火灾视频中提取出的连续图像帧，若符合颜色空间规则时，可判断为疑似火焰区域。视频火焰的颜色检测方法可以基于RGB、HSI、HSV、YCbCr 等颜色空间。严云洋等[4]在RGB 色彩模型的基础上，通过正交颜色特征判别火焰像素。Horng W B 和Peng J W 等[5]采用基于HSI 颜色模型提取火焰区域。Chen等[6]通过RGB 和HSI 颜色模型对火焰进行分析，但该方法使得颜色与火焰相近的运动物体以及被火焰照亮的物体易被误检。陈天炎等[7]提出一种基于YCbCr 颜色空间的火焰颜色检测算法，依然受到非火焰因素如黄色高亮区域的影响。吴茜茵等[8]提出了一种改进的基于RGB和HSI颜色模型，提取的火焰区域较为完整，受非火焰因素干扰较少。

本文引入文献[9]三帧差分法对动态目标进行提取，并在吴茜茵等[8]提出了一种改进的基于RGB 和HSI 颜色模型的基础上添加了新的火焰颜色检测规则，实现对光照条件和火焰烟雾影响因素的排除，得到较为完整且准确的火焰区域。最终本文将动态火焰识别系统应用于真实火灾场景，实验结果良好。

1 动态火焰识别系统

根据动态火焰特征，本文引入文献[10]提出的火焰检测系统，对此进行改进，建立自己的动态火焰识别系统，该系统由动态火焰检测模块和颜色检测模块组成。动态火焰检测模块的主要功能是：提取视频中可能存在火焰信号的动态目标，若视频中不存在动态像素，则读取新的一帧图像再次进行动态检测；当视频中出现动态目标时，则系统进入下一个环节，利用颜色检测模块对动态目标进行颜色匹配，若该动态物体检测不符合颜色空间规则，则判断为非火焰像素，系统读取新的一帧视频图像重新进行动态检测；若该动态物体检测符合颜色规则约束，则系统判断该目标为火焰目标，标记为火焰信息。通过两个模块中火焰视频特征的融合，实现动态火焰的识别。火焰识别系统流程图见图1。

1.1 动态目标检测模块

动态目标检测模块的主要功能是识别出视频中的动态目标。本文引入帧间差分法作为动态目标检测模块的输入方法。

帧间差分法依据的原则是：当视频中存在移动的物体时，相邻两帧三帧之间会存在灰度差。当求取各帧图像灰度差的绝对值时，静止的物体的差值图像表现为全是0，而移动物体尤其是移动物体的轮廓处，由于存在灰度变化，其差值非0，若绝对值超过一定阈值时，便可判断为动态目标。帧间差分法可以分为二帧差分和三帧差分两种方法，不同方法对动态火焰识别效果不同。

1.1.1 二帧差分法

记视频序列中第n帧和第n-1 帧图像为fn和fn-1，两帧对应像素点的灰度值记为fn（x，y）和fn-1（x，y），将两帧图像对应像素点的灰度值相减后取其绝对值，得到差分图像Dn，最后逐个对像素点进行二值化处理，公式可表示为：

具体流程见图2。上下左右闪烁抖动较快的特征，即火焰在不同图像帧内的位置明显不同。同时火灾视频中周围的环境也经常会有小规模变动。从检测效果可以看出，采用二帧差分法检测出的动态目标会出现“重影”的现象，且将变动较小的周围坏境也识别为动态目标，这干扰了火焰区域的识别。而三帧差分法更能提取出完整和准确的火焰目标，且只将闪烁抖动快的火焰区域认定为动态目标。第30 帧和40 帧图像的检测结果见图4 和图5。

1.1.2 三帧差分法

记视频序列中第n+1 帧、第n帧和第n-1 帧的图像分别为fn+1、fn和fn-1，三帧对应像素点的灰度值记为fn+1（x，y）、fn（x，y）和fn-1（x，y），分别得到差分图像Dn+1和Dn，对差分图像Dn+1和Dn进行操作，得到图像Dn，其中公式可表示为：

具体流程见图3。

图4、图5 为火焰视频第30 帧和40 帧原图、二帧差分结果和三帧差分结果。因为视频中动态的火焰总是具有

1.2 颜色检测模块

通过三帧差分法提取动态目标之后，为了排除非火焰颜色信息的影响，提高视频火焰检测的可靠性，本文将通过设置颜色空间规则来约束火焰区间。

颜色特征的选择有很多，其中RGB 颜色空间最为常见，其中火焰含有较大的红色分量（R）和绿色分量（G），另外绿色分量（G）相较于蓝色分量（B）更大，这也是一般人眼观察到的颜色模型。但是，通过RGB 颜色模型来判定火焰会出现误报的情况，Chen 等[6]应用了一种更有效的方法，将RGB 与HIS 颜色模型的算法公式相结合，总结出了3 条表达式，公式可表示为：

其中，RT是红色分量阈值，ST是饱和度阈值。ST介于55 ～65，RT介于115 ～135。

文献[7]提出了基于YCbCr 颜色空间的火焰图像分割方法。YCbCr 颜色空间的重要特性是把亮度作为主要组成，Y 表示光的浓度，CB 和CR 则为蓝色和红色的浓度偏移量成份。原始图像中，YCbCr 3 个分量平均值的关系式可表示为：

其中，(xi,yi)代表图像中像素点的空间位置，K为像素总数。文献[7]中将火焰区域约束为：

为了对比两种方法的优劣性，本文选择了不同场景下的火焰图像作为火焰检测输入，发现基于YCbCr 颜色空间方法对黄光有较高的敏感性，极易将黄色高亮区域的火焰部分分割出来，但对亮度较低的红光部分识别效果较差。同时RGB 和HSI 颜色模型对红光有较高的敏感度，但部分高亮区域（尤其黄色高亮区域）并不满足RGB 和HSI 颜色规则。火焰颜色检测对比结果见图6。

火焰有着显著的颜色特征，从焰心到外焰的颜色不同，一般由白色逐渐过渡到黄色，再到红色。如图6（b）和图6（c）所示，RGB 和HSI 颜色模型方法容易造成火焰内部空洞，同时YCbCr 颜色空间方法无法分割出完整的火焰图像。如图6（e）所示，RGB 和HSI 颜色模型方法把大量的非火焰像素（颜色与火焰相近的运动物体以及被火焰照亮的物体）误判断为火焰像素。而如图6（g）所示，YCbCr 颜色空间方法同样把大量的非火焰像素（暗黄色草地）误判断为火焰像素。

其中T1=R－G，T2=G－B，T3=R－B，Rth、Gth、Bth是改进后火焰RGB 分量的阈值，Th1、Th2、Th3分别是T1、T2、（T2+T3）的阈值。文献[8]将原来的规则1 做了修改，并且增加了规则4 及规则5。

应用文献[8]的规则后，火焰颜色像素的检测对比图见图7。由图7（b）可以看出，改进后的方法能有效地排除天空中的白色区域和类似枯草的黄绿色区域，但依然有部分干扰物被检测为火焰像素；由图7（e）可以明显看出，大量光照下区域与火灾烟雾区域被误判。

因此，本文对含有大量光照因素或与火焰颜色相近的烟雾因素的图片数据集进行RGB 分量分析，发现光照下的部分多呈现暗黄色，且相较于火焰的B 分量，该类颜色分量值较低。因此本文在此基础上，对规则4 的第1 条规则进行补充，增加对B 分量的约束（B ≥Bth，Bth∈[80，100]），从而排除部分光照因素与火灾烟雾因素造成的影响。如图7（c）和图7（f）所示，改进后的方法能够有效地排除太阳光照射下天空中的暗黄区域和暗黄色烟雾区域，进而得到较为准确的火焰区域。另外，本文使用Dice score 对手动标注的火焰区域图像与优化算法识别的火焰区域图像进行重合率计算，其中图7（c）与图7（a）的重合率达到0.82，图7（f）与图7（d）的重合率达到0.77，可以看出火灾检测模块的识别准确度较高。

基于文献[8]对RGB 和HSI 颜色模型改进后的方法，本文添加了新的火焰颜色检测规则，尽量做到能够排除更多非火焰因素的影响，火焰区域约束为：

2 实验结果与分析

本文的实验环境为PyCharm Community Edition 2021.3，基本配置为CPU:Intel(R)Core(TM)i5-5300U CPU 2.30 GHz，内存:16.0 GB。视频的帧样本示例及检测结果见图8。

本文引入了5 个不同场景的火灾视频，应用于动态火焰识别系统，在视频1 ～3 的颜色检测模块分别采取文献[8]的颜色检测规则与本文改进后的规则。如检测结果所示，对于含有大量光照或烟雾干扰的视频中，改进后的火焰识别结果明显优于前者。视频4 ～5 只采用本文改进后的颜色检测算法，如检测结果所示，当视频中含有与火焰颜色极为相似的干扰因素时，检测效果欠佳。但总体而言检测效果较好，说明本文的火焰识别系统计算简单，检测速度较快，能够实时进行火焰检测。

3 结语

本文通过对火焰静动态特征的研究，给出了一种适用于视频的动态火焰识别系统，该模型能提取出比较完整和准确的动态火焰目标，并进行标记。在动态目标检测模块，本文在对比了二帧差法与三帧差分的优劣性后，选择三帧差分法提取火焰视频中的动态目标。在颜色检测模块，本文在文献[8]的一种新颖的基于RGB 和HSI 颜色空间的火焰颜色检测方法的基础上，对火焰区域约束规则进行进一步完善。最终，本文将动态火焰识别系统应用于真实火灾场景，改进后的火焰区域约束规则可以排除更多的火焰干扰像素，识别效果好，但还是会受到部分非火焰因素的影响。在此基础上可以引入其他特征，完善系统，增强火焰检测效果。