基于火焰视觉虚化性的多特征融合火焰检测

徐兵荣 叶炯耀

(华东理工大学信息科学与工程学院 上海 200237)

0 引 言

早期，人们使用传统的感烟、感光、感温传感器[1]进行火灾检测，但在烟雾颗粒或热量扩散到达一定程度之前，传感器不会发出警报，因此导致火灾探测的大幅延迟，无法应用于大型空间和开放式场所。近年来随着计算机图像处理技术的成熟，基于视频图像的火焰检测技术受到极大关注，图像型火焰检测技术克服了传感器火灾探测系统结构单一、实时性差、准确率较低的缺点，通过对火焰动、静态等特征提取并进行多特征融合实现火焰检测，是火焰检测技术的重要突破。

目前，视频图像火焰检测技术主要从火焰静态特征和动态特征两个方面进行分析。静态特征中最具代表性的是火焰颜色空间特征，颜色空间主要包括RGB[2]、HIS[3]、YCbCr[4]等。Wang等[5]提出了基于火焰颜色色散模型的火焰检测方法，该方法根据火焰温度和颜色，将火分为焰心、内焰和外焰。通过计算蓝色分量B标准差的阈值排除常见干扰和噪声的影响，能够在室内环境下准确检测出图像中的火灾区域。Chen等[6]结合RGB与HIS颜色模型对火焰进行静态分析，通过R分量和饱和度来提取火焰特征像素，当火焰噪声干扰较大时，该方法误报率较大。Turgay等[7]提出了一种基于YCbCr颜色空间的火焰检测算法，并利用大量的样本图像测试算法的性能，该方法的总体检测率较高。

仅利用单一特征的火灾检测方法存在准确率低、误报率高等缺点，因此许多研究进一步分析了火焰的动态特征并融合火焰静、动态特征以降低火焰检测误报率。Lascio等[8]利用监控摄像机提取火焰颜色和运动特征来检测火灾区域，该算法可靠性较高。Foggia等[9]提出了一种基于颜色、形状变化和运动结合的火灾检测方法，该方法在准确性和误报率方面表现较好。张进华等[10]提出了一种基于置信度理论的静态和动态火焰特征相结合的火灾探测算法，该算法的处理速度很快，但是不能有效地排除噪声和类似火的物体的干扰。Wang等[11]提出了一种火焰检测特征融合方法，该算法融合了火焰颜色、移动和区域变化来检测视频图像中的火灾。Ali等[12]利用颜色和运动模型分别检测出烟雾和火灾区域，并通过二维小波分析消除运动物体的干扰。该算法可以有效减少火灾误报。Habiboglu等[13]提出了一种基于颜色、空间等特征的视频火灾检测方法，利用支持向量机(SVM)对提取的特征进行训练和测试，该系统在没有固定摄像机的情况下表现出良好的检测性能。Wang等[14]提出了一个新颖的视频火焰检测系统来识别火焰，该系统融合了火焰颜色、相似度和质心运动特征，在室内环境下整体精度较高，能够排除大部分疑似火焰干扰物。但是在室外或者强烈光照干扰下会把一些光源误判为火焰，同时不能检测出特殊燃料如镁、磷、铜等产生的火焰。火焰的立体特征也被用于火灾探测，Ko等[15]提出了基于双目摄像机的火灾探测方法，该方法利用颜色和背景差异模型提取候选火灾区域，将火焰的大小、形状和运动变化通过模糊逻辑方法进行实时火灾验证，并且通过计算摄像机与火焰的距离重建了火焰的三维表面。

针对最新的视频图像火焰检测方法[14]中存在的火焰误判和漏检等问题。本文提出一种基于火焰视觉虚化性的多特征融合火焰检测系统，通过双目摄像头与激光测距配合提取火焰视觉虚化性特征。火焰视觉虚化性一方面可以准确地排除灯泡、反光、红色灭火器等干扰，降低误判率。另一方面可以检测出各种燃料产生的火焰，降低漏检率。最后通过MES融合火焰视觉虚化性与视频图像火焰特征。实验结果表明，该系统能够准确地检测出火焰。

1 火焰检测模型

1.1 多特征融合系统模型

本文采用多特征融合技术进行火焰检测，在本文提出的新的火焰视觉虚化性基础上，建立多特征融合系统，系统结构如图1所示，本文算法包括以下流程：

1) 利用RGB-HIS颜色模型分割疑似火焰区域。

2) 通过双目与激光深度信息测量提取火焰视觉虚化性特征。

3) 结合图像型火焰颜色色散、质心运动、相似性特征。

4) MES多专家决策机制进行多特征融合，识别火焰。

图1 多特征融合火焰检测系统

为了分割疑似火焰区域，使用火焰颜色特征作为先决条件，火焰燃烧由红变黄，对应RGB颜色空间，满足R>G>B，由于火焰燃烧时红色分量特征明显，设置红色分量阈值R>RT可以排除其他颜色物体。火焰饱和度高，设置火焰饱和度阈值ST可以避免如红色行人、红墙等饱和度低的背景物的影响。根据以上火焰特征，Chen等[6]提出RGB-HIS颜色模型分割疑似火焰区域，公式如下：

R>G>B

(1)

R>RT

(2)

S>(255-R)×ST/RT

(3)

式中：R、G、B分别为火焰红、绿、蓝色分量；RT是红色分量阈值；ST是饱和度的值，饱和度将随着R分量的增加而降低，R分量朝着最大值255增大，饱和度S将减小至零。RT和ST范围为55～65和115～135[6]，在本文中设定RT=55，ST=125。

1.2 火焰视觉虚化性特征

火焰视觉虚化性是指火焰灼热发光的气化部分人眼可以观测、摄像头可见光能够捕捉，但是激光等特殊光源穿透火焰，不能得到反射，火焰整体呈现出虚化的状态。而常见的干扰物基本都是实体状态，不具备视觉虚化性。

受复杂环境和不同燃烧材料的干扰，仅将火焰的颜色、运动等视频图像特征作为火焰检测特征依据，仍旧存在较高的误检率。为了提高火焰检测的准确率，本文加入了火焰视觉虚化性这一新型的火焰特征，并结合双目与激光测距检测火焰视觉虚化性，

首先使用预先校准的可变基线双目摄像机(HNY-CV-002)测量火焰深度信息，根据双目(CCD)[15]测量原理：两个摄像头同时从两个不同的位置观察火焰，利用三角形几何原理计算图像像素之间的位置偏差，即视差d，得到被测目标三维信息，即点P三维坐标，如图2所示。P(X0,Y0,Z0)为被测目标火焰像素点，Ol和Or分别是左右两个相机的光心。pl(xl,yl)和pr(xr,yr)分别是点P在左右相机成像平面上的投影点。

图2 双目测量火焰原理

根据三角形相似原理，可得：

式中:X0、Y0、Z0为点P在xl-Ol-z坐标系中的坐标；xl为pl在xl-Ol-z坐标系中的x坐标；xr为pr在xr-Or-z坐标系中的x坐标。重新排列公式可得：

令d=xr-xl，可得：

式中：d为视差。由式(8)可知，当b、f固定时，坐标Z0与视差d成反比，则从双目到火焰的距离可以表示为:

激光测距(TOF)[16]的原理如图3所示，通过发射脉冲扫描被测物体的时间或相位差获得距离观测值S,根据水平方向和竖直方向的扫描角度观测值α和β获取任意一个被测点P′并生成三维点云图，X轴位于横向扫描面内，Y轴在横向扫描面内垂直于X轴，Z轴垂直于横向扫描面，激光测量火焰时穿透火焰像素点P，射向墙体、地面等背景物某点P′。

图3 激光测距原理

被测点P′的三维坐标为P′(Xc,Yc,Zc)，公式如下：

Xc=Scosβcosα

(10)

Yc=Scosβsinα

(11)

Zc=Scosβ

(12)

激光测量系统测得深度信息depth′为：

depth′=S

(13)

为了分析火焰视觉虚化性，本文建立图4所示双目CCD与激光TOF火焰深度信息对比模型并作以下几种情况分析。

(a) α=0°测量火焰

(b) α不同角度测量火焰

(c) 测量干扰物图4 双目-激光火焰深度信息对比模型

1) 如图4(a)所示，系统与火焰同处水平位置α=0°，且无背景障碍物时，激光穿过火焰射向无穷远，τ→∞。

2) 如图4(b)所示，系统测量角度α∈(0,90°)，系统悬挂高度在实际场景中固定为h，火焰距离系统水平距离为s。

由三角形原理可得：

由梯形原理可得：

式中：h′=h-stanα。式(15)可以转化为：

令两个系统测量距离差为τ：

τ的值随着α角度变化而改变，α越大τ越大，α越小τ越小。

3) 如图4(c)所示，系统无论从什么角度和位置测量灯泡、行人等干扰物时，激光不会穿透干扰物，系统测得的距离值不考虑器材物理差异，理论上是一致的，因此，τ=0。

本文选取了8个视频作为深度信息检测数据集，包含4个火焰视频4个非火焰视频，视频的样本示例如图5所示。

图5 双目与激光测距数据样本(视频1-视频8)

表1是所选取的8个视频场景描述。场景分布包括室内室外、行人、闪烁车灯、灯泡、飘动红旗。

表1 火焰与非火焰视频场景描述

双目与激光探测系统检测到的火焰和非火焰深度信息以及距离差值τ如表2、表3所示。

表2 α=0°系统深度信息对比 单位：m

表3 α不同角度系统深度信息对比 单位：m

续表3

表2中，系统测量角度α=0°时，系统与火焰同处水平位置，在室内环境下，火焰存在墙壁等背景物，因此系统测得的距离差值τ为有限值，此外，τ的值取决于火焰到系统的距离以及火焰与背景物的距离。在室外空旷环境下，系统测量火焰的距离差值τ→∞。对于干扰物，τ≈0。

表3中，当α为30°、45°等不同角度时，激光穿透火焰射向地面，随着α角度增大，τ增大。对于干扰物，τ≈0。

在实际环境中，摄像头悬挂角度一般为30°到45°之间，根据双目与激光TOF可以重建物体三维表面[16]的原理，对特征像素点组成的疑似火焰区域，通过双目与激光测量区域内特征像素点深度信息。其中τ≈0的像素点区域为干扰物，而火焰区域内τ为有限值或为无穷，通过对N个火焰像素点i距离差τi取均值，并设定阈值τ>τT可以提高系统的准确性。基于以上，提出火焰的视觉虚化性模型。

根据实际场景中的实验样本和数据分析设定本文的τT=0.61。

1.3 火焰色散、相似性、质心运动特征

1) 颜色色散。火焰燃烧时的不同部位燃烧程度和温度都不同，表现为一定程度的色散,色散由颜色分量的标准差定义[5],火焰的蓝色成分是由燃烧氧气产生的，在不同的火焰部位，蓝色分量的差异很大，因此B分量标准差较大。而非火焰物体的B分量通常是由光决定的，在小范围内没有色散，标准差非常小。设定B分量的标准差的阈值可以区分火焰和非火焰：

Bstd>BT

(19)

式中：Bstd为蓝色分量标准差；BT为阈值，参考文献[5]，BT=11。

为了验证RGB-HIS颜色模型和B分量色散的可靠性，本文在实验室环境下的火焰图像分割结果如图6所示，RGB-HIS颜色模型提取的轮廓非常清晰准确，没有忽略任何可疑的火焰区域，比YCbCr颜色空间效果要好得多。同时B分量可以有效地排除地板反光。

(a) 原始图像(b) YCbCr颜色空间分割

(c) RGB-HIS颜色空间分割(d) B分量分割图6 火焰图像分割

假设质心距离最小的两个区域为相邻帧同一可疑区域的对应区域。

式中：Ωi和Ωi-1分别为第i和第i-1帧需要进行度量的连通区域。火焰的相似度主要分布在0.6到0.9之间，而焊接光等干扰物大部分等于0。

3) 质心运动。火焰在一定时间内不断闪烁，质心以重复的方式运动，因此火焰区域质心总位移与质心运动总距离之比RD小于一定的阈值。常见的干扰源，如移动的手电筒在短时间内质心呈现出统一的运动，所以比值较大。

同时，由于火焰的闪烁是周期性的，所以火焰质心运动距离与其面积的平方根之比BMS会在一定的范围内。相反，对于静止干扰源，运动的绝对值几乎可以忽略，因此其比值也很小。RD和BMS计算如下：

式中：DS为N帧质心运动总位移；ZD为N帧质心运动总距离；MS为疑似火灾区域的平均面积。设定阈值RD>RDT和BMS>BMST，可以区分火焰与干扰物。

1.4 MES多特征融合系统

MES多专家决策机制广泛应用于图像识别领域，尽管多特征融合有许多方法，但加权分类是解决多特征融合最有效的方法之一，MES通过分割特征向量并采用一组分类器，每个分类器针对一个特征集进行裁剪，然后将其训练为某个特征空间的专家。通过结合不同的单一分类器的结果来进行决策，MES多专家决策系统性能在绝大多数情况下优于单个最优分类器。因此本文采用MES多专家决策机制进行多特征融合。根据Foggia等[9]提出MES系统的原理和公式，本文建立如图7所示基于火焰视觉虚化性特征的MES系统。

图7 MES系统模型

图7中，DE表示颜色专家，SE表示相似度专家，VE表示质心运动专家，IE表示视觉虚化性专家，

式中：M为类的数量；cij为分类矩阵的值。最终的决策通过最大化整个MES的可靠性来识别特定的类，属于第i类的blobs的可靠性是由投票加权计算得出：

c的决策最终通过最大化不同类的可靠性得出：

评估MES每个专家，如果满足给定阈值或者区间条件，则将输入的blobs分类为火焰，否则为非火焰：

2 实验验证

2.1 实验数据集

目前大多数的火焰检测方法，仍然是通过视频图像数据集来训练检测火焰。Toreyin等[17]制作了大量的火灾和烟雾探测视频，本文从中获取并创建了一个由36 700帧组成的新数据集，部分数据集如图8所示。前4个视频包含不同环境下的火灾场景，后4个视频不包含火灾场景，但视频中的干扰物有可能被误判为火焰。尤其是基于颜色特征和运动的火焰检测算法都有可能把干扰物如闪烁灯源、强烈的光照误判为火焰。本文选用的数据集尽可能地包含了火焰场景与误判较高的干扰物场景，以体现火焰检测的环境复杂性，以便更好测试系统性能。

图8 火焰与干扰物视频样本

2.2 实验数据标准

根据准确率的概念，定义真阳性率TPR、真阴性率TNR、假阳性率FPR、假阴性率FNR，公式如下:

FNR=1-TPR

(33)

FPR=1-TNR

(34)

式中：TP表示真阳性，即当检测到真实火灾为火灾时，TP的数量加1;FP表示假阳性，当误判干扰物为火焰时，FP的数量加1;TN表示真阴性，当检测到干扰物为非火焰时，TN数加1;FN表示假阴性，当误判火焰为干扰物时，FN的个数加1。

为了样本计算。定义平均准确率为：

2.3 实验结果与分析

利用数据集20%的随机视频对多专家系统进行训练。训练结果如表4所示。

表4 多专家系统训练结果(%)

因此，三个专家的权重可以定义为：

由于假阴性在火焰检测中造成的代价比假阳性大得多，本文将假阴性权重设为假阳性权重的10倍，每种方法的另一个目标函数可设为:

F=Recognition-10×error=

(TP+TN)-10×FN

(37)

式中：Recognition表示阳性；error表示阴性。

由表5可知，本文提出的火焰视觉虚化性特征IE的假阴性率在单个特征中最低，平均准确率达到了88.51%。同时，本文MES多特征融合算法的假阴性率在较低(0.46%)基础上，平均准确率(95.86%)和F(1.90)均达到最佳。

表5 本文与其他方法的准确率、假阳性率、假阴性率、F对比

表5还将本文算法和文献[6，9，12-14]中基于颜色、运动和形状等特征组合的方法作比较。文献[14]建立的结合颜色、相似度和质心运动特征的多特征融合系统，在准确率和假阴性率上都优于前四种方法。然而，文献[14]中仍然存在缺陷，本文相比于文献[14]有以下改进：

首先是假阳性率，假阳性率即误判率，在室外环境以及强光照干扰下，文献[14]基于视频图像火焰特征的多特征融合算法假阳性率较高，会将强烈的光源以及闪烁车灯误判为火焰，因为道路上的双向车灯会有闪烁，形成了类似火焰的明亮区域。但本文的基于火焰视觉虚化性的多特征融合算法可以准确地检测出实体干扰物，并将其排除。其次是假阴性率，假阴性率即漏检率，虽然文献[14]假阴性率较低，但对于镁磷燃烧时的白色火焰，铜燃烧时的绿色火焰，文献中的颜色模型和B分量会漏判火焰，但本文火焰视觉虚化性不受颜色和运动条件的干扰，能够检测各种燃料产生的虚化火焰，进一步降低假阴性率。本文算法不能将假阴性率降低到0，因为当火焰贴墙或者火焰距离系统太近时，系统的精度受到干扰。

此外，与文献[14]中提出的多特征融合方法相比，本文的火焰视觉虚化性、颜色、相似度、质心运动多特征融合算法平均准确度更高。基于数据集的实验结果表明，本文基于火焰视觉虚化性的多特融合MES火焰决策方法在平均准确率、假阴性率、F等方面均优于其他五种方法。

3 结 语

本文提出一种基于火焰视觉虚化性多特征融合的火焰检测方法，利用双目视觉和激光检测火焰的深度信息，并通过对比实际场景中的两个系统深度信息来建立火焰视觉虚化性模型。在颜色、相似度、质心运动等图像型火焰特征基础上，融合本文提出的火焰视觉虚化性特征并输入MES进行火焰决策，大量数据集的测试结果表明，本文的MES多特征融合系统实现了火焰检测假阳性率与假阴性率的平衡，在整体精度方面达到了最佳，并有效降低了火灾误判率和漏检率。实验中，火焰深度信息探测系统检测火焰时的角度和距离需要进一步考虑，此外人工神经网络也可以考虑用来进行多特征融合。