多特征融合的视觉烟雾探测技术研究

顾立春，黎 川

（中国电子科技集团第三十八研究所，安徽 合肥 230000）

0 引 言

随着人类社会的发展和城镇化的变迁，人们居住的越来越密集，高层建筑多且结构复杂，这增大了火灾发生的危害性，给火灾的预防带来了考验。根据世界火灾的统计数据，近20年来平均每年发生大小火灾约600万起，造成约30万人死亡、上千万人受伤，带来的经济损失仅次于洪涝自然灾害。

火灾发生早期，通常存在阴燃现象，阴燃伴随着烟雾的扩散和温度的上升，然后才会逐渐出现明火并慢慢扩大。因此烟雾的早期识别是预防大规模火灾发生、降低火灾危害的重要手段。传统的火灾烟雾探测器以感烟和气体传感器为主，它的优势是价格便宜且性能稳定，因此在现代各类建筑里得到了大量的应用。但是烟雾和气体探测器需要烟雾或气体在探测器周围达到一定的浓度阈值时，才会报警，这时火灾通常达到了一定的程度，且容易受到安装位置、高度、湿度、空气对流等因素的影响，无法适用于一些大空间、强对流和室外等环境。

1 国内外研究现状

近年来，随着人工智能和图像处理技术的发展，视频图像检测技术逐渐被应用到了火灾探测中。基于视频图像的火灾探测是一种结合模式识别和统计学原理的智能探测技术。基本的原理是通过采集设备将前端视频信号输入到计算机设备，再用图像处理算法对这些数字图像进行分析，提取感兴趣区域，利用烟雾的特征参数进行模式识别，最后判断是否发生火灾，根据结果推送火灾报警器，或推送给消防控制室值班人员确认。

国内外很多学者对早期烟雾的识别做了深入的研究，并在某些场合得到了一定推广和应用。邓彬等人[1]首先对图像进行预处理，利用贝叶斯分类器，提取图像的静态RGB特征，同时计算烟雾的扩散特征和不规则特性，运用多参数的处理算法来识别图像中是否存在烟雾信息。Celik等[2]也同样利用了烟雾扩散的无规则特性，提取相邻帧的光流场信息，利用图像的光流方向分布熵实现烟雾判别。Toreyin等[3]利用了基于小波变换原理的烟雾提取算法。图像的特征边缘信息经小波变换后会对应高频能量信息，而烟雾的扩散过程中会掩盖图像的很多边缘特征，使得该区域高频能量衰减，低频能量增加，达到烟雾识别的目的。任厚平等人[4]对输入图像进行前景和背景提取，利用高斯混合模型得到前景目标，再通过帧间的运动差分比对疑似烟雾运动区域，最后通过对这些区域提取纹理特征参数来判别图像中是否存在烟雾。张燕君等人[5]提出了一种基于小波纹理特征分析的视频烟雾检测算法，该算法首先利用混合高斯模型提取前景和背景，分离烟雾图像，再对烟雾进行前景分离处理和二维离散小波变换，获取烟雾的局部特征信息；然后利用灰度共生矩阵提取烟雾图像的纹理特征；最后通过自适应神经网络对烟雾进行判别。烟雾火灾识别技术在现代建筑、隧道、森林等环境下得到了一定的应用[6-10]。综上所述，烟雾特征检测主要算法包括颜色、运动特征和纹理能量特征算法等，这些算法在不同的场景下有其特定的优势，但是在环境复杂、光影杂乱、空气对流大等场合存在误报率高的问题，因此目前的研究多采用特征融合的算法保证烟雾识别的稳定性。

2 疑似烟雾区域提取

在烟雾图像的识别中，通常要先提取出图像的疑似感兴趣区域。对于输入图像，进行滤波去燥、膨胀腐蚀等基本操作后，提取出疑似烟雾的运动区域，这样可以提高烟雾的识别速度，并有效去除部分误识别区域。疑似区域检测方法对比情况见表1所列。

表1 疑似区域检测方法对比

2.1 图像差分法

图像差分是通过计算图像连续帧或固定间隔图像的差值来找到运动区域，假设Ft+n(x,y)和Ft(x,y)为视频间隔N帧的图像，Dt(x,y)为差分后的图像，关系式如下：

为了得到运动区域的图像，对差分图像Dt(x,y)作二值化处理，根据图像的光影变化和噪声程度适当设定阈值T，通常图像静止部分差分图像灰度接近于0，将灰度大于阈值T的像素部分认为是前景运动区域，其他认为是背景区域。二值化图像方法如公式（2）：

通常烟雾特征帧间的变化不是非常明显，因此间隔帧N的选取比较重要。因烟雾具有缓慢扩散特征，也可以通过上述方法得到烟雾运动的边缘信息。

2.2 烟雾面积变化率

烟雾的扩散特性也呈现一定的规律，一般来说烟雾在火源的周围向上方和两侧扩散，而图像的面积是不断变化的，在火灾的最早期烟雾面积逐渐变大，开始时速度较为缓慢，发展到一定阶段可能迅速增大，而到了后期出现明火后烟雾面积一般又会逐渐变小。通过图像分割技术得到疑似烟雾区域面积，计Mi为第i帧图像的疑似烟雾区域面积，计算其动态变化率为：

烟雾的发展是一个过程，因此R的值是缓慢变化的，不会保持静止，也不可能发生跳变。

2.3 光流法

光流法是基于运动的烟雾特征提取算法，光流是指图像中各像素点的瞬时运动，应用到图像中具体表达为图像中任意点的灰度瞬时速度。通过该方法预测运动目标可以描述为根据输入图像中所有像素的运动信息来近似估计空间中物体的运动信息，根据图像的特征和不同环境下的经验知识得到图像中的运动区域。采用光流法检测运动目标首先要计算出图像中的光流场，即图像像素点的瞬时运动速度方向，然后再运用光流场把感兴趣区域的运动信息从图像中分离出来。光流场对于前景和背景运动较为明显的图像可以很好地提取出烟雾区域，但是对于火灾烟雾不明显或者远距离图像运动缓慢的情况效果相对较差。

2.4 高斯模型

高斯模型是另一种运动区域提取方法，高斯模型可分为单高斯模型和混合高斯模型。其主要算法流程为：大多数火灾发生前视频图像都会处于静止或者运动缓慢的情形，对这些相对静止的视频序列进行采集，会发现视频的图像像素符合单高斯分布；当火灾发生时，图像出现扰动和光影的变化，这时视频图像的像素点就会变成多个高斯分布；当烟雾或者其他特征出现闪烁、运动明显时，那么连续帧的视频图像里这些运动目标的像素点就不再满足以前的高斯分布，由此可以提取出图像中的运动区域。单高斯模型应用较为简单，对图像相对单一、运动区域集中的图像检测效果较好。而混合高斯模型可以满足更加复杂的场景，也得到了更加广泛的应用。

3 烟雾特征识别

3.1 算法流程

本文的识别方案是先对视频图像序列进行去噪平滑等处理，然后依据上述方法检测图像的运动区域，按照不同环境的经验参数，提取出候选疑似烟雾区域，再对其进行颜色、纹理特征、小波高频和低频能量分析，最后判断出烟雾区域。检测流程如图1所示。

图1 算法检测流程

3.2 烟雾图像识别

依据上述烟雾的扩散和运动特征分析算法，对图2提取烟雾的疑似区域。从图2（a）中可以看出，烟雾特征判断没有发生漏报，但是在图像右侧树影和草地交接处存在误识别；图2（b）也存在同样的情况，烟雾扩散到白色墙壁，墙壁的光线变化扰动对识别产生了一定的干扰。

图2 烟雾疑似区域判定

没有发生火灾时视频帧的背景一般是纹理清晰的，而烟雾会对背景产生模糊。火灾早期阶段和一些阴燃火灾产生的大量烟雾向周围扩散时，图像中的背景会受到烟雾的影响，图像的边缘轮廓被遮挡而变得模糊。图像的边缘和细节信息在频域中对应高频信息，平滑均匀的图像信息在频域中对应低频信息。利用烟雾图像中高频信息逐渐减低的特征，对疑似区域进行进一步的特征提取，排除干扰区域。同时针对不同的背景图像，还采用了烟雾的颜色分布、连通性原理等识别方法。如图3所示，在图3（a）中有效排除了墙面的干扰，图3（b）是实验室的棉条阴燃实验，背景同样存在大量的干扰，采用多种特征融合的算法得到了较好的识别效果。

图3 基于纹理的烟雾区域确认

针对火灾的烟雾特征，首先判定出烟雾的待选区域，再利用颜色、纹理等信息对待选区域进行二次判定，最后确认火灾烟雾图像。通过后天控制系统，将火灾信号传送物联网网关；根据用户设定，再推送给火灾报警主机或消防控制室值班人员。

在大量的数据集和场景实验中，有效识别率可达约98%。但是对于一定的复杂环境下的类似特征，如天空的乌云，特征与烟雾过于相似，虽然利用小波特性可以排除，但是在森林或者其他背景光影交叉的环境里，还是存在少量误报。

4 结 语

本文描述了一种多特征算法融合的烟雾图像分割和特征识别方法，利用烟雾的运动特性实现烟雾疑似区域的分割，再根据其连通性、颜色特征、扩散的纹理特征进行烟雾特征识别。图像分割对图像要求较高，参数选择要符合场景的特征要求。通常火灾可以接受少量误报情况，而为了降低漏报本文对疑似区域的选择特征稍微放宽，但这给后期的特征识别带来了一定的压力。虽然多种特征识别的方法可以排除大量误报，但是当图像分辨率较低时纹理特性就难以发挥作用，颜色特性会受到水汽和云雾等因素的干扰。

目前烟雾检测多集中于区域识别，如果要有效利用环境特征对烟雾特征识别产生巨大的辅助作用，还需要建立分类数据集样本的标准化库，对算法分类进行完善。深度学习和语义分割的发展给火灾烟雾检测提供了一个开阔的方向。