基于关键帧与多特征融合的烟雾识别算法研究

王能

摘要 ：在烟雾视频监控技术中，针对烟雾识别算法中特征提取计算量大、特征选择单一的问题，提出了一种基于关键帧与多特征融合的烟雾识别算法。首先结合主成分分析（PCA）和聚类算法对视频进行关键帧采样，减少视频帧间的冗余信息，然后建立烟雾视频的静态特征HOG、动态特征LBP-TOP模型，将这两种特征送入极限学习机（ELM）中进行识别。实验结果表明，该算法能够有效剔除视频帧间的冗余图像帧，提高了烟雾识别算法的正确率和识别效率。

关键词 ：烟雾检测;主成分分析;极限学习机;图像识别

中图分类号： TP18        文献标识码：A

文章编号：1009-3044（2019）21-0180-02

开放科学（资源服务）标识码（OSID）：

火在我们人类的生活中无处不在，在带给我经济效益的同时也带了人生财产严重损失的问题。因此火灾的预防和报警受到多方重视[1，2]。传统的火灾探测器是基于传感器技术，火灾的漏报、误报时有发生。随着计算机视觉技术的发展和提高，基于视觉特征的火灾探测成为火灾监测的重要研究方向。烟雾是火灾发生早期的主要特征，如果能采用视频技术快速准确的检测到火灾烟雾，对于火灾的早期预警有着相当重要的意义。

基于烟雾的视觉特征，研究人员已经取得一些研究成果。Fujiwara等人[3]采用分形理论提取烟雾的自相似分形特征，在图像中搜索烟雾目标。ChenT H 等人[4]结合RGB颜色模型和 HIS 颜色模型中I分量进行了火灾烟雾识别，其方法是基于火灾烟雾颜色一般为灰色。Yuan[5]提出了一种基于局部二值模式（LBP）和局部二值模式方差（LBPV）金字塔多尺度特征的烟雾检测算法，实现基于纹理特征的烟雾检测。Tung等人[6]提出一种4阶段视频烟雾检测算法。但这些方法都具有一定的局限性，在复杂场所下检测性能会有一定程度下降。

烟雾检测是一个复杂的过程，针对视频帧间存在大量冗余帧导致识别算法中提取特征计算量大的问题，提出一种基于关键帧与多特征融合的烟雾识别算法。为验证算法的有效性，利用真实烟雾视频集对视频烟雾识别算法进行了验证，结果表明本文提出的基于关键帧与多特征融合的烟雾识别算法提高了烟雾识别的准确率和扩充了其适应范围。

1 算法综述

首先采用自底向上的注意模型[3]，利用烟雾颜色分布规律采用非线性增强方法增强烟雾亮度图像，得到烟雾显著区域;接着利用Hornt-Schunck稀疏光流算法[8]计算出运动前景，排除疑似烟雾干扰物，进行显著图的分割获得完整的烟雾区域;然后提取视频帧的颜色特征信息并运用主成分分析法（PCA）处理图像特征，降低特征维数;最后结合PCA和聚类在烟雾视频关键帧的基础上分别提取烟雾视频的静态特征HOG和动态特征LBP-TOP，将这两种特征输入极限学习机（ELM）进行判别。

2 疑似烟雾提取

由于烟雾处于缓慢运动的状态，颜色分布为灰白色到白色，使得分割及其困难。在视频图像处理中，用非线性增强方法减少烟雾的色彩分布不均匀性干扰，使变换后的图像尽可能地抑制其他非烟雾区域。使用近似人类视觉的Lab颜色空间来描述视频烟雾区域。该颜色空间模型由像素亮度 （L）和a、b俩颜色通道组成，L分量来描述视频烟雾的细节。在实验过程中，图像中一些灰度干涉也被加强。如图1（b）中左上角与烟雾相似颜色区域也得到增强。为解决此问题，构造运动能量估计函数[9]来判断烟雾区域的可能性。

图1展示了烟雾视频的对比图。相比与图1（b）中的增强图像，图1（c）展示的运动能量图，由于大部分靜态背景被抑制而显然能更精确地显示出烟雾区域。最后使用最大类间方差法[6]对原视频图1（a）进行烟雾区域分割获得可疑分割结果图1（d）。显然，分割结果图在各种复杂背景下，均显示了完整的烟雾区域。

3 基于PCA和聚类的关键帧提取

（1）帧信息提取：首先提取视频帧的图像特征作为重要分类依据，本文选用不受图像旋转和平移变化影响的颜色直方图方法[11]获取视频帧的颜色特征。

（2）关键帧提取：在获取视频帧颜色特征信息后，运用PCA主成分分析获取图像的主要特征降低特征维数，对PCA处理后的视频帧用k均值聚类方法聚类。K均值聚类是从大量的数据对象中随机选择k个对象作为初始聚类中心，根据计算帧间的相似程度对数据对象进行分类，最后选择不同类别的类中心对应的视频帧作为该类别的关键帧。

（3）计算帧间视频相似度：帧间相似度指两个视频帧的相似程度，其计算方法根据不同的处理对象而不同。本文中，利用欧氏距离表示两个视频帧之间的相似度。设PCA处理后的两个视频帧和，俩帧图像的欧式距离为：

（4）视频帧聚类：首先，获取k帧图像作为初始的聚类簇中心;其次，计算当前帧[Xi]与k个聚类簇中心的欧式距离，求得最小距离Dmin，如果Dmin小于设定的阈值T，则判定该视频帧属于距离它最近的簇中心的类别，否则当前帧[Xi]不属于任何一个簇，而是单独属于一个簇。然后重新计算聚类簇中心。

基于多特征融合的烟雾识别

（1）—静态特征提取

获取烟雾视频的m个关键帧[X′={X′1，X′2，...，X′m}]之和，采用加权的方式融合这m个关键帧的特征。需要利用PCA处理这些关键帧得到的特征值，由PCA选取主要特征的方式可得，特征值的大小决定其对应的特征的重要程度，特征值越大，对应特征越重要，因此求每个关键帧中的特征值之和[{λ′1，λ′2，...，λ′m}]，那么第i个关键帧[Xi′]对应的权重为：

从这个权重计算公式可以看出来，关键帧[Xi′]的特征值[λi′]越大，也就是该关键帧包含的烟雾图像信息越多，那么它所获得的权值越大。求得关键帧对应权值后，利用式 对这m个关键帧加权求和，那么第j段烟雾视频得到的静态特征[X″j]。

（2）动态特征提取

由于只使用静态特征无法全面准确的描述烟雾信息，从而会影响最终烟雾识别效果。为此，本文引入动态纹理特征来表述视频中烟雾的动态特性。

LBP-TOP 是 LBP 从二维空间到三维空间的拓展，在LBP-TOP中，引入了T这一变量，它存在有三个正交平面，即XY， XT 和 YT 三个方向是相互正交的。对于一段图像序列来说，给出三个正交平面的纹理图，XY 就是我们正常看到的图像，XT 是每一行沿着时间轴扫描而过的纹理，YT 是每一列沿着时间轴扫描而过的图像。简单来说，我们可以在这三个平面都提取 LBP 特征，然后把三个平面的 LBP 特征连接起来，就是 LBP-TOP。 如图2所示：

由于LBP-TOP在三个正交面上都提取了LBP特征，特征维数是只提取图像LBP特征的三倍，这样带来了大量的计算量，因此，本文不再对视频所有帧提取LBP-TOP特征，而是在获取的关键帧基础上来提取LBP-TOP特征，这样不仅减少了计算的复杂度，而且保留了烟雾视频中能表征烟雾特征的关键信息。

4 实验仿真与分析

本文在基于Matlab R2015b，IntelI CoreI i3-4170 CPU@3.70GHz 4.00GB RAM的实验环境进行算法仿真。与传统的烟雾识别算法HSV+ELM和HOG+SVM做对比，最后用灵敏度与准确度来评价分类性能。实验对比结果如表1所示。

灵敏度（Se），反映了所有真实事件被正确检测出来的比例。准确度（Ac），反映了所有事件被正确检测出来的比例。其公示表示如下：

其中，[TP]表示真阳性，即正确类别被正确地检测的数量;[FP]表示假阳性，即其他类别被错误检测成指定类别的数量;[TN]表示真阴性，即其他类别被正确检测的数量;[FN]表示假阴性，即指定类别被错误检测成其他类别的数量。

从表1实验结果上来看，本文用到的基于关键帧与多特征融合的烟雾识别算法相较于另两种传统的烟雾识别算法提高了烟雾图像识别准确率。虽然单一特征识别方法较本文用到的烟雾识别方法度快，但是烟雾图像识别正确率不能满足火灾检测要求。本文方法由于提取的关键帧数量多带来更多的计算量，因此关键帧个数的选择根据具体应用来选择。

5 总结

火灾烟雾图像识别问题一直是备受关注的热点问题，针对目前烟雾识别算法特征选择单一，选择的特征维数过高导致大量的计算问题，提出了一种基于关键帧与多特征融合的烟雾识别算法，在结合PCA和聚类在烟雾视频关键帧的基础上分别提取烟雾视频的静态特征HOG和动态特征LBP-TOP，将两种特征送入ELM训练，用于烟雾识别。在收集整理的烟雾图像集上，本文提出的算法能够有效地提高图像中烟雾检测的准确度，同时能够较好满足烟雾图像实时性要求。

参考文献：

[1] 桑培勇. 居民小区无线火灾报警系统的研究与设计[D].安徽理工大学，2014.

[2] Toulouse T， Rossi L， Celik T， et al. Automatic fire pixel detection using image processing： a comparative analysis of rule-based and machine learning-based methods[J]. Signal， Image and Video Processing， 2016， 10（4）：647-654.

[3] LI X， Research and Application of Several Key Technologies of Significance Object Detection Algorithms[D].University of Electronic Science and Technology，2018.

[4] Chen T H， Wu P H， Chiou Y C.An early fire-detection method based on image processing[C]//Proceedings of International Conference on Image Processing，2004（ICIP04）.[S.I]：IEEE，2004：1707-1710.

[5] 袁潔，袁伟，贾阳，等. 一种基于纹理特征的主动红外烟雾识别方法[J]. 安全与环境学报， 2015（8）.

[6] ?ETIN A E， DIMITROPOULOS K， GOUVERNEUR B， et al. Video fire detection–Review [J]. Digital Signal Processing， 2013， 23（6）： 1827-43.

[7] 兰红，周伟，齐彦丽.动态背景下的稀疏光流目标提取与跟踪[J].中国图象图形学报，2016，21（06）：771-780.

[8] [62]Han F， Yao H F， Ling Q H. An improved evolutionary extreme learning machine based on particle swarm optimization[J]. Neurocomputing， 2013， 116：87-93.

【通联编辑：唐一东】